Embedding与向量检索
定义
嵌入(embedding)指由任务数据训练得到的映射 ,它把离散对象 (词、句子、段落、图像)表示为 维实向量 ,并使任务所定义的语义相关性对应向量空间中的几何接近性。向量检索(vector retrieval)在给定查询 、文档集合 与打分函数 后,返回得分最高的 个文档:
其中 是文档侧编码器;当 时称为对称检索,当 时称为非对称检索。
符号约定如下。
| 符号 | 含义 |
|---|---|
| 离散对象集合,元素为字符串或 token 序列 | |
| 嵌入维度,工程上取 384、512、768、1024 等 | |
| 查询编码器与文档编码器,参数分别为 | |
| 查询向量与文档向量, | |
| 打分函数,取内积、余弦或负欧氏距离 | |
| 温度参数,缩放 logits | |
| 训练批大小,同时是批内负例数量的上界 | |
| 文档总数 | |
| 返回条数,评测中常取 10 或 100 | |
| 文档集合 | |
| 包含词项 的文档数 | |
| 文档长度,以词项数计 | |
| 语料平均文档长度 | |
| 第 位结果的相关性等级 |
其余术语在首次出现处定义:双塔编码器(dual encoder)指查询与文档各自经过独立编码器、只在末端做内积的结构;对比学习(contrastive learning)指以“正例靠近、负例远离”为目标的训练方式;批内负例(in-batch negatives)指同一批中其他样本的正例被当作当前查询的负例;难负例(hard negative)指与查询相似但不应命中的文档;稠密检索(dense retrieval)指以低维稠密向量做匹配,稀疏检索(sparse retrieval)指以词项权重向量做匹配。
为什么重要
词表不匹配(vocabulary mismatch)是检索的第一类失效:查询写“猫生病了怎么照顾”,文档写“宠物猫常见疾病护理”,两者没有共享的完整词项,基于词项匹配的 BM25 得分为零。嵌入把“语义相关”转换为“内积大”,使未在字面共现的同义表述仍可命中;这一能力来自训练数据中的共现与标注,而不是来自向量维度本身。因果链是:训练目标使语义等价对的内积增大、使无关对的内积减小,因此检索按内积排序时,同义改写落在同一邻域。
嵌入是检索增强生成的第一层,决定召回上限。检索未命中时,生成器只能依赖参数化知识作答,输出无法归因到资料;这类错误不能通过修改提示词修复,因为正确的文档从未进入上下文。此时继续调提示只会让错误答案更流畅。反过来,若嵌入把不相关文档排到前面,生成器会获得干扰证据,忠实性与正确性同时下降,详见 RAG原理与流程 的三类失效分析。
成本结构决定了嵌入的工程形态。文档向量在索引阶段离线计算一次,查询阶段只编码一次查询,随后是在 个向量上做内积。若没有预计算,每次查询都要让生成模型读完全部文档;有了预计算,检索退化为矩阵乘法或图搜索,响应时间与文档总量解耦。这一分离是所有向量索引的前提,索引结构本身见 向量数据库。
在本库中,本篇位于表示与检索的交界处:前置是 Tokenizer与BPE(文本到 token,再到向量)与 线性代数(内积、范数、正交);后续是 向量数据库(如何在上亿向量上近似求 argmax)、RAG原理与流程(检索结果如何进入提示词)、检索优化与重排Rerank(用交叉编码器修正双塔的精度损失)与 RAG评估(如何度量召回与排序)。对应学习目标中的三项:懂原理(度量关系与 InfoNCE 推导)、能复现(余弦检索与 BM25)、会评估(Recall@k、MRR、nDCG)。
原理与推导
1 点积、余弦与欧氏距离的关系
设 ,三种常用打分定义为
展开欧氏距离的平方:
若 ,上式化为 。函数 在 上严格单调递减,因此按 降序与按 降序给出完全相同的排列;同时归一化使 。三种度量在归一化后只相差一个单调变换,检索结果一致。
若只有查询被归一化而文档没有,则
其中 随文档变化,不能被当作常数,因此 L2 排序与内积排序一般不同。工程上“写入时归一化、查询时未归一化”或相反,都会改变排序,这类错误在更换索引库时最容易出现。
内积混杂了模长信息。下表三组向量说明这一点。
| 向量对 | 内积 | 余弦 | 欧氏距离 |
|---|---|---|---|
| 与 | 24 | 0.96 | 1.414 |
| 与 | 250 | 1.00 | 45.000 |
| 与 | -24 | -0.96 | 9.899 |
第二对方向完全相同,内积是第一对的 10.4 倍,余弦相同。若用内积检索而未归一化,向量模长较大的文档会系统性占优;若嵌入训练时使用余弦、索引时使用内积,这一偏差会直接体现为排序错误。
2 双塔编码器与对称、非对称检索
双塔结构把查询与文档分别编码,再做内积:
关键性质是两侧不交互:文档向量可以离线计算并存储,查询阶段只需一次前向与一次向量比较。若改用交叉编码器(cross-encoder),把查询与文档拼接后送入同一 Transformer,精度更高,但每个候选都要一次完整前向, 时单次查询需要 次前向,无法在线使用。双塔用精度换取可预计算性,交叉编码器用于对前几十条候选重排,二者分工见 检索优化与重排Rerank。
对称与非对称检索的区别在于两侧输入的分布是否一致。
| 维度 | 对称检索 | 非对称检索 |
|---|---|---|
| 典型任务 | 释义识别、去重、相似问题匹配 | 问题到段落、查询到文档 |
| 两侧长度 | 相近 | 查询短、文档长 |
| 编码器 | 通常共享 | 通常分离 |
| 训练目标 | 回归余弦或分类 | 对比学习加批内负例 |
| 打分 | 余弦 | 内积或余弦 |
| 代表实现 | Sentence-BERT | DPR、BGE 检索模型 |
非对称检索常给查询加指令前缀。以 BGE 中文模型为例,检索查询前拼接“为这个句子生成表示以用于检索相关文章:”,文档不加前缀。前缀改变的是查询向量的位置,使它与训练时的查询分布对齐;省略前缀不会报错,但会使查询向量偏离训练分布,召回下降。
3 对比学习与 InfoNCE 损失
设一个批次含 个正例对 ,编码后得到 ,缩放相似度为
InfoNCE 损失定义为对角项负对数似然:
对单个 logit 求偏导:
再对查询向量求梯度,利用 :
该式给出三点可检验的结论。第一,正例的拉近权重是 :当正例对已经很容易区分()时,该对的梯度趋于零,训练资源自动转移到困难样本。第二,每个负例的排斥权重是 ,与其余弦相似度成正比,因此与查询越接近的负例贡献越大。第三,所有负例权重之和为 ,负例数量增加不会放大总梯度,只会重新分配权重。
温度参数控制权重的集中程度。 越小, 的差异被放大, 越接近 one-hot,梯度集中到最难的负例; 越大,分布越接近均匀,所有负例获得近似相同的权重。取余弦相似度落在 , 时 logits 范围为 , 时仅为 ,前者几乎只更新最难负例。分布的有效负例数可用困惑度度量:
过小会使 ,梯度被单个负例主导;若该负例实际是语义等价的正例(假负例),模型会被推向错误方向。 过大则 ,训练信号被大量简单负例稀释。常见取值区间是 到 ,需与批大小联合调整:批越大,可用的负例越多, 可以相应取小。
批内负例的实现是一次矩阵乘法。设 、,则 ,对角线为正例,其余 个元素为负例。对每一行做 softmax 与交叉熵,即得到 ;对称损失再对列方向做一次并取平均。批大小 时每个查询有 63 个负例, 时有 4095 个,这是大batch 训练在检索任务上有效的主要原因。
批内负例的主要风险是假负例:批次中未被标注为正例、但语义上与查询等价的文档会被当作负例排斥。语料中存在重复文档、同一问题的多个答案时,该风险显著上升。检测方法是统计被推开的负例中相似度高于正例的比例;缓解手段包括去重、按语义聚类后分散到不同批次、对高相似负例降低权重。
难负例通过外部挖掘获得:用 BM25 或当前模型对每个查询取前若干条,排除已知正例后作为负例加入分母。DPR 的做法是用 BM25 取前 100 条,去掉包含答案的段落,再从中采样。难负例提高了任务难度,使模型学到更细的判别边界;代价是标注噪声被放大,若挖掘结果中混入真相关文档,模型会学到错误的排斥关系。工程上常把批内负例与少量难负例混合,并按验证集召回率选择比例。
4 嵌入维度与归一化
维度 决定表示容量与成本。 过小时不同语义被压缩到相近位置,出现维度碰撞; 过大时参数与存储线性增长,而检索精度在超过某个值后收益递减。常见取值是 384(小模型)、512、768(基座)、1024 及以上。存储量为
其中 4 是 float32 的字节数。、 时为 字节,约 2.86 GiB,尚未计入索引结构与副本。改为 float16 可减半,改为主成分截断或标量量化可再压缩,代价是召回下降,需在验证集上测量。
归一化把向量投影到单位球面,使内积等于余弦、分数有界,并使温度参数具有可比较的含义。实现上应在写入与查询两侧做同一操作,且使用同一范数定义:
import numpy as np
z = np.array(((3.0, 4.0), (1.0, 0.0)))
z = z / np.maximum(np.linalg.norm(z, axis=-1, keepdims=True), 1e-12)
print(z) # 两行分别归一化为 (0.6, 0.8) 与 (1.0, 0.0)
分母的下界保护用于避免零向量导致的除零,axis=-1 表示对最后一维求范数,因此二维输入按行归一化、三维输入按每个 token 的向量归一化。若只在写入侧归一化,查询向量的模长会重新引入内积偏差;若两侧都归一化但索引使用 L2 距离,则排序仍与余弦一致,因为此时 是余弦的单调函数。
5 BM25 稀疏检索
BM25 是词项匹配的基线,也是混合检索的常用一路。对查询 与文档 :
其中 是词项 在文档中的频次, 是包含 的文档数, 是文档长度, 是平均长度, 控制词频饱和速度, 控制长度归一化强度。
三个因子各自解决一个问题。逆文档频率使罕见词权重高: 越小, 越大,因此标识符、专有名词的匹配远比“的”“是”重要。词频饱和避免重复堆词:固定 、、 时, 的贡献为 , 的贡献为 ,频次扩大 10 倍只带来 2.17 倍分数。极限为
即单个词项的贡献有上界 。长度归一化抑制长文档优势: 时无归一化, 时完全按长度比例惩罚。
稠密与稀疏检索的失效模式互补。
| 维度 | 稠密检索 | 稀疏检索(BM25) |
|---|---|---|
| 匹配依据 | 训练得到的语义邻近 | 词项共现与权重 |
| 同义改写 | 可命中 | 通常不命中 |
| 罕见标识符 | 易被主题向量稀释 | 高 IDF,精确命中 |
| 训练数据 | 需要正例对 | 不需要 |
| 可解释性 | 低,分数无部件含义 | 高,可按词项分解 |
| 存储 | 字节 | 倒排表,随词表与文档长度增长 |
| 更新 | 重编码后写索引 | 增量更新倒排表 |
| 长文档 | 受截断影响 | 长度归一化后可处理 |
实践中的常见配置是两路并行召回后用加权分数或倒数排名融合,本篇不展开,见 检索优化与重排Rerank。
6 评测指标 Recall@k、MRR、nDCG
设查询集合为 ,查询 的标准相关文档集合为 ,系统返回的有序列表为 。
Recall@k 度量前 条覆盖了多少相关文档:
它对列表内部顺序不敏感,只关心是否进入前 ;当 时,分母仍取 ,因此该查询最多贡献 1。Recall@k 要求相关性标注完整,标注缺失会把命中判为未命中,这是离线评估中最常见的偏差来源。
MRR(mean reciprocal rank)只关心第一条相关结果的位置:
它适合单答案问答:第一条命中在第 1 位得 1,第 2 位得 0.5,第 5 位得 0.2。若某查询前 条无相关文档,该查询记 0。MRR 不区分后续结果的质量,也不利用多相关文档。
nDCG 使用分级相关性并做位置折扣。设第 位结果的相关性等级为 ,则
其中 是把同一批相关性等级按最优顺序排列后得到的 DCG,因此 。增益 使高相关文档的边际收益递增,折扣 使位置越靠后贡献越小。
| 指标 | 关注点 | 适用场景 | 局限 |
|---|---|---|---|
| Recall@k | 前 条的覆盖 | 召回阶段、RAG 检索 | 不区分顺序 |
| MRR | 第一条命中的位置 | 单答案问答 | 忽略其余相关文档 |
| nDCG@k | 分级相关性与顺序 | 多级标注、排序评估 | 需要等级标注,跨查询可比性依赖标注一致性 |
关键直觉
嵌入把“语义相关”压缩成“内积大”,检索就是在向量集合上求最大内积;归一化把内积变成余弦,使分数有界且与长度无关;对比学习用批内其他文档作负例,温度决定梯度集中在多难的负例上;BM25 是与稠密检索互补的词项基线,用 IDF 给罕见词加权、用饱和函数抑制重复、用长度归一化抑制长文档。
与严格定义的关系:定义中的 说明检索只是排序,不产生新信息,因此召回上限由 决定;InfoNCE 的梯度式 说明“语义相近”是如何被训练出来的,而不是天然属性;BM25 公式中的三个因子分别对应“哪个词重要”“重复多少次”“文档多长”,这三项在稠密向量中没有对应部件。
例子与代码
以下四段代码在同一脚本中顺序执行,运行环境为 Python 3.12 与 NumPy 2.3,不依赖网络与模型下载。为把检索阶段的数学与编码器解耦,向量按五个语义轴(动物、金融、编程、检索、医疗)人工设定;真实系统的向量由编码器产生,第 4 段给出接口。
例 1:语料与归一化向量
import math
import re
import numpy as np
docs = [
"宠物猫的日常饲养与常见疾病",
"犬类疫苗接种时间表",
"股票指数基金定投策略",
"债券收益率曲线与久期",
"Python 列表推导式与生成器",
"NumPy 广播机制与向量化计算",
"HNSW 的 efConstruction 与 M 参数决定图质量",
"向量数据库的元数据过滤与后过滤",
]
# 五维语义轴:动物、金融、编程、检索、医疗
V = np.array([
[0.90, 0.00, 0.00, 0.00, 0.35],
[0.92, 0.00, 0.00, 0.00, 0.08],
[0.00, 0.95, 0.00, 0.00, 0.00],
[0.00, 0.90, 0.00, 0.03, 0.00],
[0.00, 0.00, 0.95, 0.00, 0.00],
[0.00, 0.00, 0.85, 0.15, 0.00],
[0.00, 0.00, 0.25, 0.95, 0.00],
[0.00, 0.00, 0.45, 0.85, 0.00],
], dtype=np.float64)
V = V / np.linalg.norm(V, axis=1, keepdims=True)
queries = {
"猫生病了怎么照顾": np.array([0.88, 0.00, 0.00, 0.00, 0.42]),
"efConstruction 设置多少合适": np.array([0.00, 0.00, 0.20, 0.80, 0.00]),
}
这段代码做两件事:把八条文档写成 矩阵,并按行做 L2 归一化。keepdims=True 保持形状为 ,使广播除法得到 ;若去掉该参数, 会除以形状 ,NumPy 按最后一维广播,得到错误的逐列除法。人工设定向量不是为了模拟编码器,而是为了让第 2 段与第 3 段的分数可以手工核对。
例 2:余弦检索
print("=== 余弦相似度排序(归一化后) ===")
for q, vec in queries.items():
qn = vec / np.linalg.norm(vec)
s = V @ qn
order = np.argsort(-s)[:3]
print(f"{q} ->", [(f"D{i+1}", round(float(s[i]), 4)) for i in order])
=== 余弦相似度排序(归一化后) ===
猫生病了怎么照顾 -> [('D1', 0.9972), ('D2', 0.9364), ('D3', 0.0)]
efConstruction 设置多少合适 -> [('D7', 0.9999), ('D8', 0.9709), ('D6', 0.4074)]
第一行查询与 D1、D2 共享动物与医疗两个轴,余弦分别为 0.9972 与 0.9364;尽管查询中没有任何一个完整词项出现在 D1 中,排序仍然正确。第二行查询包含标识符 efConstruction,D7 的余弦为 0.9999,而主题相近的 D8 为 0.9709,差距只有 0.029,说明稠密向量把标识符级差异压缩成了主题级差异。这个差距在下一段与 BM25 对照时会被放大。
例 3:BM25 打分与对照
TOKEN = re.compile(r"[a-z0-9]+|[\u4e00-\u9fff]+")
def grams(text):
# 英文与数字按整词切分,中文按连续汉字切字符二元组
out = []
for m in TOKEN.findall(text.lower()):
if m.isascii():
out.append(m)
elif len(m) == 1:
out.append(m)
else:
out.extend(m[i:i + 2] for i in range(len(m) - 1))
return out
tfs = [dict() for _ in docs]
for i, doc in enumerate(docs):
for g in grams(doc):
tfs[i][g] = tfs[i].get(g, 0) + 1
df = {}
for tf in tfs:
for g in tf:
df[g] = df.get(g, 0) + 1
N = len(docs)
def idf(g):
# Lucene 形式:分子加 1,避免高频词的 idf 为负
return math.log(1 + (N - df.get(g, 0) + 0.5) / (df.get(g, 0) + 0.5))
def bm25(q, k1=1.5, b=0.75):
qt = grams(q)
avgdl = sum(sum(tf.values()) for tf in tfs) / N
scores = []
for tf in tfs:
dl = sum(tf.values())
s = 0.0
for g in qt:
f = tf.get(g, 0)
if f:
s += idf(g) * f * (k1 + 1) / (f + k1 * (1 - b + b * dl / avgdl))
scores.append(s)
return np.array(scores)
print("\n=== BM25 排序(字符二元组,k1=1.5, b=0.75)===")
for q in queries:
s = bm25(q)
order = np.argsort(-s, kind="stable")[:3]
print(f"{q} ->", [(f"D{i+1}", round(float(s[i]), 4)) for i in order])
print(" 零分文档数:", int((s == 0).sum()), "命中词:", sorted(set(grams(q)) & set(df)))
print("\nidf 例:", {g: round(idf(g), 4) for g in ["efconstruction", "向量", "疾病", "过滤"]})
print("文档长度:", [sum(tf.values()) for tf in tfs])
=== BM25 排序(字符二元组,k1=1.5, b=0.75)===
猫生病了怎么照顾 -> [('D1', 0.0), ('D2', 0.0), ('D3', 0.0)]
零分文档数: 8 命中词: []
efConstruction 设置多少合适 -> [('D7', 1.7346), ('D1', 0.0), ('D2', 0.0)]
零分文档数: 7 命中词: ['efconstruction']
idf 例: {'efconstruction': 1.7918, '向量': 1.2809, '疾病': 1.7918, '过滤': 1.7918}
文档长度: [12, 8, 9, 9, 9, 10, 11, 14]
结果暴露两种检索的分工。查询“猫生病了怎么照顾”与八条文档没有共享的字符二元组(查询产生“猫生”“生病”“病了”“怎么”“照顾”等,D1 产生“宠物”“物猫”“疾病”“常见”等),全部文档得分为零,排序退化为按文档编号的稳定排序;同一查询在余弦下正确命中 D1。查询 efConstruction 时,该标识符只出现在 D7,,IDF 为 1.7918,最终得分 1.7346,其余七条为零;余弦下 D7 与 D8 只差 0.029。IDF 对罕见词的放大作用是 BM25 在术语查询上优于稠密向量的直接原因。
中文按字符二元组切分避免了引入分词器,代价是词边界被切碎:“疾病”与“生病”没有共同二元组,因此词表不匹配时 BM25 依然为零。真实系统通常改用分词后的词项,或同时保留一元与二元特征,但 IDF 的性质不变。
例 4:Recall@k、MRR 与 nDCG 的手算对照
def recall_at_k(ranked, rel, k):
return len(set(ranked[:k]) & set(rel)) / len(rel)
def mrr(ranked, rel):
for i, d in enumerate(ranked, 1):
if d in rel:
return 1.0 / i
return 0.0
def ndcg_at_k(ranked, gains, k):
dcg = sum((2 ** gains.get(d, 0) - 1) / math.log2(i + 1) for i, d in enumerate(ranked[:k], 1))
ideal = sorted(gains.values(), reverse=True)[:k]
idcg = sum((2 ** g - 1) / math.log2(i + 1) for i, g in enumerate(ideal, 1))
return dcg / idcg
ranked = ["D4", "D7", "D1", "D2", "D8"]
gains = {"D1": 2, "D4": 1}
print("Recall@1,3 =", recall_at_k(ranked, gains, 1), recall_at_k(ranked, gains, 3))
print("MRR =", round(mrr(ranked, gains), 4))
print("nDCG@5 =", round(ndcg_at_k(ranked, gains, 5), 4))
Recall@1,3 = 0.5 1.0
MRR = 1.0
nDCG@5 = 0.6885
手算核对:两个相关文档 D1、D4,前 1 位只有 D4,Recall@1 为 ;前 3 位包含 D4 与 D1,Recall@3 为 ;第一条即相关,MRR 为 1.0。nDCG 的 DCG 为 D4 的 加上第 3 位 D1 的 ,合计 2.5;最优顺序为 D1、D4,IDCG 为 ,比值为 0.6885。三个指标对同一排序给出不同判断:MRR 认为完美,Recall@3 认为召回完整,nDCG 指出顺序仍可改进。
例 5:sentence-transformers 接口
# pip install sentence-transformers;首次运行会下载模型权重
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("BAAI/bge-small-zh-v1.5") # 中文检索模型,输出 512 维
docs = ["KV 缓存复用已计算的键值张量", "分组查询注意力降低键值显存"]
queries = ["为这个句子生成表示以用于检索相关文章:如何减少 KV 缓存显存"]
doc_emb = model.encode(docs, normalize_embeddings=True, convert_to_numpy=True)
qry_emb = model.encode(queries, normalize_embeddings=True, convert_to_numpy=True)
print(doc_emb.shape, qry_emb.shape) # (2, 512) (1, 512)
print(util.cos_sim(qry_emb, doc_emb)) # (1, 2),已归一化,等价于内积
normalize_embeddings=True 在编码器输出后按行做 L2 归一化,使后续内积等于余弦;若省略该参数,util.cos_sim 仍会正确计算余弦,但直接写 qry_emb @ doc_emb.T 得到的将是受模长影响的内积。BGE 系列要求查询加指令前缀、文档不加,前缀写错会使查询向量偏离训练分布;encode 的 batch_size 默认 32,长文档应增大以提升吞吐,显存不足时减小。
易错点
以下六条均可在运行结果或对照实验中直接检验。
1. 写入与查询的归一化不一致:索引用内积、查询向量却未归一化,排序会被文档模长主导。检验方法是比较同一查询在
V @ q与(V @ q) / (||V|| ||q||)下的前 10 条是否一致。2. 把批内负例当成真负例:批次中存在语义等价文档时,它们被当作负例推开,训练损失下降而验证集召回不升。应统计被排斥负例的相似度分布,并对高相似负例做去重或降权。
3. 把温度当作置信度阈值: 不改变模型对正例的偏好方向,只改变负例权重的集中程度。 过小会使训练被个别假负例主导, 过大则负例权重趋同、判别力下降。
4. 用 Recall@k 单独判断检索质量: 增大时 Recall 单调上升,但进入上下文的文档数也增加,噪声与 token 成本同时上升。应同时报告 MRR 或 nDCG,并固定 与下游上下文预算。
5. 中文 BM25 直接按字切分并忽略 IDF 负值:经典 IDF 形式在 时为负,高频词会压低文档分数;应使用加 1 的形式或截断到零,并确认分词粒度与查询一致。
6. 认为维度越高越好:维度超过任务所需后精度饱和,而存储、编码时间与索引内存线性增长。更换维度必须重新训练编码器,不能把 768 维向量截断为 384 维后直接与 384 维模型比较。
关联笔记
- 前置 线性代数:内积、范数、夹角与正交性是本篇三种度量的语言,归一化后的单调关系直接由范数展开式得到。
- 前置 Tokenizer与BPE:文本先经分词变为 token 序列,再由编码器映射为向量;分词粒度决定词表不匹配的严重程度。
- 后续 向量数据库:本篇只解决“如何定义相似”,该篇解决“如何在上亿向量上近似求 argmax”,包括 HNSW、IVF 与量化。
- 后续 RAG原理与流程:检索结果如何写入提示词、三类失效如何归因,均以本篇的召回与排序为前提。
- 对照 检索优化与重排Rerank:双塔为保证可预计算而牺牲交互,交叉编码器用全注意力修正精度,二者构成召回与重排的两级结构。
达标检测
- [ ] 写出点积、余弦、欧氏距离三者的关系式,并证明向量归一化后三种排序一致;给出一个未归一化时点积与余弦排序不同的数值例子。
- [ ] 解释双塔结构为何能预计算文档向量,并估算 、 时的存储量(float32)。
- [ ] 从 出发,推导 ,并说明正例与负例的梯度权重。
- [ ] 取 与 ,对余弦相似度 分别计算 softmax 分布与有效负例数,说明温度对训练的影响。
- [ ] 运行本篇代码,把中文切分改为按单字切分,观察 BM25 在“猫生病了怎么照顾”上的得分变化,并解释原因。
- [ ] 给定排序
["D4","D7","D1","D2","D8"]与相关性{"D1":2,"D4":1},手算 Recall@1、Recall@3、MRR、nDCG@5,并与代码输出对照。
参考来源
- Reimers & Gurevych, "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", arXiv:1908.10084, 2019 —— 对应第 2 节的双塔结构与对称检索,以及第 3 节以余弦为打分的训练目标。
- Karpukhin et al., "Dense Passage Retrieval for Open-Domain Question Answering", arXiv:2004.04906, 2020 —— 对应第 2 节的非对称双塔与第 3 节的批内负例、BM25 难负例构造。
- Malkov & Yashunin, "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs", arXiv:1603.09320 —— 对应大规模内积检索的索引背景,索引细节见 向量数据库。
- Mikolov et al., "Efficient Estimation of Word Representations in Vector Space", arXiv:1301.3781, 2013 —— 对应嵌入把离散对象映射到稠密空间的历史起点与上下文窗口训练方式。
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", arXiv:2103.00020, 2021 —— 对应双塔对比学习、批内负例与温度参数在工业规模上的用法。
- d2l.ai《动手学深度学习》第 14 章词嵌入 —— 对应词向量的共现训练、相似度性质与余弦检索的入门推导。