BERT与双向编码模型
定义
BERT(Bidirectional Encoder Representations from Transformers)是一类以双向 Transformer 编码器为主体、以掩码语言建模(masked language modeling,MLM)与下一句预测(next sentence prediction,NSP)为预训练目标、并在下游任务上做全参数微调的模型族。它与 GPT 的差别不在层结构(二者都用同一套 Transformer 子层),而在每个位置能看到哪些上下文、以及目标函数如何定义监督信号。
符号约定如下。
| 符号 | 含义 |
|---|---|
| 编码层数 | |
| 隐藏维度 | |
| 注意力头数 | |
| 前馈层中间维度,BERT 取 | |
| 词表大小,WordPiece | |
| 最大序列长度,512 | |
| 输入序列长度, | |
| 原始 token 序列 | |
| 被破坏后的输入序列 | |
| 被选为预测目标的位置集合, | |
| 位置 的最终隐藏状态,维度 | |
| 模型在破坏输入上给出的条件分布 | |
[CLS] | 序列首位特殊 token,其隐藏状态用于分类 |
[SEP] | 句对分隔与序列终止特殊 token |
[MASK] | 掩码替换符,只在预训练中出现 |
其余术语在正文首次出现处定义:双向(bidirectional)指位置 的表示依赖全部 个位置而非只依赖左侧;掩码语言建模指随机遮盖部分输入、要求模型恢复被遮盖 token 的目标;下一句预测指判断句对中第二句是否为第一句的真实后继的二分类目标;WordPiece 是 BERT 使用的子词算法,词表中以 ## 标记非词首片段;微调(fine-tuning)指在预训练权重上以任务数据继续训练全部参数。
为什么重要
BERT 确立了"预训练加微调"的两阶段范式:先用大规模无标注语料学通用表示,再用少量标注数据适配任务。在它之前,每个自然语言处理任务的结构与初始化基本独立;在它之后,一个预训练编码器加一个线性分类头即可覆盖分类、序列标注、抽取式问答、句对匹配等任务,且效果显著优于从零训练。
更具体地说,BERT 解决的是表示问题而不是生成问题。它的输出是每个位置的上下文向量,可以直接用于分类与检索;它不给出序列的联合概率,因此不能直接用于生成。这一分工与 GPT系列架构 构成 2018 至 2020 年的两条主线,理解二者的目标差异比记住结构参数更重要:同一个 Transformer 骨架,目标函数决定了它能做什么。
BERT 的副产品是句向量与检索。取 [CLS] 或对位置向量做平均池化,可以得到固定维度的句子表示,进而支持语义检索与聚类,见 Embedding与向量检索。这一用途在 RAG 系统中是基础设施,也是 检索优化与重排Rerank 中双塔模型的前身。
在本库中的位置:Transformer架构详解 给出编码层结构,本篇说明去掉因果掩码后必须换什么目标;因果注意力与多头注意力 的掩码机制在这里被有意关闭,其后果是第 1 节的"目标泄漏";GPT系列架构 提供逐项对照;预训练-微调-对齐pipeline 把本篇的预训练阶段放进完整训练流程。对应学习目标中的"懂原理"与"会评估":能推导 MLM 损失,能判断一个任务该用编码器还是解码器。
原理与推导
1 双向编码与目标泄漏
编码器在位置 的输出依赖全部输入:
若直接在这个表示上做因果语言建模,即用 预测 ,则 已经包含了 自身的嵌入。模型可以学到恒等映射:令 的第一维等于 的嵌入分量,输出层复制该分量,损失降为 0,而模型没有学到任何关于上下文的条件结构。这不是优化困难,而是目标本身存在平凡解。
形式化地说,双向编码加自回归目标使条件分布 的输入中含有待预测的标签,训练目标与"从上下文推断"这一意图不一致。解决办法只有一个方向:破坏输入,使标签不能从输入的直接通路读出。
MLM 的做法是:从输入中选出位置集合 ,用 替换 ,要求模型在 上恢复 中位置的原始 token。此时 ()的输入中不含 ,恒等映射不再可用,模型必须利用双侧上下文。
需要强调的是,这一改动使 BERT 成为去噪自编码器而非概率语言模型:它学的是 ,一个以被破坏序列为条件的边缘分布,而不是 的分解。第 3 节会说明这一差别在生成任务上的后果。
2 MLM 的构造与 80/10/10 策略
预训练时对每条序列执行以下步骤。
- 从非特殊 token 中选出 的位置作为预测目标集合 。
- 对 中每个位置独立抽一个分支:以 的概率替换为
[MASK],以 的概率替换为词表中均匀抽取的另一个 token,以 的概率保持不变。 - 标签只写在 的位置上,值为原始 token;其余位置在损失中被忽略。
三个分支的作用不同,缺一不可。
[MASK] 分支(80%) 提供明确的"此处信息缺失"信号,迫使模型从上下文推断。若没有这一分支,输入中不存在需要填补的空位,任务退化为去噪。
随机替换分支(10%) 的作用是消除一条捷径。若被选中的位置 变为 [MASK],模型可以学到"只在看到 [MASK] 的位置做上下文推断,其余位置的表示可以任意",因为其余位置从不产生损失。随机替换使被选中位置在输入中仍是一个合法 token,模型无法从输入判断哪些位置需要预测,于是必须对每个位置都保留可用于恢复的上下文表示。
保持不变分支(10%) 处理预训练与微调的分布不一致。微调时输入中没有任何 [MASK],若预训练中所有目标位置都被替换,模型学到的表示就依赖"输入中存在 [MASK]"这一在微调时恒不成立的条件。保留 10% 使模型不能假定被选中位置一定被破坏,从而对正确 token 也维持有用的表示;论文的表述是这一分支使表示偏向观测到的真实词。
期望计数可以直接算出。设序列长度 ,则 ,其中约 个位置变为 [MASK]、 个位置被随机替换、 个位置保持原样。也就是说,预训练中只有约 的位置以 [MASK] 形式出现,而 的输入位置保持原样;微调时这一比例为 。这个差距是 NSP 之外第二个预训练与微调不一致的来源,也是后续工作(如 RoBERTa 的动态掩码)继续调整的对象。
实现上还有两个细节。第一,实际实现通常在非特殊 token 上按比例选取,避免把 [CLS]、[SEP]、[PAD] 选为目标。第二,常对每条序列设置预测数的上限,防止长序列的单条样本主导一个 batch 的损失。
3 MLM 损失推导
记输出投影为 、偏置为 ,则
损失只对 中的位置求和:
对 logits 求梯度,结果与任何 softmax 交叉熵相同:
因此不在 中的位置既不计损失也不产生梯度,这也是实现中必须用 ignore_index=-100 而不是用 0 占位的原因:若用 0 占位,这些位置会被当作"目标 token 是 0",产生本不应存在的梯度。
困惑度只在被预测位置上定义:
与 GPT系列架构 的 CLM 相比,有三点结构性差异。
第一,监督密度。CLM 对每个位置产生损失,密度为 1;MLM 只对 的位置产生损失,密度为 0.15。在相同 token 预算下,CLM 的梯度信号约为 MLM 的 6.7 倍,这是 BERT 预训练需要 1M 步、而同等规模解码器通常步数更少的原因之一。
第二,条件独立假设。给定 ,模型对 中不同位置的预测是分别归一化的,损失是各位置对数概率之和。这等价于假定
即 内部各位置条件独立。真实语言中这些位置显然相关(同一句中的词互相约束),BERT 不建模这种相关性,因此它给出的是逐位置的边缘分布,不是序列的联合分布。
第三,可计算性。CLM 的链式分解给出合法的联合概率,可以直接算一条序列的概率;MLM 的损失不是任何联合概率的分解,无法用于计算 ,也无法按位置顺序采样。这两点是第 10 节"不能直接做自回归生成"的根本原因。
4 NSP 目标与后续质疑
BERT 的第二个预训练目标是下一句预测。构造输入为
其中 的样本 是 的真实后继句, 是从另一文档随机抽取的句子。取 [CLS] 的最终隐藏状态接一个二分类头,输出"是后继"的概率( 为 sigmoid 函数):
加入 NSP 的动机是让模型学习句间关系,以支持自然语言推断与问答这类需要比较两个句子的任务。MLM 只在单个位置做恢复,不能直接提供句级监督。
后续工作对这一目标提出两点质疑。第一,负样本从另一文档随机抽取,正负样本的主题差异远大于句间逻辑差异,模型可以用主题匹配达到很高的准确率,不需要学习句间关系;这使得 NSP 提供的信号与设计意图不符。第二,相对 MLM,NSP 的信息量很低:每次前向只产生一个二分类标签,而 MLM 产生约 77 个位置标签。
RoBERTa 的做法是直接去掉 NSP,并把输入改为从同一文档连续采样的完整句子片段(可跨文档边界,或不跨边界的变体),同时配合动态掩码、更大的批大小与更多数据。结果显示在 GLUE、SQuAD 等基准上不降反升,说明 NSP 对最终表示不是必要的。这一结论是"目标函数应按信息量设计"的一个直接证据:一个看似合理、但可由捷径解决的辅助目标,收益低于把同等计算投入主目标。
RoBERTa 的其余改动同样针对预训练效率:
| 改动 | BERT | RoBERTa | 作用 |
|---|---|---|---|
| 掩码生成 | 数据预处理时静态生成一次 | 每个 epoch 重新采样(动态掩码) | 同一序列在不同 epoch 看到不同掩码,等效扩充数据 |
| NSP | 保留 | 去掉 | 减少低信息量目标 |
| 批大小 | 256 条序列 | 最大 8K 条序列 | 提高梯度估计稳定性,配合学习率调整 |
| 数据量 | 约 16 GB(BooksCorpus 加 Wikipedia) | 约 160 GB(另含 CC-News、OpenWebText、Stories) | 增加 token 数与多样性 |
| 词表 | 30,000 WordPiece | 50,265 byte-level BPE | 避免未登录词,统一字符级回退 |
| 训练时长 | 1M 步 | 100K 至 500K 步(更大 batch) | 匹配更大的数据量 |
5 输入表示与特殊 token
BERT 的输入嵌入由三部分逐元素相加得到:
其中 为词嵌入, 为学习式绝对位置嵌入, 为句段嵌入()。相加后接 LayerNorm 与 dropout,再送入编码层。位置嵌入上限 512,因此 BERT 不能处理超过 512 个 token 的输入,长文档必须截断或分块。
三个特殊 token 的职责不同。[CLS] 位于序列首位,其最终隐藏状态被用作整条序列的聚合表示,接分类头;它本身没有词义,其表示通过各层注意力从其他位置聚合而来。[SEP] 用于分隔两个句段并标记序列结束,与句段嵌入配合告诉模型句段边界。[MASK] 只在预训练中使用,微调与推理时不应出现。
分词使用 WordPiece:从字符开始,反复合并语料中频次最高的相邻片段,编码时做最长匹配,非词首片段加 ## 前缀。发布的英文 uncased 模型词表为 30522 项(论文表述为 30,000 词表),cased 为 28996,中文为 21128。与 byte-level BPE 相比,WordPiece 在遇到未登录字符时会映射为 [UNK],这是 Tokenizer与BPE 中讨论的可逆性问题。
6 配置与参数量
| 配置 | BERT-base | BERT-large |
|---|---|---|
| 层数 | 12 | 24 |
| 隐藏维度 | 768 | 1024 |
| 头数 | 12 | 16 |
| 每头维度 | 64 | 64 |
| 3072 | 4096 | |
| 最大长度 | 512 | 512 |
| 词表 | 30522 | 30522 |
| 参数量(论文) | 110M | 340M |
| 参数量(逐项核算) | 109.40M | 334.92M |
逐项计数与 GPT 的公式同构,差别在四项:没有因果掩码(不改变参数量)、多一个句段嵌入、多一个池化层、输出头与词嵌入共享权重(MLM head 的变换矩阵 另计):
BERT-base 代入:,,,每层 ,12 层为 ,池化层 ,合计 ,即 109.40M,与论文的 110M 一致(取整)。BERT-large 代入得 ,即 334.92M,与论文的 340M 相差约 ,差额来自论文的取整口径。
与 GPT-2 small 的 124.36M 相比,BERT-base 小约 15M,主要因为词表从 50257 降到 30522( 少 15.2M),而层参数完全相同(同为 12 层、768 维、3072 前馈)。
7 预训练与微调流程
预训练数据为 BooksCorpus(约 8 亿词)与英文维基百科(约 25 亿词),合计约 33 亿词。训练配置为批大小 256 条序列、每条 512 token(每步约 131072 个 token 位置),步数 1M;按论文的换算,这相当于在 33 亿词上训练约 40 轮。优化器为 Adam,学习率 、、L2 权重衰减 、前 10000 步线性预热后线性衰减,dropout 0.1,激活函数 GELU。
微调阶段为每个下游任务加一个任务头:分类任务取 [CLS] 的 维向量接线性层;序列标注任务对每个位置接线性层;抽取式问答预测答案起止位置的两个分布。全部参数参与更新,典型配置为批大小 32、学习率 至 、训练 3 轮。学习率比预训练低一个数量级,原因是大学习率会破坏预训练得到的表示。
这一范式的成本结构值得注意:每个任务需要一份完整的模型副本(BERT-base 约 440 MB),任务数增加时存储与部署成本线性增长。GPT系列架构 中的上下文学习正是针对这一点的替代方案:不复制权重,把任务信息放进输入。
8 与 GPT 的对照
| 维度 | BERT | GPT |
|---|---|---|
| 层类型 | 编码器,双向注意力 | 解码器,因果注意力 |
| 预训练目标 | MLM(加 NSP) | CLM |
| 每个位置的可见范围 | 全部位置 | 左侧位置 |
| 监督密度 | 0.15 | 1.0 |
| 序列联合概率 | 不能给出 | 可以给出 |
| 直接生成 | 不能 | 能 |
| 特殊 token | [CLS]、[SEP]、[MASK] | 无 |
| 位置编码 | 学习式,上限 512 | 学习式,上限 1024 或 2048 |
| 规模 | 110M、340M | 117M 至 175B |
| 下游适配 | 全参数微调 | GPT-1 微调,GPT-2/3 零样本或上下文学习 |
| 典型任务 | 分类、序列标注、抽取式问答、句向量 | 生成、对话、少样本任务 |
两条路线的分歧可以归结为一个设计选择:是否要求模型给出合法的序列概率。要求,就必须用因果分解,每个位置只能看左侧,双向表示不可用;不要求,就可以用双向编码获得更强的表示,但放弃生成能力。BERT 选择后者,GPT 选择前者。后续的编码器-解码器结构试图同时获得两者,代价是参数与计算量的增加。
9 句子嵌入与检索
把 BERT 用作句向量有三种常见池化:取 [CLS] 的最终隐藏状态、对所有位置做平均、或对首末若干 token 取平均。得到 维向量后,用余弦相似度做最近邻检索。
直接使用未微调的 BERT 存在一个可测量的问题:各向异性。上下文表示的分布集中在高维空间的一个窄锥内,任意两句话的余弦相似度都偏高,区分度低。原因与 MLM 目标有关:它优化的是逐位置恢复,没有约束句级表示的分布形状。解决方式是用对比学习微调:构造正负句对,用 InfoNCE 一类目标拉近正对、推远负对,得到适合相似度计算的句向量。这类模型通常采用双塔结构,两个句子分别编码后再比较,使句向量可以预计算并建立索引。
在检索系统中,双塔编码器用于召回(对全库向量做近似最近邻搜索),交叉编码器用于重排(把查询与候选拼接后送入编码器打分,精度更高但不能预计算)。两者的分工与成本见 Embedding与向量检索、向量数据库 与 检索优化与重排Rerank。 条句向量在 float32 下的存储为 字节:、 时为 3.07 GB,这是选择维度与量化方案的直接约束。
10 为何不能直接用 BERT 做自回归生成
第一,目标不匹配。BERT 训练的是 ,条件中含有 右侧的 token 以及一个被人为破坏的输入;自回归生成需要的是 。两者是不同的条件分布,前者不能通过简单改写得到后者。
第二,双向注意力使逐位解码不合法。生成第 个 token 时,序列只到 ;若把 BERT 的注意力限制为因果,其行为与预训练时完全不同,因为预训练的每个位置都见过右侧上下文。模型没有学过"只看左侧"的推断方式。
第三,推理时不存在 [MASK]。训练中 的目标位置输入是 [MASK],而生成时若插入 [MASK] 占位,就需要多轮迭代填空,且每轮的条件与训练分布仍不一致;若不插入,输入中没有任何缺失信号,模型不知道该预测哪个位置。
第四,没有可用的增量解码结构。因果模型可以用 KV 缓存把每步代价降到 ,见 KV缓存;双向模型中每个位置的表示依赖全序列,新增一个 token 会改变所有已计算位置的表示,缓存失效。
第五,输出头与损失只覆盖 的位置,且对 内部做条件独立假设。即使强行逐位采样,得到的也不是任何一致的联合分布,长序列上误差会累积。
可以做的替代方案有三类:把 BERT 当作编码器做非自回归的迭代填空(掩码扩散式生成);在 BERT 权重上改为因果掩码并继续预训练(编码器-解码器路线);或者直接用 GPT系列架构 一类的解码器。这三类都不是"直接使用 BERT 生成"。
关键直觉
MLM 把生成问题改写为去噪问题:模型学的是给定被破坏的双侧上下文恢复原 token 的条件分布,并且 内部各位置在给定输入时被当作条件独立。因此 BERT 的输出是逐位置的上下文表示,可用于分类与检索;它不是序列的联合概率模型,不能给出 ,也不能按位置顺序采样。
这一表述与严格定义的关系是:定义给出了目标函数与输入构造,上述分解说明了为什么"双向"与"能生成"不可兼得——双向带来的强表示依赖于看到全部位置,而这恰好破坏了自回归分解所需的条件结构。
例子与代码
例 1:MLM 输入构造
以下代码用 PyTorch 2.x 构造一条 22 个 token 的样本,固定随机种子使输出可复现。
import random
import torch
import torch.nn.functional as F
PAD, CLS, SEP, MASK = 0, 1, 2, 3
V = 12
# 22 个 token:首位 [CLS],末位 [SEP],中间 20 个内容 token
SEQ = [CLS, 4, 5, 6, 7, 8, 9, 10, 11, 4, 5, 6, 7, 8, 9, 10, 11, 9, 5, 10, 7, SEP]
def build_mlm(seq, vocab_size, p=0.15, seed=30):
tokens = torch.tensor(seq, dtype=torch.long)
special = {PAD, CLS, SEP}
cand = [i for i, t in enumerate(seq) if t not in special] # 不把特殊 token 选为目标
n = max(1, round(p * len(cand))) # 15% 的候选位置
rng = random.Random(seed)
chosen = sorted(rng.sample(cand, n))
inputs = tokens.clone()
labels = torch.full_like(tokens, -100) # -100 表示不计损失
branches = ["mask", "random", "keep"] # 示例固定,真实实现按 u 抽样
for i, br in zip(chosen, branches):
labels[i] = tokens[i] # 标签始终是原始 token
if br == "mask":
inputs[i] = MASK
elif br == "random":
inputs[i] = rng.randrange(vocab_size) # 均匀抽一个 token 覆盖
return tokens, inputs, labels, chosen
tokens, inputs, labels, chosen = build_mlm(SEQ, V)
cand = [i for i, t in enumerate(SEQ) if t not in (PAD, CLS, SEP)]
print("T =", len(SEQ), " 候选位置 =", len(cand), " 选中 =", len(chosen), chosen)
for i in chosen:
print(f" pos={i:<3} 原token={SEQ[i]:<3} 输入={int(inputs[i]):<3} 标签={int(labels[i])}")
print("inputs:", inputs.tolist())
print("labels:", labels.tolist())
print("被替换为 [MASK] 的位置:", (inputs == MASK).nonzero().flatten().tolist())
valid = labels != -100
print("有效位置:", valid.nonzero().flatten().tolist(), "共", int(valid.sum()), "/", len(SEQ))
T = 22 候选位置 = 20 选中 = 3 [1, 10, 18]
pos=1 原token=4 输入=3 标签=4
pos=10 原token=5 输入=9 标签=5
pos=18 原token=5 输入=5 标签=5
inputs: [1, 3, 5, 6, 7, 8, 9, 10, 11, 4, 9, 6, 7, 8, 9, 10, 11, 9, 5, 10, 7, 2]
labels: [-100, 4, -100, -100, -100, -100, -100, -100, -100, -100, 5, -100, -100, -100, -100, -100, -100, -100, 5, -100, -100, -100]
被替换为 [MASK] 的位置: [1]
有效位置: [1, 10, 18] 共 3 / 22
三个被选中的位置分别演示三个分支:位置 1 变为 [MASK](),位置 10 被随机 token 9 覆盖(),位置 18 保持原 token 5()。位置 18 的输入与标签相同(都是 5),这是"保持不变"分支的必然结果,也是该分支容易被误认为标注错误的地方:它的损失不为零,模型必须在能看到答案的情况下仍预测出它,这一项训练的是表示而非恢复能力。
labels 中 有 19 个,有效位置 3 个,占比 13.6%,接近 的设计值。若把 -100 改为 0,F.cross_entropy 会把 19 个填充位置当作"目标 token 为 0"来计算损失,梯度被这些位置主导,第 3 节的推导失效。
下一段与上一段属于同一脚本,顺序执行后计算损失。为便于核对,用一个无参数的确定性打分函数代替编码器:位置 对词表各项的分数取 ,即只看左邻 token。真实 BERT 用 12 层双向编码器产生 ,但损失的取平均位置与忽略机制与此完全相同。
def toy_logits(inputs, vocab_size):
# 位置 t 的打分只依赖左邻 token:-0.5*(v - prev)^2,确定性、无可学习参数
prev = torch.cat([torch.zeros(1, dtype=torch.long), inputs[:-1]])
ids = torch.arange(vocab_size, dtype=torch.float64).unsqueeze(0)
return -0.5 * (ids - prev.unsqueeze(1).double()) ** 2
logits = toy_logits(inputs, V) # (22, 12)
nll = F.cross_entropy(logits.view(-1, V), labels.view(-1),
ignore_index=-100, reduction="none")
loss = nll.sum() / valid.sum() # 只对 3 个有效位置取平均
print("有效位置的 nll:", [round(float(nll[i]), 4) for i in valid.nonzero().flatten()])
print(f"sum = {float(nll.sum()):.4f} mean = {float(loss):.4f} ppl = {float(torch.exp(loss)):.2f}")
bad = torch.where(labels == -100, torch.zeros_like(labels), labels)
loss_bad = F.cross_entropy(logits.view(-1, V), bad.view(-1))
print(f"若把 -100 换成 0: mean = {float(loss_bad):.4f} ppl = {float(torch.exp(loss_bad)):.2e}")
有效位置的 nll: [5.3586, 1.4189, 8.9144]
sum = 15.6919 mean = 5.2306 ppl = 186.91
若把 -100 换成 0: mean = 28.5175 ppl = 2.43e+12
ignore_index=-100 使 nll 在非目标位置输出 0,nll.sum() 等于三个有效位置的损失之和。位置 1 的损失为 5.3586,因为玩具模型只看左邻([CLS] 的 id 为 1),而标签是 4;位置 10 的左邻是 4、标签是 5,距离为 1,损失仅 1.4189;位置 18 的左邻是 9、标签是 5,距离为 4,损失 8.9144。三个值的差异完全由 与配分函数的相对大小决定,可以手算核对。
困惑度 186.91 大于词表大小 12,说明这个玩具模型比均匀分布更差:玩具打分函数没有任何学习,只是在演示损失的计算位置与忽略机制。绝对值在此没有意义,有意义的是"只对 3 个位置取平均"这一结构。把 -100 换成 0 后均值从 5.2306 变为 28.5175,这不是模型变差,而是损失被 19 个本不应参与的位置稀释并主导。
例 2:手算一个 6×5 的小批次
取长度 6、词表 5 的批次,标签为 [1, -100, 3, -100, -100, 4],logits 如下:
| 位置 | 标签 | ||||||
|---|---|---|---|---|---|---|---|
| 0 | 2.0 | 1.0 | 0.1 | -1.0 | 0.0 | 1 | 1.5321 |
| 1 | 0.3 | 0.3 | 0.3 | 0.3 | 0.3 | 忽略 | 0 |
| 2 | 0.0 | 0.5 | 1.5 | 2.5 | 0.0 | 3 | 0.5113 |
| 3 | -2.0 | -2.0 | -2.0 | -2.0 | -2.0 | 忽略 | 0 |
| 4 | 0.9 | 0.9 | 0.9 | 0.9 | 0.9 | 忽略 | 0 |
| 5 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 4 | 1.6094 |
位置 0 的概率为 ,故 。位置 2 的概率为 ,。位置 5 是均匀分布,。三个有效位置的均值为 ,;若把三处 -100 当作 0,六个位置的均值为 ,。这一对照说明:忽略位的存在不只影响数值大小,还改变了梯度的来源。
易错点
以下六条均可在实现中直接检验。
1. 把 理解为" 的 token 变成
[MASK]": 是被选为预测目标的比例,其中 变[MASK],即约 的位置以[MASK]出现, 被随机替换, 保持不变。2. 把随机替换分支解释为"数据增广以提升鲁棒性":它的主要作用是消除"只在
[MASK]位置做推断"的捷径,迫使模型对每个位置都保留上下文表示。去掉它,模型在非[MASK]位置的表示会退化。3. 用 BERT 的输出做生成:MLM 不建模 ,且双向注意力使逐位解码的条件分布与训练分布不一致;即使强行采样,得到的也不是任何一致的联合分布。
4. 认为
[CLS]天然是句向量:[CLS]的表示需要 NSP 或对比学习提供句级训练信号,未微调的 BERT 表示存在各向异性,直接做余弦检索区分度低。5. 微调时沿用预训练学习率 :微调通常用 至 ,过大学习率会破坏预训练表示,表现为验证集指标在前几百步后下降。
6. 把填充位置的标签写成 0 而不是 :填充位会参与交叉熵并主导梯度,损失曲线仍下降但模型学到的是预测填充符。另一个相关错误是忽略
[SEP]、句段嵌入与句对构造的对应关系,使句段 A、B 与输入顺序错位。
关联笔记
- 前置 Transformer架构详解:BERT 的编码层与该篇的解码层共用子层结构,差别只在注意力掩码与目标函数。
- 前置 因果注意力与多头注意力:该篇的因果掩码在这里被移除,其后果是本篇第 1 节的目标泄漏,必须用 MLM 替代 CLM。
- 对照 GPT系列架构:同一骨架的两条路线,CLM 与 MLM 的监督密度差 6.7 倍,生成能力的有无由目标函数决定。
- 后续 Embedding与向量检索:
[CLS]与平均池化得到的句向量是语义检索的输入,是否需要对比学习微调由该篇展开。 - 后续 预训练-微调-对齐pipeline:本篇的预训练与微调对应三阶段流程的前两阶段,第三阶段的偏好对齐只作用于生成模型。
达标检测
- [ ] 说明为什么双向编码器加因果语言建模会存在平凡解,并写出该平凡解的形式。
- [ ] 写出 MLM 损失与对 logits 的梯度,解释
ignore_index=-100在梯度层面排除了什么。 - [ ] 计算 时被选为目标、变为
[MASK]、被随机替换、保持原样的期望位置数,并说明 三个分支各自消除的问题。 - [ ] 对照 BERT-base 与 BERT-large 的配置,用 核算参数量,误差不超过 2M。
- [ ] 说明 RoBERTa 去掉 NSP 后为何性能不降,并列出其另外几项改动及各自作用。
- [ ] 用不超过 40 行构造一个 MLM 批次,正确使用 忽略位,打印有效位置并核对损失只在这些位置上取平均。
- [ ] 给出三条理由说明 BERT 不能直接用于自回归生成,并各指出一个可以检验的现象。
参考来源
- Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv:1810.04805, 2019 —— 对应本篇第 1 至 4 节的目标设计、 策略、NSP 与第 6 节的配置参数。
- Liu et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv:1907.11692, 2019 —— 对应第 4 节的动态掩码、去掉 NSP、批大小与数据量改动。
- d2l.ai《动手学深度学习》自然语言处理预训练章节 —— 对应第 5 节的输入表示、WordPiece 分词与第 7 节的预训练流程。
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 —— 对应第 1 节的编码器结构与第 5 节的位置嵌入设计。
- Raschka, Build a Large Language Model (From Scratch), 2024, 第 4 章 —— 对应第 3 节的交叉熵实现与第 6 节的逐项参数计数。
- Hugging Face Transformers 文档,BERT 模型与
DataCollatorForLanguageModeling部分 —— 对应第 2 节的掩码构造实现与第 3 节的标签忽略约定。