---
tags: [AI, BERT, 预训练]
阶段: 05-Transformer与LLM原理
难度: ★★☆
created: 2026-10-18
related: "[[Transformer架构详解]], [[GPT系列架构]], [[Embedding与向量检索]]"
---

# BERT与双向编码模型

## 定义

**BERT**（Bidirectional Encoder Representations from Transformers）是一类以双向 Transformer 编码器为主体、以**掩码语言建模**（masked language modeling，MLM）与**下一句预测**（next sentence prediction，NSP）为预训练目标、并在下游任务上做全参数微调的模型族。它与 GPT 的差别不在层结构（二者都用同一套 Transformer 子层），而在每个位置能看到哪些上下文、以及目标函数如何定义监督信号。

符号约定如下。

| 符号 | 含义 |
|---|---|
| $L$ | 编码层数 |
| $d$ | 隐藏维度 $d_{\text{model}}$ |
| $A$ | 注意力头数 |
| $d_{ff}$ | 前馈层中间维度，BERT 取 $d_{ff}=4d$ |
| $V$ | 词表大小，WordPiece |
| $n_{\text{ctx}}$ | 最大序列长度，512 |
| $T$ | 输入序列长度，$T\le n_{\text{ctx}}$ |
| $\mathbf{x}$ | 原始 token 序列 $(x_1,\dots,x_T)$ |
| $\tilde{\mathbf{x}}$ | 被破坏后的输入序列 |
| $\mathcal{M}$ | 被选为预测目标的位置集合，$\lvert\mathcal{M}\rvert\approx0.15T$ |
| $\mathbf{h}_t$ | 位置 $t$ 的最终隐藏状态，维度 $d$ |
| $p_\theta(\cdot\mid\tilde{\mathbf{x}})$ | 模型在破坏输入上给出的条件分布 |
| `[CLS]` | 序列首位特殊 token，其隐藏状态用于分类 |
| `[SEP]` | 句对分隔与序列终止特殊 token |
| `[MASK]` | 掩码替换符，只在预训练中出现 |

其余术语在正文首次出现处定义：**双向**（bidirectional）指位置 $t$ 的表示依赖全部 $T$ 个位置而非只依赖左侧；**掩码语言建模**指随机遮盖部分输入、要求模型恢复被遮盖 token 的目标；**下一句预测**指判断句对中第二句是否为第一句的真实后继的二分类目标；**WordPiece** 是 BERT 使用的子词算法，词表中以 `##` 标记非词首片段；**微调**（fine-tuning）指在预训练权重上以任务数据继续训练全部参数。

## 为什么重要

BERT 确立了"预训练加微调"的两阶段范式：先用大规模无标注语料学通用表示，再用少量标注数据适配任务。在它之前，每个自然语言处理任务的结构与初始化基本独立；在它之后，一个预训练编码器加一个线性分类头即可覆盖分类、序列标注、抽取式问答、句对匹配等任务，且效果显著优于从零训练。

更具体地说，BERT 解决的是**表示**问题而不是**生成**问题。它的输出是每个位置的上下文向量，可以直接用于分类与检索；它不给出序列的联合概率，因此不能直接用于生成。这一分工与 [[GPT系列架构]] 构成 2018 至 2020 年的两条主线，理解二者的目标差异比记住结构参数更重要：同一个 Transformer 骨架，目标函数决定了它能做什么。

BERT 的副产品是句向量与检索。取 `[CLS]` 或对位置向量做平均池化，可以得到固定维度的句子表示，进而支持语义检索与聚类，见 [[Embedding与向量检索]]。这一用途在 RAG 系统中是基础设施，也是 [[检索优化与重排Rerank]] 中双塔模型的前身。

在本库中的位置：[[Transformer架构详解]] 给出编码层结构，本篇说明去掉因果掩码后必须换什么目标；[[因果注意力与多头注意力]] 的掩码机制在这里被有意关闭，其后果是第 1 节的"目标泄漏"；[[GPT系列架构]] 提供逐项对照；[[预训练-微调-对齐pipeline]] 把本篇的预训练阶段放进完整训练流程。对应学习目标中的"懂原理"与"会评估"：能推导 MLM 损失，能判断一个任务该用编码器还是解码器。

## 原理与推导

### 1 双向编码与目标泄漏

编码器在位置 $t$ 的输出依赖全部输入：

$$ \mathbf{h}_t=f_\theta(x_1,\dots,x_T),\qquad \mathbf{h}_t\ \text{与}\ t\ \text{之后的 token 有关}. $$

若直接在这个表示上做因果语言建模，即用 $\mathbf{h}_t$ 预测 $x_t$，则 $\mathbf{h}_t$ 已经包含了 $x_t$ 自身的嵌入。模型可以学到恒等映射：令 $\mathbf{h}_t$ 的第一维等于 $x_t$ 的嵌入分量，输出层复制该分量，损失降为 0，而模型没有学到任何关于上下文的条件结构。这不是优化困难，而是目标本身存在平凡解。

形式化地说，双向编码加自回归目标使条件分布 $p_\theta(x_t\mid\mathbf{h}_t)$ 的输入中含有待预测的标签，训练目标与"从上下文推断"这一意图不一致。解决办法只有一个方向：破坏输入，使标签不能从输入的直接通路读出。

MLM 的做法是：从输入中选出位置集合 $\mathcal{M}$，用 $\tilde{\mathbf{x}}$ 替换 $\mathbf{x}$，要求模型在 $\tilde{\mathbf{x}}$ 上恢复 $\mathcal{M}$ 中位置的原始 token。此时 $\mathbf{h}_t$（$t\in\mathcal{M}$）的输入中不含 $x_t$，恒等映射不再可用，模型必须利用双侧上下文。

需要强调的是，这一改动使 BERT 成为**去噪自编码器**而非概率语言模型：它学的是 $p_\theta(x_t\mid\tilde{\mathbf{x}})$，一个以被破坏序列为条件的边缘分布，而不是 $p_\theta(x_{1:T})$ 的分解。第 3 节会说明这一差别在生成任务上的后果。

### 2 MLM 的构造与 80/10/10 策略

预训练时对每条序列执行以下步骤。

1. 从非特殊 token 中选出 $15\%$ 的位置作为预测目标集合 $\mathcal{M}$。
2. 对 $\mathcal{M}$ 中每个位置独立抽一个分支：以 $0.8$ 的概率替换为 `[MASK]`，以 $0.1$ 的概率替换为词表中均匀抽取的另一个 token，以 $0.1$ 的概率保持不变。
3. 标签只写在 $\mathcal{M}$ 的位置上，值为原始 token；其余位置在损失中被忽略。

三个分支的作用不同，缺一不可。

**`[MASK]` 分支（80%）** 提供明确的"此处信息缺失"信号，迫使模型从上下文推断。若没有这一分支，输入中不存在需要填补的空位，任务退化为去噪。

**随机替换分支（10%）** 的作用是消除一条捷径。若被选中的位置 $100\%$ 变为 `[MASK]`，模型可以学到"只在看到 `[MASK]` 的位置做上下文推断，其余位置的表示可以任意"，因为其余位置从不产生损失。随机替换使被选中位置在输入中仍是一个合法 token，模型无法从输入判断哪些位置需要预测，于是必须对每个位置都保留可用于恢复的上下文表示。

**保持不变分支（10%）** 处理预训练与微调的分布不一致。微调时输入中没有任何 `[MASK]`，若预训练中所有目标位置都被替换，模型学到的表示就依赖"输入中存在 `[MASK]`"这一在微调时恒不成立的条件。保留 10% 使模型不能假定被选中位置一定被破坏，从而对正确 token 也维持有用的表示；论文的表述是这一分支使表示偏向观测到的真实词。

期望计数可以直接算出。设序列长度 $T=512$，则 $\lvert\mathcal{M}\rvert\approx76.8$，其中约 $61.4$ 个位置变为 `[MASK]`、$7.7$ 个位置被随机替换、$7.7$ 个位置保持原样。也就是说，预训练中只有约 $12\%$ 的位置以 `[MASK]` 形式出现，而 $88.5\%$ 的输入位置保持原样；微调时这一比例为 $100\%$。这个差距是 NSP 之外第二个预训练与微调不一致的来源，也是后续工作（如 RoBERTa 的动态掩码）继续调整的对象。

实现上还有两个细节。第一，实际实现通常在非特殊 token 上按比例选取，避免把 `[CLS]`、`[SEP]`、`[PAD]` 选为目标。第二，常对每条序列设置预测数的上限，防止长序列的单条样本主导一个 batch 的损失。

### 3 MLM 损失推导

记输出投影为 $\mathbf{W}_o\in\mathbb{R}^{V\times d}$、偏置为 $\mathbf{b}_o$，则

$$ \mathbf{z}_t=\mathbf{W}_o\mathbf{h}_t+\mathbf{b}_o,\qquad p_\theta(x_t=v\mid\tilde{\mathbf{x}})=\frac{\exp(z_{t,v})}{\sum_{u}\exp(z_{t,u})}. $$

损失只对 $\mathcal{M}$ 中的位置求和：

$$ \mathcal{L}_{\text{MLM}}(\theta)=-\mathbb{E}_{(\mathbf{x},\mathcal{M})}\left[\sum_{t\in\mathcal{M}}\log p_\theta(x_t\mid\tilde{\mathbf{x}})\right]. $$

对 logits 求梯度，结果与任何 softmax 交叉熵相同：

$$ \frac{\partial\mathcal{L}}{\partial\mathbf{z}_t}= \begin{cases} p_\theta(\cdot\mid\tilde{\mathbf{x}})-\mathbf{e}_{x_t}, & t\in\mathcal{M},\\ \mathbf{0}, & t\notin\mathcal{M}. \end{cases} $$

因此不在 $\mathcal{M}$ 中的位置既不计损失也不产生梯度，这也是实现中必须用 `ignore_index=-100` 而不是用 0 占位的原因：若用 0 占位，这些位置会被当作"目标 token 是 0"，产生本不应存在的梯度。

困惑度只在被预测位置上定义：

$$ \mathrm{PPL}_{\text{MLM}}=\exp\!\left(\frac{1}{\lvert\mathcal{M}\rvert}\sum_{t\in\mathcal{M}}-\log p_\theta(x_t\mid\tilde{\mathbf{x}})\right). $$

与 [[GPT系列架构]] 的 CLM 相比，有三点结构性差异。

第一，监督密度。CLM 对每个位置产生损失，密度为 1；MLM 只对 $15\%$ 的位置产生损失，密度为 0.15。在相同 token 预算下，CLM 的梯度信号约为 MLM 的 6.7 倍，这是 BERT 预训练需要 1M 步、而同等规模解码器通常步数更少的原因之一。

第二，条件独立假设。给定 $\tilde{\mathbf{x}}$，模型对 $\mathcal{M}$ 中不同位置的预测是分别归一化的，损失是各位置对数概率之和。这等价于假定

$$ p_\theta(\{x_t\}_{t\in\mathcal{M}}\mid\tilde{\mathbf{x}})=\prod_{t\in\mathcal{M}}p_\theta(x_t\mid\tilde{\mathbf{x}}), $$

即 $\mathcal{M}$ 内部各位置条件独立。真实语言中这些位置显然相关（同一句中的词互相约束），BERT 不建模这种相关性，因此它给出的是逐位置的边缘分布，不是序列的联合分布。

第三，可计算性。CLM 的链式分解给出合法的联合概率，可以直接算一条序列的概率；MLM 的损失不是任何联合概率的分解，无法用于计算 $p(x_{1:T})$，也无法按位置顺序采样。这两点是第 10 节"不能直接做自回归生成"的根本原因。

### 4 NSP 目标与后续质疑

BERT 的第二个预训练目标是下一句预测。构造输入为

$$ \texttt{[CLS]}\ A\ \texttt{[SEP]}\ B\ \texttt{[SEP]}, $$

其中 $50\%$ 的样本 $B$ 是 $A$ 的真实后继句，$50\%$ 是从另一文档随机抽取的句子。取 `[CLS]` 的最终隐藏状态接一个二分类头，输出"是后继"的概率（$\sigma$ 为 sigmoid 函数）：

$$ p(\text{IsNext})=\sigma(\mathbf{w}^{\top}\mathbf{h}_{\texttt{[CLS]}}+b). $$

加入 NSP 的动机是让模型学习句间关系，以支持自然语言推断与问答这类需要比较两个句子的任务。MLM 只在单个位置做恢复，不能直接提供句级监督。

后续工作对这一目标提出两点质疑。第一，负样本从另一文档随机抽取，正负样本的主题差异远大于句间逻辑差异，模型可以用主题匹配达到很高的准确率，不需要学习句间关系；这使得 NSP 提供的信号与设计意图不符。第二，相对 MLM，NSP 的信息量很低：每次前向只产生一个二分类标签，而 MLM 产生约 77 个位置标签。

RoBERTa 的做法是直接去掉 NSP，并把输入改为从同一文档连续采样的完整句子片段（可跨文档边界，或不跨边界的变体），同时配合动态掩码、更大的批大小与更多数据。结果显示在 GLUE、SQuAD 等基准上不降反升，说明 NSP 对最终表示不是必要的。这一结论是"目标函数应按信息量设计"的一个直接证据：一个看似合理、但可由捷径解决的辅助目标，收益低于把同等计算投入主目标。

RoBERTa 的其余改动同样针对预训练效率：

| 改动 | BERT | RoBERTa | 作用 |
|---|---|---|---|
| 掩码生成 | 数据预处理时静态生成一次 | 每个 epoch 重新采样（动态掩码） | 同一序列在不同 epoch 看到不同掩码，等效扩充数据 |
| NSP | 保留 | 去掉 | 减少低信息量目标 |
| 批大小 | 256 条序列 | 最大 8K 条序列 | 提高梯度估计稳定性，配合学习率调整 |
| 数据量 | 约 16 GB（BooksCorpus 加 Wikipedia） | 约 160 GB（另含 CC-News、OpenWebText、Stories） | 增加 token 数与多样性 |
| 词表 | 30,000 WordPiece | 50,265 byte-level BPE | 避免未登录词，统一字符级回退 |
| 训练时长 | 1M 步 | 100K 至 500K 步（更大 batch） | 匹配更大的数据量 |

### 5 输入表示与特殊 token

BERT 的输入嵌入由三部分逐元素相加得到：

$$ \mathbf{E}_t=\mathbf{E}^{\text{tok}}_{x_t}+\mathbf{E}^{\text{pos}}_{t}+\mathbf{E}^{\text{seg}}_{s(t)}, $$

其中 $\mathbf{E}^{\text{tok}}\in\mathbb{R}^{V\times d}$ 为词嵌入，$\mathbf{E}^{\text{pos}}\in\mathbb{R}^{n_{\text{ctx}}\times d}$ 为学习式绝对位置嵌入，$\mathbf{E}^{\text{seg}}\in\mathbb{R}^{2\times d}$ 为句段嵌入（$s(t)\in\{A,B\}$）。相加后接 LayerNorm 与 dropout，再送入编码层。位置嵌入上限 512，因此 BERT 不能处理超过 512 个 token 的输入，长文档必须截断或分块。

三个特殊 token 的职责不同。`[CLS]` 位于序列首位，其最终隐藏状态被用作整条序列的聚合表示，接分类头；它本身没有词义，其表示通过各层注意力从其他位置聚合而来。`[SEP]` 用于分隔两个句段并标记序列结束，与句段嵌入配合告诉模型句段边界。`[MASK]` 只在预训练中使用，微调与推理时不应出现。

分词使用 WordPiece：从字符开始，反复合并语料中频次最高的相邻片段，编码时做最长匹配，非词首片段加 `##` 前缀。发布的英文 uncased 模型词表为 30522 项（论文表述为 30,000 词表），cased 为 28996，中文为 21128。与 byte-level BPE 相比，WordPiece 在遇到未登录字符时会映射为 `[UNK]`，这是 [[Tokenizer与BPE]] 中讨论的可逆性问题。

### 6 配置与参数量

| 配置 | BERT-base | BERT-large |
|---|---|---|
| 层数 $L$ | 12 | 24 |
| 隐藏维度 $d$ | 768 | 1024 |
| 头数 $A$ | 12 | 16 |
| 每头维度 | 64 | 64 |
| $d_{ff}$ | 3072 | 4096 |
| 最大长度 | 512 | 512 |
| 词表 $V$ | 30522 | 30522 |
| 参数量（论文） | 110M | 340M |
| 参数量（逐项核算） | 109.40M | 334.92M |

逐项计数与 GPT 的公式同构，差别在四项：没有因果掩码（不改变参数量）、多一个句段嵌入、多一个池化层、输出头与词嵌入共享权重（MLM head 的变换矩阵 $d\times d$ 另计）：

$$ N=Vd+n_{\text{ctx}}d+2d+L(12d^{2}+4d)+(d^{2}+d). $$

BERT-base 代入：$Vd=23{,}440{,}896$，$n_{\text{ctx}}d=393{,}216$，$2d=1{,}536$，每层 $12\times768^{2}+4\times768=7{,}080{,}960$，12 层为 $84{,}971{,}520$，池化层 $768^{2}+768=590{,}592$，合计 $109{,}397{,}760$，即 109.40M，与论文的 110M 一致（取整）。BERT-large 代入得 $334{,}918{,}656$，即 334.92M，与论文的 340M 相差约 $1.5\%$，差额来自论文的取整口径。

与 GPT-2 small 的 124.36M 相比，BERT-base 小约 15M，主要因为词表从 50257 降到 30522（$Vd$ 少 15.2M），而层参数完全相同（同为 12 层、768 维、3072 前馈）。

### 7 预训练与微调流程

预训练数据为 BooksCorpus（约 8 亿词）与英文维基百科（约 25 亿词），合计约 33 亿词。训练配置为批大小 256 条序列、每条 512 token（每步约 131072 个 token 位置），步数 1M；按论文的换算，这相当于在 33 亿词上训练约 40 轮。优化器为 Adam，学习率 $10^{-4}$、$\beta_2=0.999$、L2 权重衰减 $0.01$、前 10000 步线性预热后线性衰减，dropout 0.1，激活函数 GELU。

微调阶段为每个下游任务加一个任务头：分类任务取 `[CLS]` 的 $d$ 维向量接线性层；序列标注任务对每个位置接线性层；抽取式问答预测答案起止位置的两个分布。全部参数参与更新，典型配置为批大小 32、学习率 $2\times10^{-5}$ 至 $5\times10^{-5}$、训练 3 轮。学习率比预训练低一个数量级，原因是大学习率会破坏预训练得到的表示。

这一范式的成本结构值得注意：每个任务需要一份完整的模型副本（BERT-base 约 440 MB），任务数增加时存储与部署成本线性增长。[[GPT系列架构]] 中的上下文学习正是针对这一点的替代方案：不复制权重，把任务信息放进输入。

### 8 与 GPT 的对照

| 维度 | BERT | GPT |
|---|---|---|
| 层类型 | 编码器，双向注意力 | 解码器，因果注意力 |
| 预训练目标 | MLM（加 NSP） | CLM |
| 每个位置的可见范围 | 全部位置 | 左侧位置 |
| 监督密度 | 0.15 | 1.0 |
| 序列联合概率 | 不能给出 | 可以给出 |
| 直接生成 | 不能 | 能 |
| 特殊 token | `[CLS]`、`[SEP]`、`[MASK]` | 无 |
| 位置编码 | 学习式，上限 512 | 学习式，上限 1024 或 2048 |
| 规模 | 110M、340M | 117M 至 175B |
| 下游适配 | 全参数微调 | GPT-1 微调，GPT-2/3 零样本或上下文学习 |
| 典型任务 | 分类、序列标注、抽取式问答、句向量 | 生成、对话、少样本任务 |

两条路线的分歧可以归结为一个设计选择：**是否要求模型给出合法的序列概率**。要求，就必须用因果分解，每个位置只能看左侧，双向表示不可用；不要求，就可以用双向编码获得更强的表示，但放弃生成能力。BERT 选择后者，GPT 选择前者。后续的编码器-解码器结构试图同时获得两者，代价是参数与计算量的增加。

### 9 句子嵌入与检索

把 BERT 用作句向量有三种常见池化：取 `[CLS]` 的最终隐藏状态、对所有位置做平均、或对首末若干 token 取平均。得到 $d$ 维向量后，用余弦相似度做最近邻检索。

直接使用未微调的 BERT 存在一个可测量的问题：各向异性。上下文表示的分布集中在高维空间的一个窄锥内，任意两句话的余弦相似度都偏高，区分度低。原因与 MLM 目标有关：它优化的是逐位置恢复，没有约束句级表示的分布形状。解决方式是用对比学习微调：构造正负句对，用 InfoNCE 一类目标拉近正对、推远负对，得到适合相似度计算的句向量。这类模型通常采用双塔结构，两个句子分别编码后再比较，使句向量可以预计算并建立索引。

在检索系统中，双塔编码器用于召回（对全库向量做近似最近邻搜索），交叉编码器用于重排（把查询与候选拼接后送入编码器打分，精度更高但不能预计算）。两者的分工与成本见 [[Embedding与向量检索]]、[[向量数据库]] 与 [[检索优化与重排Rerank]]。$N$ 条句向量在 float32 下的存储为 $4Nd$ 字节：$d=768$、$N=10^{6}$ 时为 3.07 GB，这是选择维度与量化方案的直接约束。

### 10 为何不能直接用 BERT 做自回归生成

第一，目标不匹配。BERT 训练的是 $p_\theta(x_t\mid\tilde{\mathbf{x}})$，条件中含有 $t$ 右侧的 token 以及一个被人为破坏的输入；自回归生成需要的是 $p_\theta(x_t\mid x_{<t})$。两者是不同的条件分布，前者不能通过简单改写得到后者。

第二，双向注意力使逐位解码不合法。生成第 $t$ 个 token 时，序列只到 $t-1$；若把 BERT 的注意力限制为因果，其行为与预训练时完全不同，因为预训练的每个位置都见过右侧上下文。模型没有学过"只看左侧"的推断方式。

第三，推理时不存在 `[MASK]`。训练中 $80\%$ 的目标位置输入是 `[MASK]`，而生成时若插入 `[MASK]` 占位，就需要多轮迭代填空，且每轮的条件与训练分布仍不一致；若不插入，输入中没有任何缺失信号，模型不知道该预测哪个位置。

第四，没有可用的增量解码结构。因果模型可以用 KV 缓存把每步代价降到 $O(t)$，见 [[KV缓存]]；双向模型中每个位置的表示依赖全序列，新增一个 token 会改变所有已计算位置的表示，缓存失效。

第五，输出头与损失只覆盖 $15\%$ 的位置，且对 $\mathcal{M}$ 内部做条件独立假设。即使强行逐位采样，得到的也不是任何一致的联合分布，长序列上误差会累积。

可以做的替代方案有三类：把 BERT 当作编码器做非自回归的迭代填空（掩码扩散式生成）；在 BERT 权重上改为因果掩码并继续预训练（编码器-解码器路线）；或者直接用 [[GPT系列架构]] 一类的解码器。这三类都不是"直接使用 BERT 生成"。

## 关键直觉

> [!tip] MLM 把生成问题改写为去噪问题：模型学的是给定被破坏的双侧上下文恢复原 token 的条件分布，并且 $\mathcal{M}$ 内部各位置在给定输入时被当作条件独立。因此 BERT 的输出是逐位置的上下文表示，可用于分类与检索；它不是序列的联合概率模型，不能给出 $p(x_{1:T})$，也不能按位置顺序采样。

这一表述与严格定义的关系是：定义给出了目标函数与输入构造，上述分解说明了为什么"双向"与"能生成"不可兼得——双向带来的强表示依赖于看到全部位置，而这恰好破坏了自回归分解所需的条件结构。

## 例子与代码

### 例 1：MLM 输入构造

以下代码用 PyTorch 2.x 构造一条 22 个 token 的样本，固定随机种子使输出可复现。

```python
import random
import torch
import torch.nn.functional as F

PAD, CLS, SEP, MASK = 0, 1, 2, 3
V = 12
# 22 个 token：首位 [CLS]，末位 [SEP]，中间 20 个内容 token
SEQ = [CLS, 4, 5, 6, 7, 8, 9, 10, 11, 4, 5, 6, 7, 8, 9, 10, 11, 9, 5, 10, 7, SEP]

def build_mlm(seq, vocab_size, p=0.15, seed=30):
    tokens = torch.tensor(seq, dtype=torch.long)
    special = {PAD, CLS, SEP}
    cand = [i for i, t in enumerate(seq) if t not in special]   # 不把特殊 token 选为目标
    n = max(1, round(p * len(cand)))                            # 15% 的候选位置
    rng = random.Random(seed)
    chosen = sorted(rng.sample(cand, n))
    inputs = tokens.clone()
    labels = torch.full_like(tokens, -100)                      # -100 表示不计损失
    branches = ["mask", "random", "keep"]                       # 示例固定，真实实现按 u 抽样
    for i, br in zip(chosen, branches):
        labels[i] = tokens[i]                                   # 标签始终是原始 token
        if br == "mask":
            inputs[i] = MASK
        elif br == "random":
            inputs[i] = rng.randrange(vocab_size)               # 均匀抽一个 token 覆盖
    return tokens, inputs, labels, chosen

tokens, inputs, labels, chosen = build_mlm(SEQ, V)
cand = [i for i, t in enumerate(SEQ) if t not in (PAD, CLS, SEP)]
print("T =", len(SEQ), " 候选位置 =", len(cand), " 选中 =", len(chosen), chosen)
for i in chosen:
    print(f"  pos={i:<3} 原token={SEQ[i]:<3} 输入={int(inputs[i]):<3} 标签={int(labels[i])}")
print("inputs:", inputs.tolist())
print("labels:", labels.tolist())
print("被替换为 [MASK] 的位置:", (inputs == MASK).nonzero().flatten().tolist())
valid = labels != -100
print("有效位置:", valid.nonzero().flatten().tolist(), "共", int(valid.sum()), "/", len(SEQ))
```

```text
T = 22  候选位置 = 20  选中 = 3 [1, 10, 18]
  pos=1   原token=4   输入=3   标签=4
  pos=10  原token=5   输入=9   标签=5
  pos=18  原token=5   输入=5   标签=5
inputs: [1, 3, 5, 6, 7, 8, 9, 10, 11, 4, 9, 6, 7, 8, 9, 10, 11, 9, 5, 10, 7, 2]
labels: [-100, 4, -100, -100, -100, -100, -100, -100, -100, -100, 5, -100, -100, -100, -100, -100, -100, -100, 5, -100, -100, -100]
被替换为 [MASK] 的位置: [1]
有效位置: [1, 10, 18] 共 3 / 22
```

三个被选中的位置分别演示三个分支：位置 1 变为 `[MASK]`（$80\%$），位置 10 被随机 token 9 覆盖（$10\%$），位置 18 保持原 token 5（$10\%$）。位置 18 的输入与标签相同（都是 5），这是"保持不变"分支的必然结果，也是该分支容易被误认为标注错误的地方：它的损失不为零，模型必须在能看到答案的情况下仍预测出它，这一项训练的是表示而非恢复能力。

`labels` 中 $-100$ 有 19 个，有效位置 3 个，占比 13.6%，接近 $15\%$ 的设计值。若把 `-100` 改为 0，`F.cross_entropy` 会把 19 个填充位置当作"目标 token 为 0"来计算损失，梯度被这些位置主导，第 3 节的推导失效。

下一段与上一段属于同一脚本，顺序执行后计算损失。为便于核对，用一个无参数的确定性打分函数代替编码器：位置 $t$ 对词表各项的分数取 $-\tfrac12(v-x_{t-1})^{2}$，即只看左邻 token。真实 BERT 用 12 层双向编码器产生 $\mathbf{h}_t$，但损失的取平均位置与忽略机制与此完全相同。

```python
def toy_logits(inputs, vocab_size):
    # 位置 t 的打分只依赖左邻 token：-0.5*(v - prev)^2，确定性、无可学习参数
    prev = torch.cat([torch.zeros(1, dtype=torch.long), inputs[:-1]])
    ids = torch.arange(vocab_size, dtype=torch.float64).unsqueeze(0)
    return -0.5 * (ids - prev.unsqueeze(1).double()) ** 2

logits = toy_logits(inputs, V)                       # (22, 12)
nll = F.cross_entropy(logits.view(-1, V), labels.view(-1),
                      ignore_index=-100, reduction="none")
loss = nll.sum() / valid.sum()                        # 只对 3 个有效位置取平均
print("有效位置的 nll:", [round(float(nll[i]), 4) for i in valid.nonzero().flatten()])
print(f"sum = {float(nll.sum()):.4f}  mean = {float(loss):.4f}  ppl = {float(torch.exp(loss)):.2f}")
bad = torch.where(labels == -100, torch.zeros_like(labels), labels)
loss_bad = F.cross_entropy(logits.view(-1, V), bad.view(-1))
print(f"若把 -100 换成 0: mean = {float(loss_bad):.4f}  ppl = {float(torch.exp(loss_bad)):.2e}")
```

```text
有效位置的 nll: [5.3586, 1.4189, 8.9144]
sum = 15.6919  mean = 5.2306  ppl = 186.91
若把 -100 换成 0: mean = 28.5175  ppl = 2.43e+12
```

`ignore_index=-100` 使 `nll` 在非目标位置输出 0，`nll.sum()` 等于三个有效位置的损失之和。位置 1 的损失为 5.3586，因为玩具模型只看左邻（`[CLS]` 的 id 为 1），而标签是 4；位置 10 的左邻是 4、标签是 5，距离为 1，损失仅 1.4189；位置 18 的左邻是 9、标签是 5，距离为 4，损失 8.9144。三个值的差异完全由 $z_{\text{label}}$ 与配分函数的相对大小决定，可以手算核对。

困惑度 186.91 大于词表大小 12，说明这个玩具模型比均匀分布更差：玩具打分函数没有任何学习，只是在演示损失的计算位置与忽略机制。绝对值在此没有意义，有意义的是"只对 3 个位置取平均"这一结构。把 `-100` 换成 0 后均值从 5.2306 变为 28.5175，这不是模型变差，而是损失被 19 个本不应参与的位置稀释并主导。

### 例 2：手算一个 6×5 的小批次

取长度 6、词表 5 的批次，标签为 `[1, -100, 3, -100, -100, 4]`，logits 如下：

| 位置 | $z_0$ | $z_1$ | $z_2$ | $z_3$ | $z_4$ | 标签 | $\mathrm{NLL}$ |
|---|---|---|---|---|---|---|---|
| 0 | 2.0 | 1.0 | 0.1 | -1.0 | 0.0 | 1 | 1.5321 |
| 1 | 0.3 | 0.3 | 0.3 | 0.3 | 0.3 | 忽略 | 0 |
| 2 | 0.0 | 0.5 | 1.5 | 2.5 | 0.0 | 3 | 0.5113 |
| 3 | -2.0 | -2.0 | -2.0 | -2.0 | -2.0 | 忽略 | 0 |
| 4 | 0.9 | 0.9 | 0.9 | 0.9 | 0.9 | 忽略 | 0 |
| 5 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 4 | 1.6094 |

位置 0 的概率为 $e^{1}/(e^{2}+e^{1}+e^{0.1}+e^{-1}+e^{0})=2.7183/12.580=0.2161$，故 $\mathrm{NLL}=-\ln0.2161=1.5321$。位置 2 的概率为 $e^{2.5}/(e^{0}+e^{0.5}+e^{1.5}+e^{2.5}+e^{0})=12.1825/20.3129=0.5997$，$\mathrm{NLL}=0.5113$。位置 5 是均匀分布，$\mathrm{NLL}=\ln5=1.6094$。三个有效位置的均值为 $(1.5321+0.5113+1.6094)/3=1.2176$，$\mathrm{PPL}=3.3791$；若把三处 `-100` 当作 0，六个位置的均值为 $1.4135$，$\mathrm{PPL}=4.1104$。这一对照说明：忽略位的存在不只影响数值大小，还改变了梯度的来源。

## 易错点

> [!warning] 以下六条均可在实现中直接检验。
> 1. 把 $15\%$ 理解为"$15\%$ 的 token 变成 `[MASK]`"：$15\%$ 是被选为预测目标的比例，其中 $80\%$ 变 `[MASK]`，即约 $12\%$ 的位置以 `[MASK]` 出现，$1.5\%$ 被随机替换，$1.5\%$ 保持不变。
> 2. 把随机替换分支解释为"数据增广以提升鲁棒性"：它的主要作用是消除"只在 `[MASK]` 位置做推断"的捷径，迫使模型对每个位置都保留上下文表示。去掉它，模型在非 `[MASK]` 位置的表示会退化。
> 3. 用 BERT 的输出做生成：MLM 不建模 $p(x_{1:T})$，且双向注意力使逐位解码的条件分布与训练分布不一致；即使强行采样，得到的也不是任何一致的联合分布。
> 4. 认为 `[CLS]` 天然是句向量：`[CLS]` 的表示需要 NSP 或对比学习提供句级训练信号，未微调的 BERT 表示存在各向异性，直接做余弦检索区分度低。
> 5. 微调时沿用预训练学习率 $10^{-4}$：微调通常用 $2\times10^{-5}$ 至 $5\times10^{-5}$，过大学习率会破坏预训练表示，表现为验证集指标在前几百步后下降。
> 6. 把填充位置的标签写成 0 而不是 $-100$：填充位会参与交叉熵并主导梯度，损失曲线仍下降但模型学到的是预测填充符。另一个相关错误是忽略 `[SEP]`、句段嵌入与句对构造的对应关系，使句段 A、B 与输入顺序错位。

## 关联笔记

- 前置 [[Transformer架构详解]]：BERT 的编码层与该篇的解码层共用子层结构，差别只在注意力掩码与目标函数。
- 前置 [[因果注意力与多头注意力]]：该篇的因果掩码在这里被移除，其后果是本篇第 1 节的目标泄漏，必须用 MLM 替代 CLM。
- 对照 [[GPT系列架构]]：同一骨架的两条路线，CLM 与 MLM 的监督密度差 6.7 倍，生成能力的有无由目标函数决定。
- 后续 [[Embedding与向量检索]]：`[CLS]` 与平均池化得到的句向量是语义检索的输入，是否需要对比学习微调由该篇展开。
- 后续 [[预训练-微调-对齐pipeline]]：本篇的预训练与微调对应三阶段流程的前两阶段，第三阶段的偏好对齐只作用于生成模型。

## 达标检测

- [ ] 说明为什么双向编码器加因果语言建模会存在平凡解，并写出该平凡解的形式。
- [ ] 写出 MLM 损失与对 logits 的梯度，解释 `ignore_index=-100` 在梯度层面排除了什么。
- [ ] 计算 $T=512$ 时被选为目标、变为 `[MASK]`、被随机替换、保持原样的期望位置数，并说明 $80/10/10$ 三个分支各自消除的问题。
- [ ] 对照 BERT-base 与 BERT-large 的配置，用 $Vd+n_{\text{ctx}}d+2d+L(12d^{2}+4d)+(d^{2}+d)$ 核算参数量，误差不超过 2M。
- [ ] 说明 RoBERTa 去掉 NSP 后为何性能不降，并列出其另外几项改动及各自作用。
- [ ] 用不超过 40 行构造一个 MLM 批次，正确使用 $-100$ 忽略位，打印有效位置并核对损失只在这些位置上取平均。
- [ ] 给出三条理由说明 BERT 不能直接用于自回归生成，并各指出一个可以检验的现象。

## 参考来源

- Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv:1810.04805, 2019 —— 对应本篇第 1 至 4 节的目标设计、$80/10/10$ 策略、NSP 与第 6 节的配置参数。
- Liu et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv:1907.11692, 2019 —— 对应第 4 节的动态掩码、去掉 NSP、批大小与数据量改动。
- d2l.ai《动手学深度学习》自然语言处理预训练章节 —— 对应第 5 节的输入表示、WordPiece 分词与第 7 节的预训练流程。
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762 —— 对应第 1 节的编码器结构与第 5 节的位置嵌入设计。
- Raschka, *Build a Large Language Model (From Scratch)*, 2024, 第 4 章 —— 对应第 3 节的交叉熵实现与第 6 节的逐项参数计数。
- Hugging Face Transformers 文档，BERT 模型与 `DataCollatorForLanguageModeling` 部分 —— 对应第 2 节的掩码构造实现与第 3 节的标签忽略约定。
