---
tags: [AI, LLM, 训练流程, 对齐]
阶段: 05-Transformer与LLM原理
难度: ★★★
created: 2026-10-18
related: "[[指令微调SFT]], [[对齐-RLHF]], [[DPO与偏好优化]], [[分布式训练与部署]]"
---

# 预训练-微调-对齐pipeline

## 定义

**预训练-微调-对齐 pipeline** 指把一个随机初始化的语言模型依次经过三个阶段训练为可用助手的流程：预训练在无标注语料上最小化自回归交叉熵，使模型学到 token 序列的联合分布；监督微调在指令-回答对上最小化回答部分的交叉熵，使模型按指令组织输出；对齐在偏好数据上优化由奖励模型或隐式奖励定义的目标，并以 KL 散度约束策略不偏离参考模型。

三个阶段的目标函数不同，数据形态不同，计算量相差三到四个数量级。本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $N$ | 模型参数量，计算量估算时取非嵌入部分 |
| $D$ | 训练 token 数 |
| $C$ | 训练计算量，单位 FLOPs |
| $\pi_{\theta}$ | 参数为 $\theta$ 的语言模型，在强化学习语境下称策略 |
| $\pi_{\text{ref}}$ | 参考策略，对齐阶段固定为 SFT 模型的副本 |
| $r_{\phi}$ | 参数为 $\phi$ 的奖励模型 |
| $\beta$ | KL 惩罚系数，控制策略允许偏离参考策略的程度 |
| $x$ | 提示（prompt） |
| $y$ | 回答（response），$y_{w}$ 为偏好对中的胜者，$y_{l}$ 为败者 |
| $\mathcal{D}_{\text{pre}}$ | 预训练语料 |
| $\mathcal{D}_{\text{sft}}$ | 指令-回答数据集 |
| $\mathcal{D}_{\text{pref}}$ | 偏好比较数据集 |
| $\mathrm{KL}$ | Kullback-Leibler 散度 |

术语定义。**下一 token 预测**（next-token prediction）指以位置 $t$ 之前的全部 token 为条件，预测位置 $t$ 的 token 分布；**损失掩码**（loss mask）指在计算交叉熵时把提示部分的 token 权重置零；**奖励模型**（reward model）指以语言模型为骨干、输出标量分数的模型；**拒绝采样微调**（rejection sampling fine-tuning）指对每个提示采样多个回答、按奖励模型选最优者再做监督微调；**灾难遗忘**（catastrophic forgetting）指在新分布上训练后，模型在原有分布上的能力下降；**对齐税**（alignment tax）指对齐训练导致通用能力基准分数下降的现象。

## 为什么重要

三个阶段解决的是三个不同的问题，混用会同时浪费算力与数据。

预训练解决“知道什么”。2T token 的语料提供世界知识、语法、代码与推理模式的统计规律。这一步的损失是完整的下一 token 交叉熵，梯度覆盖全部 token 位置，因此每个参数都能从海量数据中获得信号。若没有预训练而直接从指令数据开始，模型见到的 token 量在 $10^{8}$ 量级，远低于拟合这些规律所需，输出会停留在模板化复述。

监督微调解决“按什么格式回答”。基座模型的能力是条件分布，不是行为策略：给它一个问句，它可能续写更多问句，也可能给出与提问无关的文本。SFT 用 $10^{4}$ 至 $10^{6}$ 条示范把“看到指令后进入回答模式”这一条件概率抬高。数据量比预训练小四个数量级，但格式信号极强，因此学习率必须降到预训练的 $1/30$ 左右，否则会覆盖预训练权重。

对齐解决“在多个可行回答中偏向哪一个”。同一个问题有无数种正确回答，交叉熵只要求概率质量落在某一种上，不区分有用、无害、简洁。偏好数据给出同一提示下两个回答的相对排序，奖励模型把排序拟合成标量，偏好优化再把这个标量推回策略。没有这一步，SFT 模型的输出会继承示范数据的平均风格，在有用性与安全性上都不稳定。

成本结构决定了工程重心。以 7B 模型、2T token 为例，预训练约占全部算力的 $99.9\%$，SFT 与对齐的算力可以忽略，但对齐阶段的数据成本可能超过其算力成本一个数量级。这一不对称意味着：模型能力的上限由预训练的数据与参数规模决定，而对齐决定这些能力能否以符合指令与偏好的形式稳定输出；它也是 [[LoRA与QLoRA]] 等参数高效方法主要作用于后两个阶段的原因。

在本库中的位置：本篇位于 [[Llama-2架构复盘]] 之后，把该篇的结构放进完整训练流程；向下衔接 [[指令微调SFT]]、[[对齐-RLHF]]、[[DPO与偏好优化]] 三个专题，以及 [[分布式训练与部署]] 的并行实现与 [[模型评估矩阵]] 的评测设计。对应学习目标中的“懂原理”（三阶段目标的差别与推导）、“能复现”（配置骨架与成本核算）、“会评估”（每阶段该看什么指标、如何避免泄漏）。

## 原理与推导

### 1 三阶段的目标、数据与计算量

设序列为 $\mathbf{x}=(x_{1},\dots,x_{T})$，模型输出词表上的分布 $p_{\theta}(x_{t}\mid x_{<t})$。

预训练目标：

$$
\mathcal{L}_{\text{pre}}(\theta)=-\mathbb{E}_{\mathbf{x}\sim\mathcal{D}_{\text{pre}}}\left[\frac{1}{T}\sum_{t=1}^{T}\log p_{\theta}(x_{t}\mid x_{<t})\right].
$$

监督微调目标，$\mathcal{M}$ 为回答位置的集合：

$$
\mathcal{L}_{\text{sft}}(\theta)=-\mathbb{E}_{(x,y)\sim\mathcal{D}_{\text{sft}}}\left[\frac{1}{|\mathcal{M}|}\sum_{t\in\mathcal{M}}\log p_{\theta}(y_{t}\mid x,y_{<t})\right].
$$

对齐目标（KL 约束下的期望奖励最大化）：

$$
\max_{\pi_{\theta}}\ \mathbb{E}_{x\sim\mathcal{D},\,y\sim\pi_{\theta}(\cdot\mid x)}\bigl[r_{\phi}(x,y)\bigr]-\beta\,\mathbb{E}_{x}\Bigl[\mathrm{KL}\bigl(\pi_{\theta}(\cdot\mid x)\,\Vert\,\pi_{\text{ref}}(\cdot\mid x)\bigr)\Bigr].
$$

三者的差别可以压缩成一张表。

| 项目 | 预训练 | 监督微调 | 对齐 |
|---|---|---|---|
| 目标 | 拟合 token 联合分布 | 条件化到指令-回答格式 | 在可行回答间调整偏好 |
| 数据形态 | 无标注连续文本 | 指令与人工回答配对 | 同一提示下多个回答的排序 |
| 数据规模 | $10^{12}$ 至 $10^{13}$ token | $10^{4}$ 至 $10^{6}$ 条 | $10^{5}$ 至 $10^{6}$ 组比较 |
| 损失 | 全位置交叉熵 | 仅回答位置交叉熵 | Bradley-Terry、PPO 或 DPO |
| 梯度覆盖 | 全部 token | 回答 token | 回答 token 与奖励信号 |
| 计算量占比 | 大于 $99\%$ | 小于 $0.1\%$ | 小于 $0.1\%$ |
| 典型学习率 | $3\times10^{-4}$ | $1\times10^{-5}$ | $5\times10^{-7}$ |
| 训练轮数 | 单遍（或小于 2） | 2 至 3 | 1 至 2 |
| 主要风险 | 数据污染、训练不稳定 | 过拟合、灾难遗忘 | 奖励过优化、模式崩塌 |

学习率跨阶段下降三个数量级，原因不是约定，而是参数已经处于损失曲面的低处：预训练结束时参数位于一个宽极小值附近，SFT 数据分布窄，大步长会把参数推出该区域，表现为通用能力骤降。第 7 节把这一现象量化为灾难遗忘。

### 2 预训练的规模法则与 Chinchilla 比例

在固定模型族与固定数据分布下，交叉熵损失随参数量与 token 数呈幂律下降。Chinchilla 用三组实验拟合出

$$
L(N,D)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}},
$$

其中 $E$ 为不可约损失，$A,B$ 为常数，$\alpha\approx0.34$、$\beta\approx0.28$（论文报告的拟合值）。训练计算量近似为

$$
C\approx6ND,
$$

因子 6 来自前向两次乘加与反向四次乘加。给定预算 $C$，问题是在 $6ND=C$ 的约束下最小化 $L$。

构造拉格朗日函数 $\mathcal{J}=A N^{-\alpha}+B D^{-\beta}+\lambda(6ND-C)$，对 $N$ 与 $D$ 求偏导并令其为零：

$$
-\alpha A N^{-\alpha-1}+6\lambda D=0,\qquad -\beta B D^{-\beta-1}+6\lambda N=0 .
$$

两式相除消去 $\lambda$：

$$
\frac{\alpha A N^{-\alpha-1}}{\beta B D^{-\beta-1}}=\frac{D}{N}
\ \Longrightarrow\ \alpha A N^{-\alpha}=\beta B D^{-\beta}.
$$

由此 $D^{\beta}\propto N^{\alpha}$，即 $D\propto N^{\alpha/\beta}\approx N^{1.21}$。代回约束 $C=6ND$：

$$
N^{*}\propto C^{\frac{\beta}{\alpha+\beta}}\approx C^{0.45},\qquad
D^{*}\propto C^{\frac{\alpha}{\alpha+\beta}}\approx C^{0.55}.
$$

两个指数都接近 $0.5$，因此预算增加时参数与 token 应按近似相同比例增长；绝对比例由 $A,B,\alpha,\beta$ 决定。Chinchilla 的拟合给出每参数约 20 个 token，其 70B 模型用 1.4T token 训练，在多数评测上优于参数量更大的同期模型。

该结论有四条适用边界，越界后比例不再是 20。

第一，它假设推理成本为零。若模型要服务 $10^{12}$ 次请求，参数量的边际成本远高于训练 token 的边际成本，最优解偏向更小的 $N$ 与更多的 $D$。Llama 2 的 7B 用 2T token，每参数约 297 token，是 Chinchilla 比例的 14.8 倍；70B 每参数约 29 token，接近最优点。这一分化说明“计算最优”与“部署最优”是两个不同的问题。

第二，它假设数据只过一遍。重复数据时 $D$ 的有效值低于名义值，重复 4 轮以上的边际收益快速下降，此时应增大 $N$ 而不是继续增大名义 $D$。

第三，它假设数据质量固定。过滤、去重与领域配比会改变 $B$ 与 $E$，同等 token 数下有效数据量不同，跨数据集比较比例没有意义。

第四，它假设模型族固定。混合专家、不同分词器与不同注意力结构的参数效率不同，$6ND$ 的计算量口径也不完全一致。

### 3 预训练的工程细节

数据配比决定模型见到什么分布。语料通常由网页、代码、书籍、论文、百科与多语种组成，网页占多数。配比通过温度采样或固定权重在训练中混合，代码与数学的比例提高会改善推理与结构化输出，但过高会削弱自然语言流畅度。配比是超参数，需在下游评测上验证，而不是按语料可得量直接决定。

去重消除重复样本对损失的扭曲。文档级精确去重消除完全重复的页面；近似去重（MinHash、SimHash）消除模板化转载。重复数据的危害有两层：一是浪费算力，二是使模型对重复片段过拟合，评测困惑度虚低。去重单位应与污染检查的单位一致，通常取文档或段落。

课程指数据呈现顺序的安排。多数预训练不做显式课程，数据顺序在全局打乱。常见的两种“课程”是末尾阶段提高高质量数据比例（退火），以及在训练后段延长序列长度。前者等价于在损失下降末期用更接近下游分布的数据做微调，后者让模型适应更长上下文而不过早支付注意力平方开销。

学习率与批大小决定参数更新的噪声尺度。Llama 2 使用 AdamW，$\beta_{1}=0.9$、$\beta_{2}=0.95$、$\epsilon=10^{-5}$、权重衰减 0.1、梯度裁剪 1.0；批大小 4M token，预热 2000 步，余弦衰减到峰值的 10%；7B 与 13B 峰值 $3\times10^{-4}$，70B 为 $1.5\times10^{-4}$。批大小与学习率需协同：批大小翻倍时学习率通常按平方根或线性比例上调，但超过临界批大小后继续增大批只会降低样本效率。

并行把单卡放不下的模型切分到多卡，按四个维度：数据并行（DP）复制模型、切分批次；张量并行（TP）切分单层内的矩阵乘，需高频通信，通常限制在单机内；流水线并行（PP）按层切分，需处理气泡；序列并行切分序列维的激活。ZeRO 把优化器状态、梯度与参数分片到数据并行组内，以通信换显存。工程细节见 [[分布式训练与部署]]。

### 4 监督微调

SFT 的数据是 $(x,y)$ 对，训练时把提示与回答拼成一条序列，对回答位置计算交叉熵，提示位置掩码。若不掩码，模型会把提示也当作预测目标，学会复述问题，且在推理时倾向于续写提示而不是回答。

三个超参数决定 SFT 是否有效。

学习率取预训练的 $1/15$ 至 $1/30$，即 $1\times10^{-5}$ 至 $2\times10^{-5}$。取 $3\times10^{-4}$ 会在数百步内把预训练权重推离原区域，验证损失先降后急升，通用能力同时下降。

轮数取 2 至 3。SFT 数据量小，第 3 轮之后训练损失继续下降而验证损失上升，是典型的过拟合；继续训练还会加剧灾难遗忘。数据质量比数量重要：$10^{4}$ 条人工精标通常优于 $10^{5}$ 条模板生成。

批内打包（packing）把多条短样本拼进同一 4096 长度窗口以提高利用率，但必须在文档之间加注意力掩码，否则后一文档会读到前一文档。若实现不支持块对角掩码，关闭打包、用长度分桶是更稳妥的选择。

### 5 从 SFT 到对齐

SFT 模型在偏好优化中承担两个角色：策略的初始化，以及参考策略 $\pi_{\text{ref}}$。后者决定 KL 约束的中心：$\beta$ 越大，策略越接近 SFT 模型，偏好收益越小；$\beta$ 越小，越容易过优化奖励模型，出现重复、堆砌形容词或钻奖励模型漏洞的回答。

奖励模型在 SFT 模型的输出分布上训练，因此只在 SFT 分布附近可靠。策略偏离过远时，奖励模型的打分失效，PPO 会利用这一失效区域，这一现象称奖励过优化（reward over-optimization）。KL 项的作用就是把策略限制在奖励模型仍然可靠的区域内。

两种主流实现共享同一目标。RLHF 显式训练奖励模型，再用 PPO 优化；DPO 把 KL 约束下的最优策略写成闭式

$$
\pi^{*}(y\mid x)=\frac{1}{Z(x)}\,\pi_{\text{ref}}(y\mid x)\exp\!\left(\frac{r(x,y)}{\beta}\right),
$$

反解出隐式奖励 $r(x,y)=\beta\log\frac{\pi^{*}(y\mid x)}{\pi_{\text{ref}}(y\mid x)}+\beta\log Z(x)$，代入 Bradley-Terry 模型后配分项 $Z(x)$ 在胜败相减时抵消，得到

$$
\mathcal{L}_{\text{DPO}}=-\mathbb{E}_{(x,y_{w},y_{l})}\log\sigma\!\left(\beta\log\frac{\pi_{\theta}(y_{w}\mid x)}{\pi_{\text{ref}}(y_{w}\mid x)}-\beta\log\frac{\pi_{\theta}(y_{l}\mid x)}{\pi_{\text{ref}}(y_{l}\mid x)}\right).
$$

DPO 不需要奖励模型与在线采样，显存与工程复杂度低于 PPO；代价是数据只能离线使用，无法像 PPO 那样在训练中持续采集新样本。推导细节见 [[DPO与偏好优化]]，PPO 的四个模型与优势估计见 [[对齐-RLHF]]。

### 6 能力涌现与评测

**涌现**（emergence）指某些任务指标在模型规模超过阈值后快速上升，而在小规模上接近随机。观察到的曲线有两种来源：一是任务确实需要多步组合能力，规模不足时中间步骤错误率过高，整体成功率呈 S 形；二是指标本身是阈值型（如精确匹配），底层能力连续提升而指标在阈值附近跳变。两者在评测上的处理不同：前者应做规模扫描，后者应改用连续指标（token 级准确率、编辑距离）观察趋势。

评测需按阶段设计。预训练阶段看验证集困惑度与少量下游任务的 few-shot 表现，用于判断数据配比与训练是否发散；SFT 阶段看指令遵循率、格式合规率与回答长度分布；对齐阶段看偏好胜率、安全拒答率与通用能力基准的回归。三个阶段都要留出未参与训练的开发集，且开发集不能与训练数据同源。

InstructGPT 给出了一个可复用的对照结论：1.3B 的 PPO-ptx 模型在人类偏好上优于 175B 的 GPT-3，说明在偏好维度上，对齐的数据与算法可以替代一部分规模。这一结论不推广到知识密集型任务，后者仍由预训练规模决定。

### 7 灾难遗忘与对齐税

灾难遗忘在数值上表现为：新分布上的损失下降，旧分布上的损失上升。SFT 与对齐都会触发它，因为两个阶段的数据分布都远窄于预训练分布。

可测量的检验是固定一组通用语料与通用基准，在每次训练后重测。若 SFT 后通用困惑度上升超过 $5\%$，或通用基准下降超过 2 个百分点，说明学习率过高、轮数过多或数据过窄。

缓解手段有四类，可叠加。第一，降低学习率与轮数，这是最直接的手段。第二，回放：在 SFT 数据中混入 $1\%$ 至 $5\%$ 的预训练语料，使梯度不完全被新分布占据。第三，参数高效微调：[[LoRA与QLoRA]] 只更新低秩增量，冻结原权重，遗忘程度通常低于全参微调。第四，KL 正则：对齐阶段已经通过 $\pi_{\text{ref}}$ 实现，SFT 阶段可在损失中加入对基座模型的 KL 项。

对齐税是对齐带来的通用能力回退。InstructGPT 的 PPO 模型在部分公开基准上低于 GPT-3，作者用 PPO-ptx 缓解：在 PPO 的梯度中混入预训练的对数似然梯度。DPO 中 $\beta$ 起类似作用，$\beta$ 过小则策略偏移过大，通用能力回退明显。

### 8 全流程

```mermaid
flowchart TD
    A["原始语料<br/>网页 / 代码 / 书籍 / 论文"] --> B["清洗：语言识别、质量过滤、去重"]
    B --> C["预训练：下一 token 预测<br/>2T token，4096 上下文"]
    C --> D["基座模型"]
    D --> E["SFT：指令-回答对<br/>回答位置交叉熵"]
    E --> F["SFT 模型"]
    F --> G["偏好采集：同一提示的多个回答排序"]
    G --> H["奖励模型<br/>Bradley-Terry + 间隔项"]
    H --> I["偏好优化：PPO 或 DPO<br/>KL 约束到 SFT 模型"]
    F --> I
    I --> J["对齐模型"]
    J --> K["评测：能力 / 幻觉 / 安全 / 回归"]
    K -->|"发现数据缺口"| G
    K -->|"发现格式问题"| E
    K -->|"发现知识缺口"| B
```

图中的三条回流边对应三类失败。评测发现偏好数据覆盖不足时补采比较数据；发现格式或指令遵循问题时补 SFT 示范；发现知识缺口时回到预训练语料，而不是在对齐阶段反复调参，因为对齐阶段的数据量不足以注入新知识。

### 9 成本估算

以下以 7B 模型为例，按 $C=6ND$、A100-80GB 的 BF16 稠密算力 312 TFLOPS、有效算力利用率 40%（即 $1.25\times10^{14}$ FLOPS）、每卡时 2 美元估算。数据规模为假设值，用于给出量级，不是某一发布的实际配置。

| 阶段 | 数据规模（假设） | 处理 token 数 | 训练 FLOPs | A100 卡时 | 算力成本 | 数据成本（假设） |
|---|---|---|---|---|---|---|
| 预训练 | 2.0T token | $2.0\times10^{12}$ | $7.8\times10^{22}$ | $1.7\times10^{5}$ | 约 35 万美元 | 清洗与过滤的工程成本 |
| SFT | $10^{5}$ 条，每条 1.5k token，2 轮 | $3.0\times10^{8}$ | $1.2\times10^{19}$ | 约 30 | 约 60 美元 | 每条 10 美元，约 100 万美元 |
| 奖励模型 | $10^{6}$ 组比较，每组 2 个回答，每个 800 token | $1.6\times10^{9}$ | $6.2\times10^{19}$ | 约 140 | 约 280 美元 | 每组 5 美元，约 500 万美元 |
| PPO | $5\times10^{4}$ 个提示，每个采样 4 个回答，每个 800 token | $1.6\times10^{8}$ 生成 + $1.6\times10^{8}$ 训练 | 约 $8.3\times10^{18}$ | 约 20 | 约 40 美元 | 复用奖励模型数据 |
| DPO | $10^{5}$ 组比较，1 轮 | $1.6\times10^{8}$ | $6.2\times10^{18}$ | 约 15 | 约 30 美元 | 复用奖励模型数据 |
| 评测 | $10^{9}$ token 推理 | $1.0\times10^{9}$ | $1.3\times10^{19}$ | 约 30 | 约 60 美元 | 人工评审另计 |

表的读法有两条。第一，预训练算力占全部算力的约 $99.9\%$，其余阶段的算力相加不到预训练的 $0.2\%$。第二，SFT 与对齐的成本主项是数据而不是算力：$10^{6}$ 组人工比较的标注成本可能达到预训练算力成本的一个数量级。因此这两个阶段的优化方向是数据效率与标注质量控制，而不是并行策略。

若把 7B 换为 70B，预训练算力按参数比例放大约 10.6 倍，SFT 与对齐的算力同样放大约 10.6 倍，但数据成本不变。规模越大，数据成本在总成本中的占比越低。

## 关键直觉

> [!tip] 三阶段的差别可以用“梯度作用在哪些 token、以什么信号作用”来概括。预训练的梯度作用在全部 token 上，信号是真实下一个 token，因此它塑造的是分布；SFT 的梯度只作用在回答 token 上，信号是人工示范，因此它塑造的是条件化方式；对齐的梯度作用在回答 token 上，信号是回答之间的相对排序，因此它塑造的是同一提示下的选择偏好。三者作用的对象与信号都不同，所以不能互相替代，也不能颠倒顺序：先有分布，才能谈条件化；先有条件化的策略，偏好优化才有可靠的起点与参考分布。

## 例子与代码

以下给出三阶段的配置骨架与一段成本核算代码。配置文件为 YAML，字段说明见表；代码需要 Python 3.10 及以上，只用标准库。

### 预训练配置

```yaml
run_name: llama2-7b-pretrain      # pretrain.yaml：预训练阶段
seed: 1234

model:
  vocab_size: 32000
  d_model: 4096
  n_layers: 32
  n_heads: 32
  n_kv_heads: 32
  d_ff: 11008
  max_seq_len: 4096
  norm_eps: 1.0e-5
  rope_theta: 10000.0
  tie_word_embeddings: false
  dropout: 0.0

data:
  tokenizer: tokenizer/llama2-32k
  sources:
    - {name: web, weight: 0.70}
    - {name: code, weight: 0.15}
    - {name: books, weight: 0.08}
    - {name: papers, weight: 0.07}
  dedup: {exact: true, minhash_threshold: 0.8, unit: document}
  quality_filter: classifier-v2
  packed: true
  shuffle_buffer: 100000

optim:
  optimizer: adamw
  peak_lr: 3.0e-4
  min_lr_ratio: 0.1
  warmup_steps: 2000
  schedule: cosine
  betas: [0.9, 0.95]
  eps: 1.0e-5
  weight_decay: 0.1
  grad_clip: 1.0
  batch_tokens: 4194304

train:
  total_tokens: 2.0e12
  precision: bf16
  parallelism: {dp: 64, tp: 8, pp: 1}
  activation_checkpointing: true
  save_every_steps: 1000
```

### 监督微调配置

```yaml
run_name: llama2-7b-sft           # sft.yaml：监督微调阶段
init_from: checkpoints/pretrain/final
seed: 1234

data:
  path: data/sft_chat.jsonl
  format: chat_template_v1
  max_seq_len: 4096
  loss_mask: response_only
  packing: false
  num_epochs: 2

optim:
  optimizer: adamw
  peak_lr: 1.0e-5
  schedule: cosine
  warmup_ratio: 0.03
  weight_decay: 0.0
  grad_clip: 1.0
  batch_tokens: 65536

train:
  precision: bf16
  gradient_checkpointing: true
  eval_every_steps: 100
  early_stop_metric: val_loss
  early_stop_patience: 3
```

### 偏好优化配置

```yaml
run_name: llama2-7b-dpo           # dpo.yaml：直接偏好优化阶段
init_from: checkpoints/sft/final
reference_model: checkpoints/sft/final   # 固定的参考策略，不参与梯度更新
seed: 1234

data:
  path: data/preferences.jsonl
  fields: [prompt, chosen, rejected]
  max_seq_len: 2048
  num_epochs: 1

optim:
  optimizer: adamw
  peak_lr: 5.0e-7
  schedule: cosine
  warmup_steps: 100
  beta: 0.1
  weight_decay: 0.0
  grad_clip: 1.0

train:
  batch_tokens: 32768
  precision: bf16
  eval_every_steps: 100
```

三个配置的字段作用与误设后果如下。

| 字段 | 作用 | 误设后果 |
|---|---|---|
| `model.d_ff` | SwiGLU 中间维度，须按 $8/3\,d$ 对齐参数量 | 取 $4d$ 会使 FFN 参数增加约 50%，与权重形状不匹配 |
| `model.tie_word_embeddings` | 是否共享嵌入与输出投影 | 设为 true 会少一个 $Vd$ 矩阵，加载权重时报形状错误 |
| `data.dedup` | 文档级精确与近似去重 | 关闭后重复片段被反复学习，验证困惑度虚低 |
| `data.sources.weight` | 各来源的采样权重 | 代码比例过高会削弱自然语言流畅度 |
| `data.packing` | 是否把多条样本拼进同一窗口 | 开启但未做块对角掩码会造成跨文档注意力泄漏 |
| `optim.peak_lr` | 峰值学习率 | 预训练取 $10^{-5}$ 会欠拟合；SFT 取 $3\times10^{-4}$ 会灾难遗忘 |
| `optim.warmup_steps` | 预热步数 | 预热过短在早期出现损失尖峰，过长浪费预算 |
| `optim.batch_tokens` | 每次参数更新的 token 数 | 过小使梯度噪声大，过大降低样本效率 |
| `data.loss_mask` | 是否只对回答计算损失 | 设为 `none` 会让模型学习复述提示 |
| `optim.beta` | DPO 的 KL 强度 | 过小导致策略偏移与通用能力回退，过大导致几乎不学习偏好 |
| `reference_model` | 冻结的参考策略 | 指向正在训练的模型会使 KL 恒为零、损失对策略的梯度消失，目标失效 |

### 成本核算

```python
N_non_embed = 6.476e9      # 7B 的非嵌入参数量，用于 6ND
N_total = 6.738e9          # 含嵌入与输出投影，用于 token/参数比
D = 2.0e12                 # 预训练 token 数
batch_tokens = 4_194_304   # 4M token 的批
peak_flops = 312e12        # A100-80GB BF16 稠密算力
mfu = 0.40                 # 有效算力利用率假设

C = 6 * N_non_embed * D
hours = C / (mfu * peak_flops * 3600)
print(f"compute = {C:.3e} FLOPs")
print(f"A100 hours = {hours:,.0f}")
print(f"optimizer steps = {D / batch_tokens:,.0f}")
print(f"tokens per parameter = {D / N_total:.0f}")
print(f"Chinchilla-optimal tokens = {20 * N_total:.3e}")
```

```text
compute = 7.771e+22 FLOPs
A100 hours = 172,970
optimizer steps = 476,837
tokens per parameter = 297
Chinchilla-optimal tokens = 1.348e+11
```

输出给出四个可直接用于预算的数字。$7.77\times10^{22}$ FLOPs 与 7B、2T token 的配置对应；按 40% 利用率需要约 $1.73\times10^{5}$ 张 A100 卡时；4M token 批对应约 47.7 万次参数更新；每参数 297 token，是 Chinchilla 比例 20 的 14.8 倍，说明该配置用更多 token 换更小的推理模型。把 `mfu` 改为 0.30，卡时上升到约 $2.3\times10^{5}$，可用于估计不同集群的效率差异。

## 易错点

> [!warning] 以下五条均可在配置、损失曲线或参数量上直接检验。
> 1. 阶段顺序错配：在 SFT 模型上继续做预训练式全量下一 token 预测，会把指令格式冲掉；跳过 SFT 直接用 DPO，参考策略本身就是基座模型，偏好对中的“胜者”缺少统一的回答格式，梯度信号混杂；对齐完成后再用 $3\times10^{-4}$ 学习率全参训练，等于把对齐成果覆盖。顺序固定为预训练、SFT、对齐，且每阶段的学习率下降一个数量级以上。
> 2. 数据泄漏：预训练语料包含评测集原文，或 SFT 数据与评测集同源；few-shot 示例取自测试集；去重只在单个文件内做，跨文件重复未检出。检验方法是按 13-gram 重叠率扫描训练语料与全部评测集，重叠样本必须剔除，并在报告中说明剔除比例。
> 3. 学习率误用：把预训练的 $3\times10^{-4}$ 用在 SFT 上，训练损失会在数百步内降到很低而验证损失上升，通用基准同时下降；把 SFT 的 $10^{-5}$ 用在 DPO 上，KL 迅速增大，输出退化为短句或重复。三个阶段的典型峰值是 $3\times10^{-4}$、$1\times10^{-5}$、$5\times10^{-7}$。
> 4. 损失掩码与归一化错误：SFT 不掩码提示会让模型复述问题；DPO 的 log 概率必须对回答 token 求和，且胜者与败者的长度处理方式必须一致，否则长度偏置会替代偏好信号，模型学到“更短即更好”或相反。
> 5. 评测集混入训练或调参：用测试集选择 checkpoint、早停轮数或数据配比，等价于把测试集当训练集，报告的分数不再无偏。应保留开发集用于一切选择，测试集只在最终报告时使用一次，且记录使用次数。

## 关联笔记

- 前置 [[Llama-2架构复盘]]：本篇的 7B 规格、2T token 与优化配置直接取自该篇，参数量算法也在该篇给出。
- 后续 [[指令微调SFT]]：第 4 节只给出 SFT 的目标、掩码与超参数，该篇展开数据构造、模板与损失实现。
- 后续 [[对齐-RLHF]]：第 5 节的 KL 约束目标、奖励模型与 PPO 四模型结构在该篇完整推导。
- 对照 [[DPO与偏好优化]]：第 5 节给出 DPO 的闭式解与损失，该篇给出隐式奖励的完整推导与超参数选择。
- 后续 [[分布式训练与部署]]：第 3 节的 DP/TP/PP/序列并行与 ZeRO 只给出定义，该篇给出显存分解与通信量分析。

## 达标检测

- [ ] 写出三阶段的目标函数，指出各自的梯度作用在哪些 token 上、信号来自哪里，并解释为什么学习率要跨阶段下降。
- [ ] 从 $L(N,D)=E+A/N^{\alpha}+B/D^{\beta}$ 与 $C=6ND$ 出发，用拉格朗日条件推出 $N^{*}\propto C^{0.45}$、$D^{*}\propto C^{0.55}$，并说明 $\alpha/\beta$ 如何决定 $D$ 与 $N$ 的相对增长速度。
- [ ] 列出 Chinchilla 比例的至少三条适用边界，并用 Llama 2 的 7B 与 70B 的 token/参数比说明“计算最优”与“部署最优”的差别。
- [ ] 给定 7B、2T token、40% 利用率与 312 TFLOPS，复算训练 FLOPs、A100 卡时与优化器步数，误差不超过 10%。
- [ ] 解释 SFT 的损失掩码为什么只作用于回答位置，并说明不掩码、掩码位置偏移一格分别导致什么现象。
- [ ] 写出 DPO 损失，说明 $\beta$ 的两个极端取值分别造成什么后果，并解释为什么参考模型必须冻结。
- [ ] 设计一个检验灾难遗忘的最小实验：给出数据、指标、判定阈值与三种缓解手段的预期效果。

## 参考来源

- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155 —— 对应第 5 节的 RLHF 三步骤、第 6 节 1.3B 偏好优于 175B 的对照、第 7 节的 PPO-ptx 与对齐税。
- Hoffmann et al., "Training Compute-Optimal Large Language Models", arXiv:2203.15556 —— 对应第 2 节的损失分解、拉格朗日推导、指数取值与 20:1 比例及其边界。
- Touvron et al., "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288 —— 对应第 3 节的优化配置与 2T token、第 4 至 5 节的 SFT 与迭代对齐流程、第 9 节的成本量级。
- Raschka, *Build a Large Language Model (From Scratch)*, 2024, 第 7 章 —— 对应第 4 节的 SFT 数据组织、损失掩码与训练轮数选择。
- 张奇等，《大规模语言模型：从理论到实践》 —— 对应第 1 节的三阶段对照、第 6 节的评测设计与第 7 节的灾难遗忘讨论。
