---
tags: [AI, rlhf, 对齐]
阶段: 07-微调与对齐
难度: ★★★
created: 2026-10-18
related: "[[指令微调SFT]], [[DPO与偏好优化]], [[预训练-微调-对齐pipeline]]"
---

# 对齐-RLHF

## 定义

**基于人类反馈的强化学习**（reinforcement learning from human feedback，RLHF）指先用人类成对比较数据训练奖励模型，再以该奖励模型给出的标量分数为奖励、在 KL 约束下用策略梯度方法优化语言模型的三段式流程。其优化目标为

$$
\max_{\pi_\theta}\ \mathbb{E}_{x\sim\mathcal{D}}\left[\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\,r_\phi(x,y)-\beta\,\mathrm{KL}\!\left(\pi_\theta(\cdot\mid x)\,\middle\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\right)\right],
$$

其中 KL 散度定义为

$$
\mathrm{KL}\!\left(\pi_\theta(\cdot\mid x)\,\middle\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\right)
=\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\left[\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\right].
$$

符号逐项说明如下。

| 符号 | 含义 |
|---|---|
| $x$ | 提示词 token 序列，取自提示分布 $\mathcal{D}$ |
| $y=(y_1,\dots,y_T)$ | 模型生成的回复 token 序列，$T$ 为其长度 |
| $\pi_\theta(y\mid x)$ | 参数为 $\theta$ 的策略，即自回归语言模型，$\pi_\theta(y\mid x)=\prod_{t=1}^{T}\pi_\theta(y_t\mid x,y_{<t})$ |
| $\pi_{\mathrm{ref}}(y\mid x)$ | 参考策略，由 SFT 模型复制并冻结得到 |
| $r_\phi(x,y)$ | 奖励模型，参数为 $\phi$，输入完整回复输出一个实数 |
| $\beta$ | KL 项系数，单位为 nat，控制策略允许偏离参考策略的程度 |
| $\sigma(z)$ | logistic 函数，$\sigma(z)=1/(1+e^{-z})$ |
| $y_w,\ y_l$ | 同一提示下被标注为更优与被标注为更差的回复 |
| $\mathcal{D}_{\text{pref}}$ | 成对偏好数据集，元素为 $(x,y_w,y_l)$，一对中的两条回复共享同一提示 |
| $Z(x)$ | 配分函数，$Z(x)=\sum_{y}\pi_{\mathrm{ref}}(y\mid x)\exp\!\bigl(r_\phi(x,y)/\beta\bigr)$ |
| $\rho_t$ | PPO 的重要性比值，$\rho_t=\pi_\theta(y_t\mid s_t)/\pi_{\theta_{\text{old}}}(y_t\mid s_t)$ |
| $A_t$ | 优势函数，表示在状态 $s_t$ 采取动作 $y_t$ 相对平均水平的好坏 |
| $V_\psi(s_t)$ | 价值网络，参数为 $\psi$，估计状态 $s_t$ 的期望回报 |
| $\gamma,\ \lambda$ | 折扣因子与 GAE 的偏差方差折中系数 |
| $\varepsilon$ | PPO 的裁剪半径 |

术语说明。**目标错位**（objective misalignment）指训练目标与真实目标不一致：预训练与 SFT 最大化的都是数据分布上的对数似然，而部署时要求的是人类效用。**有用性**（helpfulness）指回复完成用户意图的程度；**无害性**（harmlessness）指回复不产生物理、法律或信息层面的损害；**诚实性**（honesty）指回复不陈述模型无法支持的内容。**奖励模型**（reward model，RM）指把回复映射为标量的可学习函数，用作人类偏好的代理。**奖励黑客**（reward hacking）指策略找到奖励模型的高分区域但该区域并不对应真实偏好。**参考策略**（reference policy）指 KL 项中作为锚点的冻结模型。**优势**（advantage）是动作价值与状态价值之差。**拒绝采样**（rejection sampling）指从策略采样多条回复、按奖励筛选后再用于训练。**最优 n 选一**（best-of-n，BoN）指推理时采样 $n$ 条并按奖励模型取最高分的一条。

本篇讨论的是 InstructGPT 式流程：SFT、奖励建模、PPO 三段依次进行。不涉及直接偏好优化，后者见 [[DPO与偏好优化]]。

## 为什么重要

SFT 的目标函数是示范数据上的条件对数似然，其最优解是示范分布 $p_D(y\mid x)$ 本身。这带来两个结构性限制。第一，它拟合的是频次而不是偏好：同一提示下若同时存在一条好回复与一条差回复，SFT 只会按二者在数据中出现的比例分配概率，无法表达「前者优于后者」这一序关系。第二，它从不用模型自己的输出做训练：模型在推理时产生的错误分布从未进入损失函数，因此错误不会被针对性地压低。

对齐阶段要解决的问题可以写成另一个优化问题：最大化人类效用 $U(x,y)$ 的期望。$U$ 无法直接写出，但人可以比较两条回复。比较比生成便宜：写出一条高质量回复需要领域知识与写作时间，判断两条回复哪条更好只需要阅读与判断。因此偏好数据的单位成本所携带的信息量高于示范数据，这是把监督信号从「模仿」切换为「比较」的经济原因。

没有这一阶段，模型的行为由示范数据的表面统计决定：倾向于给出长度接近训练均值的回复，在不确定时给出形式上完整但内容空洞的答案，对格式的遵守程度取决于训练集中该格式的比例。这些行为无法仅靠增加 SFT 数据消除，因为它们的根源是目标函数只约束 $p_D$，而 $p_D$ 不编码「更好」。

在本库的位置：本篇以 [[指令微调SFT]] 产出的 SFT 模型为起点，把「下一个 token 的似然」替换为「人类偏好的标量代理」；[[预训练-微调-对齐pipeline]] 给出三段流程的整体视图；[[DPO与偏好优化]] 从本篇的目标函数出发，消去显式奖励模型与采样，得到等价的分类损失；[[模型评估矩阵]] 提供检验对齐结果的度量。前置知识包括 [[自回归生成与采样]] 中的序列概率分解，以及 [[概率与统计]] 中的最大似然与 logistic 模型。

## 原理与推导

### 1 从最大似然到期望效用

设示范数据服从 $p_D(y\mid x)$，SFT 求解

$$
\max_{\pi}\ \mathbb{E}_{x\sim p(x)}\ \mathbb{E}_{y\sim p_D(\cdot\mid x)}\bigl[\log \pi(y\mid x)\bigr].
$$

对每个 $x$ 单独看，这是分布 $p_D(\cdot\mid x)$ 与 $\pi(\cdot\mid x)$ 之间的交叉熵最小化。由 Gibbs 不等式，

$$
\mathbb{E}_{p_D}\bigl[\log \pi\bigr]=\mathbb{E}_{p_D}\bigl[\log p_D\bigr]-\mathrm{KL}\bigl(p_D\,\|\,\pi\bigr),
$$

右端第一项与 $\pi$ 无关，故最优解为 $\pi=p_D$，且任意偏离都会使目标下降 $\mathrm{KL}(p_D\|\pi)$。这解释了 SFT 的行为边界：模型学会的是标注者写作分布的近似，而不是「什么算好」。

部署时要求的是

$$
\max_{\pi}\ \mathbb{E}_{x\sim p(x)}\ \mathbb{E}_{y\sim\pi(\cdot\mid x)}\bigl[U(x,y)\bigr],
$$

其中 $U$ 是未知的人类效用。两个目标的差别不只是估计误差：前者的期望取在 $p_D$ 上，后者取在 $\pi$ 上。前者不惩罚模型自身高概率输出的错误，后者会。把后者直接作为优化对象不可行，因为 $U$ 没有解析形式；可行的替代是用参数化函数 $r_\phi$ 拟合人类比较，再对 $\pi$ 做期望最大化。

这一替代引入两个新问题，本篇余下部分分别处理。其一，如何从成对比较中得到 $r_\phi$，对应第 2、3 节。其二，有了 $r_\phi$ 后如何优化 $\pi$ 而不退化为对 $r_\phi$ 的对抗性搜索，对应第 4 至 7 节。

### 2 Bradley–Terry 偏好模型

设每条回复 $y$ 对应一个隐变量 $U(x,y)=r(x,y)+\epsilon_y$，其中 $r$ 是待估的确定性分数，$\epsilon_y$ 独立同分布且服从标准 Gumbel 分布，其累积分布函数为 $F(z)=\exp(-e^{-z})$。两条回复被比较时，标注者选择分数更高者，因此

$$
P(y_w\succ y_l\mid x)=P\bigl(U(x,y_w)>U(x,y_l)\bigr).
$$

把 $U_l$ 的分布积分掉：

$$
P(y_w\succ y_l)=\int_{-\infty}^{\infty} f_w(u)\,F_l(u)\,\mathrm{d}u,
$$

其中 $f_w$ 是 $U_w$ 的密度。令 $t=u-r_w$，利用 $f_w(u)=e^{-t}\exp(-e^{-t})$ 与 $F_l(u)=\exp\!\bigl(-e^{-(t+r_w-r_l)}\bigr)$，并作替换 $s=e^{-t}$、$\mathrm{d}s=-e^{-t}\mathrm{d}t$：

$$
P(y_w\succ y_l)=\int_0^{\infty}\exp\!\bigl(-s\bigl(1+e^{-(r_w-r_l)}\bigr)\bigr)\,\mathrm{d}s
=\frac{1}{1+e^{-(r_w-r_l)}}=\sigma\bigl(r(x,y_w)-r(x,y_l)\bigr).
$$

这就是 **Bradley–Terry 模型**（Bradley–Terry model）：偏好概率只依赖两条回复的分数差。记 $\Delta=r(x,y_w)-r(x,y_l)$，则 $P=\sigma(\Delta)$，等价地 $\Delta=\log\frac{P}{1-P}$，即分数差等于偏好概率的对数几率。

给定来自 $\mathcal{D}_{\text{pref}}$ 的 $N$ 对独立比较，负对数似然为

$$
\mathcal{L}(\phi)=-\frac{1}{N}\sum_{i=1}^{N}\log\sigma\bigl(r_\phi(x_i,y_{w,i})-r_\phi(x_i,y_{l,i})\bigr).
$$

对分数求梯度。设 $\Delta_i=r_\phi(x_i,y_{w,i})-r_\phi(x_i,y_{l,i})$，利用 $\frac{\mathrm{d}}{\mathrm{d}\Delta}\bigl[-\log\sigma(\Delta)\bigr]=-\bigl(1-\sigma(\Delta)\bigr)=-\sigma(-\Delta)$，得

$$
\frac{\partial\mathcal{L}}{\partial r_\phi(x_i,y_{w,i})}=-\frac{1}{N}\sigma(-\Delta_i),\qquad
\frac{\partial\mathcal{L}}{\partial r_\phi(x_i,y_{l,i})}=+\frac{1}{N}\sigma(-\Delta_i).
$$

两式之和为零。这不是巧合：$r_\phi$ 只以差值形式进入损失，给同一提示下所有回复的分数同时加一个常数 $c(x)$，$\Delta_i$ 不变，损失不变。因此奖励模型在同一提示内**只能被识别到相差一个常数**，其绝对数值没有意义。这一性质在 [[DPO与偏好优化]] 中直接导致配分函数相消，是两篇推导的连接点。

Bradley–Terry 与 Elo 评分是同一模型的两种写法。Elo 的期望得分为

$$
E_w=\frac{1}{1+10^{(R_l-R_w)/400}}=\sigma\!\left(\frac{(R_w-R_l)\ln 10}{400}\right),
$$

故 Elo 分与 BT 分数满足 $R_w-R_l=\frac{400}{\ln 10}\,\Delta\approx 173.72\,\Delta$。表 1 给出常用偏好概率对应的分数差与 Elo 差。分数差衡量偏好强度：$\Delta=0$ 表示两条回复被认为同等好，$|\Delta|$ 越大表示判断越稳定；标注噪声会压缩可观测的 $|\Delta|$，因为随机翻转的标签使经验偏好概率向 $0.5$ 收缩。

表 1 偏好概率、对数几率与 Elo 差

| 偏好概率 $P$ | 分数差 $\Delta$ | Elo 差 |
|---|---|---|
| 0.55 | 0.201 | 34.9 |
| 0.60 | 0.405 | 70.4 |
| 0.70 | 0.847 | 147.2 |
| 0.80 | 1.386 | 240.8 |
| 0.90 | 2.197 | 381.7 |
| 0.99 | 4.595 | 798.3 |

### 3 奖励模型的训练与偏差

奖励模型的常见形式是在语言模型最后一层隐状态上接一个标量头：

$$
r_\phi(x,y)=\boldsymbol{w}^{\top}\boldsymbol{h}_\phi(x,y)+b,
$$

其中 $\boldsymbol{h}_\phi(x,y)\in\mathbb{R}^{d}$ 是回复最后一个 token 位置的隐状态，$\boldsymbol{w}\in\mathbb{R}^{d}$ 与 $b$ 是新增输出头。主干从 SFT 模型初始化，输出头随机初始化。从 SFT 初始化的原因是奖励模型必须理解回复的语义，从零训练在数万对数据上无法收敛；输出头随机初始化的原因是 SFT 的下一 token 头输出的是词表分布，与标量分数无关。

训练细节有四项需要注意。

第一是数据。每对比较由同一提示下的两条回复组成，标注者按规范选择更好的一条，可选「同等好」或「都差」。同一对常由多人标注，取多数票；标注者内部一致性决定了奖励模型的上限，一致性低于约七成时，剩余标签噪声会使奖励模型在留出集上的准确率无法继续提升。为消除位置偏差，训练时把每对的左右顺序随机交换，使 $y_w$ 出现在前与出现在后的样本各占一半。

第二是损失。除式中的对数似然外，常在分数差上减去间隔 $m$：$\mathcal{L}=-\log\sigma(\Delta-m)$。间隔使正确排序的样本在 $\Delta>m$ 后梯度为零，抑制对已正确样本的继续推动。间隔的取值依赖分数尺度，而分数尺度本身不受约束，因此间隔与学习率需要联合调节。

第三是过拟合。奖励模型只需学会排序，不需要精确复现标注者的分数；但训练轮数增多时，它会记住具体样本的措辞。可观测的迹象是训练集成对准确率继续上升而留出集准确率下降。通常只训练一至两个 epoch，并按留出集准确率选择检查点。留出集应按提示划分而不是按回复划分，否则同一提示的相似回复会同时出现在训练与验证中，准确率虚高。

第四是长度偏差。标注者在两条回复信息量接近时倾向于选择更长、结构更完整的一条，奖励模型因此学到与长度相关的特征。该偏差在强化学习阶段被放大：策略只要增加长度就能提高分数，于是输出变长，而真实质量未必提高。可检验的度量是按回复长度分桶统计奖励模型准确率与平均分数：若同一桶内准确率显著低于总体，说明模型部分依赖长度。缓解手段包括在构造比较数据时控制两条回复的长度差、在奖励中显式减去长度惩罚项、以及在评估时固定长度比较。

奖励的数值尺度是任意的：给 $r_\phi$ 乘以正常数 $c$ 或加上常数，排序不变，BT 似然只差一个温度。但第 4 节的目标函数中 $\beta$ 与奖励同时出现，因此改变奖励尺度等价于改变 $\beta$ 的有效值。这一点在实现中经常被忽略，见易错点第 3 条。

### 4 KL 正则化目标与最优策略

把奖励模型当作环境奖励，并加入 KL 约束，得到本篇的核心目标：

$$
J(\pi)=\mathbb{E}_{x\sim\mathcal{D}}\left[\mathbb{E}_{y\sim\pi(\cdot\mid x)}\,r_\phi(x,y)-\beta\,\mathrm{KL}\bigl(\pi(\cdot\mid x)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\bigr)\right].
$$

KL 项有两个作用，二者都改变最优解，不是训练技巧。

其一是限制策略偏离参考策略，从而限制奖励模型被滥用的空间。奖励模型只在偏好数据覆盖的分布附近可靠；策略远离该分布时，$r_\phi$ 的输出是外推，误差随距离增长。KL 项对 $\pi$ 在 $\pi_{\mathrm{ref}}$ 低概率处的概率质量施加随概率比对数增长的惩罚：被积函数为 $\pi(y\mid x)\log\bigl(\pi(y\mid x)/\pi_{\mathrm{ref}}(y\mid x)\bigr)$，当 $\pi_{\mathrm{ref}}(y\mid x)\to 0$ 而 $\pi(y\mid x)>0$ 时该值趋于无穷。因此最优策略不会把质量搬到参考策略几乎不产生的位置。

其二是保持多样性，避免熵塌缩。若去掉 KL 项，目标变为 $\mathbb{E}_\pi[r_\phi]$，其最优解是全部质量集中在 $\arg\max_y r_\phi(x,y)$ 上的退化分布。对语言模型而言，这表现为对同一提示反复输出同一条高分回复、以及在采样时失去多样性。KL 项使策略在提高奖励的同时保留参考策略的概率结构，温度 $\beta$ 决定保留多少。

求解该目标。由于 $x$ 只通过条件分布进入，且约束在每个 $x$ 上独立，可以逐 $x$ 求解：

$$
\max_{\pi(\cdot\mid x)}\ \sum_{y}\pi(y\mid x)\,r_\phi(x,y)-\beta\sum_{y}\pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}
\quad\text{s.t.}\quad \sum_{y}\pi(y\mid x)=1.
$$

构造拉格朗日函数，乘子为 $\lambda$：

$$
\mathcal{L}=\sum_{y}\pi(y\mid x)r_\phi(x,y)-\beta\sum_{y}\pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\lambda\left(1-\sum_{y}\pi(y\mid x)\right).
$$

对单个 $\pi(y\mid x)$ 求偏导并令其为零：

$$
r_\phi(x,y)-\beta\left(\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+1\right)-\lambda=0,
$$

整理得

$$
\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}=\frac{r_\phi(x,y)-\lambda}{\beta}-1.
$$

两边取指数，记 $Z(x)=\sum_{y}\pi_{\mathrm{ref}}(y\mid x)\exp\bigl(r_\phi(x,y)/\beta\bigr)$，由归一化条件定出常数因子，得到

$$
\pi^{\star}(y\mid x)=\frac{1}{Z(x)}\,\pi_{\mathrm{ref}}(y\mid x)\exp\!\left(\frac{r_\phi(x,y)}{\beta}\right).
$$

目标函数是 $\pi$ 的严格凹函数：第一项对 $\pi$ 线性，第二项是 KL 的负值，而 KL 在 $\pi$ 上严格凸，故第二项严格凹。因此驻点即全局唯一最优解。把 $\pi^\star$ 代回目标，利用一阶条件 $r_\phi(x,y)-\beta\log\frac{\pi^\star(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}=\beta\log Z(x)$，得最优值

$$
J(\pi^\star)=\beta\log Z(x).
$$

式 $\pi^\star\propto\pi_{\mathrm{ref}}\exp(r_\phi/\beta)$ 说明最优策略是参考策略按奖励指数加权的倾斜分布。$\beta\to\infty$ 时 $\pi^\star\to\pi_{\mathrm{ref}}$；$\beta\to 0$ 时质量集中到 $r_\phi$ 的最大值点。[[DPO与偏好优化]] 把该式反解为奖励，再代入 Bradley–Terry，从而消去 $Z(x)$。

最后一个技术点是 KL 的逐 token 分解。由序列概率的链式法则，

$$
\begin{aligned}
\mathrm{KL}\bigl(\pi_\theta(\cdot\mid x)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\bigr)
&=\mathbb{E}_{y\sim\pi_\theta}\left[\sum_{t=1}^{T}\log\frac{\pi_\theta(y_t\mid x,y_{<t})}{\pi_{\mathrm{ref}}(y_t\mid x,y_{<t})}\right]\\
&=\sum_{t=1}^{T}\mathbb{E}_{y_{<t}\sim\pi_\theta}\left[\mathrm{KL}\bigl(\pi_\theta(\cdot\mid x,y_{<t})\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x,y_{<t})\bigr)\right].
\end{aligned}
$$

推导的第一步只是把联合概率拆成条件概率之积，第二步把对 $y$ 的期望按时间顺序分解。该式说明序列级 KL 等于逐位置 KL 之和，因此可以在每个 token 上施加惩罚，而不改变目标。对一条采样轨迹，$\sum_t\bigl[\log\pi_\theta(y_t\mid\cdot)-\log\pi_{\mathrm{ref}}(y_t\mid\cdot)\bigr]=\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$，故逐 token 惩罚之和是序列级 KL 的无偏样本估计。这是第 5 节把 KL 写进逐 token 奖励的依据。

### 5 PPO：裁剪目标、优势与价值网络

把生成过程写成马尔可夫决策过程：状态 $s_t=(x,y_{<t})$，动作 $a_t=y_t$，转移为确定性拼接，终止于结束符或长度上限。策略 $\pi_\theta(a_t\mid s_t)$ 就是语言模型的下一 token 分布。PPO 优化的是重要性采样的替代目标。设 $\pi_{\theta_{\text{old}}}$ 为采样该批轨迹时的策略，

$$
\rho_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\text{old}}}(a_t\mid s_t)},\qquad
L^{\text{CLIP}}(\theta)=\mathbb{E}_{t}\Bigl[\min\bigl(\rho_t A_t,\ \mathrm{clip}(\rho_t,1-\varepsilon,1+\varepsilon)\,A_t\bigr)\Bigr].
$$

裁剪的作用可以逐情形读出。当 $A_t>0$ 且 $\rho_t>1+\varepsilon$ 时，$\min$ 取 $(1+\varepsilon)A_t$，与 $\theta$ 无关，梯度为零：策略已经在该动作上比旧策略更自信，继续增大比值不再获得收益。当 $A_t<0$ 且 $\rho_t<1-\varepsilon$ 时同理。其余情形 $\min$ 取 $\rho_tA_t$，梯度与策略梯度一致。因此该目标在「有利方向上的过度更新」处截断，在「不利方向」上始终保留惩罚，构成对替代目标的悲观下界。$\varepsilon$ 常取 $0.2$。

优势估计采用广义优势估计（generalized advantage estimation，GAE）。设 TD 残差

$$
\delta_t=r_t+\gamma V_\psi(s_{t+1})-V_\psi(s_t),
$$

则

$$
\hat{A}_t=\sum_{l=0}^{T-t}(\gamma\lambda)^{l}\,\delta_{t+l}.
$$

$\lambda=0$ 时 $\hat{A}_t=\delta_t$，方差小但依赖价值网络的准确性；$\lambda=1$ 时 $\hat{A}_t=\sum_{l}r_{t+l}-V_\psi(s_t)$，即蒙特卡洛回报减基线，无偏但方差大。$\lambda\in(0,1)$ 在两者之间插值。语言模型任务中通常取 $\gamma=1$，因为回合长度有限且不存在真实折扣需求。

价值网络 $V_\psi$ 是与策略独立的语言模型加标量头，从奖励模型或 SFT 模型初始化，用均方误差对回报做回归：

$$
L^{\text{VF}}(\psi)=\mathbb{E}_{t}\bigl[\bigl(V_\psi(s_t)-\hat{R}_t\bigr)^{2}\bigr],
$$

其中 $\hat{R}_t=\hat{A}_t+V_\psi(s_t)$ 为自举的回报目标。价值网络与策略共享主干会引入两个目标的梯度干扰，实践中通常分开。

KL 惩罚以奖励塑形的方式进入。对第 $t$ 个 token 定义

$$
r_t=-\beta\bigl(\log\pi_\theta(y_t\mid x,y_{<t})-\log\pi_{\mathrm{ref}}(y_t\mid x,y_{<t})\bigr),
$$

并在终止位置加上奖励模型的分数：

$$
r_T\leftarrow r_T+r_\phi(x,y).
$$

于是整条轨迹的塑形回报为

$$
\sum_{t=1}^{T}r_t=r_\phi(x,y)-\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)},
$$

右端第二项中的 $\log\bigl(\pi_\theta(y\mid x)/\pi_{\mathrm{ref}}(y\mid x)\bigr)$ 正是目标函数中 KL 的被积函数。该等式是精确的，因为逐 token 对数比之和等于序列对数比。需要说明一处近似：塑形奖励依赖 $\theta$，而策略梯度定理假设奖励与参数无关；PPO-RLHF 的常见实现把 $r_t$ 视为批内固定的常数，只对策略项求导。另一种写法是把 $\beta\,\mathrm{KL}$ 直接作为损失项加入并对它求导。两种写法在实现中都存在，区别在于是否计入 KL 项自身的梯度。

PPO 的总损失为

$$
L(\theta,\psi)=-L^{\text{CLIP}}(\theta)+c_1L^{\text{VF}}(\psi)-c_2\,\mathbb{E}_t\bigl[H(\pi_\theta(\cdot\mid s_t))\bigr],
$$

其中 $H$ 为策略熵，$c_2$ 为熵奖励系数。RLHF 中熵奖励常设为 0 或很小，因为 KL 项已提供对分布退化的约束。

### 6 训练流程与显存

完整流程分为七步。

1. 用 SFT 模型初始化策略 $\pi_\theta$，复制一份冻结为 $\pi_{\mathrm{ref}}$，用偏好数据训练奖励模型 $r_\phi$ 并冻结。
2. 从提示池取一批 $x$，用当前策略采样回复 $y$，记录每个位置的 $\log\pi_{\theta_{\text{old}}}$ 与 $\log\pi_{\mathrm{ref}}$。
3. 用 $r_\phi$ 给每条完整回复打分，按第 5 节的公式把分数与逐 token KL 惩罚合成为 $r_t$。
4. 用价值网络计算 $\delta_t$ 与 $\hat{A}_t$，并对批内优势做标准化。
5. 在同一批数据上做若干轮 PPO 更新，同时最小化策略损失与价值损失。
6. 若 KL 超过目标值则增大 $\beta$，低于目标值则减小 $\beta$，使策略偏移维持在设计范围内。
7. 丢弃该批数据，回到第 2 步。

```mermaid
flowchart TD
    S["SFT 模型"] --> P["策略网络"]
    S --> R["参考策略 冻结"]
    D["成对偏好数据"] --> RM["奖励模型训练"]
    RM --> FR["奖励模型 冻结"]
    P --> RO["采样回复"]
    RO --> SC["奖励模型打分"]
    RO --> KL["逐 token KL 惩罚"]
    SC --> RS["奖励塑形"]
    KL --> RS
    RS --> GA["GAE 优势估计"]
    GA --> UP["PPO 裁剪更新"]
    UP --> CK["检查 KL 是否超目标"]
    CK --> RO
```

四个模型同时驻留显存是 RLHF 的主要成本来源。以 7B 参数、bf16 权重、Adam 优化器、混合精度训练为例，单模型权重占 $7\times10^{9}\times2$ 字节 $=14$ GB；每个可训练参数需要两个 fp32 动量状态共 8 字节，即 56 GB，另需 fp32 主权重 28 GB。合计见表 2。

表 2 7B 模型四模型 PPO 的显存下界

| 模型 | 角色 | 权重 | 优化器状态与 fp32 主权重 | 小计 |
|---|---|---|---|---|
| 策略 $\pi_\theta$ | 训练 | 14 GB | 84 GB | 98 GB |
| 价值 $V_\psi$ | 训练 | 14 GB | 84 GB | 98 GB |
| 参考 $\pi_{\mathrm{ref}}$ | 冻结 | 14 GB | 0 | 14 GB |
| 奖励 $r_\phi$ | 冻结 | 14 GB | 0 | 14 GB |
| 合计 | | 56 GB | 168 GB | 224 GB |

224 GB 尚不含激活值与采样缓冲。以批大小 64、序列长度 1024、32 层、隐藏维 4096 估计，单层激活约为 $64\times1024\times4096\times2$ 字节 $=0.5$ GB，即使开启梯度检查点，激活仍占数 GB 量级。因此 7B 的 PPO 在 80 GB 显卡上至少需要 4 张，留出余量后通常配置 8 张。降低显存的三条途径分别作用于不同项：FSDP 或 ZeRO-3 切分权重与优化器状态；LoRA 只训练少量参数，使优化器状态降到 1 GB 以下，但四个基座模型仍需 56 GB；把参考模型与奖励模型的推理放到单独的设备池。

### 7 不稳定性来源

RLHF 的训练曲线比 SFT 更容易发散，来源可分为四类。

**奖励黑客**。策略在奖励模型的高分区域搜索，找到人类评分规范未覆盖的模式，例如重复某段被标注者偏好的句式、堆叠礼貌用语、在答案前插入冗长的背景陈述。机制是策略优化的对象是 $r_\phi$ 而不是 $U$，两者在训练分布外的一致性没有保证。

**方差**。奖励只在序列终止时给出，中间的逐 token 奖励仅来自 KL 惩罚，其尺度通常比终端奖励小两个数量级以上。当 $\beta$ 较小或回复较长时，优势估计的方差主要来自终端项，策略梯度的信噪比下降。PPO 用裁剪与批内优势标准化缓解，但不能消除。

**超参数敏感**。$\beta$、$\varepsilon$、学习率、每批更新轮数、采样温度都影响结果。$\beta$ 过小导致策略迅速偏离并被奖励模型利用，$\beta$ 过大导致策略几乎不更新；学习率对 PPO 的容忍区间比 SFT 窄，通常比 SFT 小一到两个数量级。

**奖励模型过优化**。随着策略与参考策略的 KL 增大，代理奖励持续上升，而真实质量先升后降。转折点的位置依赖奖励模型的质量与数据覆盖，无法从代理奖励曲线上直接读出，需要独立的评估集。

可检验的监控项包括：批内平均 KL、回复平均长度、策略熵、奖励分数的分布、以及固定提示集上对抗评估的胜率。任何一个指标单独变化都不足以判定训练正常。

### 8 拒绝采样与 best-of-n

当目标只是提升输出质量而不要求策略分布精确最优时，可以用采样加筛选替代 PPO。

**best-of-n** 在推理时从参考策略采样 $n$ 条回复，用奖励模型打分后取最高的一条：

$$
y=\arg\max_{i\in\{1,\dots,n\}} r_\phi(x,y^{(i)}),\qquad y^{(i)}\sim\pi_{\mathrm{ref}}(\cdot\mid x).
$$

它不需要训练，代价是推理成本变为 $n$ 倍。其分布与参考策略的 KL 有上界。设 $J$ 为被选中样本的下标，$J$ 是样本集合的确定性函数，输出 $Y_J$ 的分布记为 $\pi_{\mathrm{BoN}}$。由 KL 的链式法则与凸性，

$$
\mathrm{KL}\bigl(\pi_{\mathrm{BoN}}\,\|\,\pi_{\mathrm{ref}}\bigr)\le I(Y;J)\le H(J)\le\log n,
$$

其中 $I(Y;J)$ 为互信息。第一步的依据是 $I(Y;J)=\mathrm{KL}(p_{Y,J}\|p_Yp_J)=\mathbb{E}_{J}\bigl[\mathrm{KL}(p_{Y\mid J}\|p_Y)\bigr]$，而按 $J$ 取平均后的 KL 不小于平均分布的 KL，这由 KL 对其第一个参数的凸性给出；第二步是互信息不超过熵；第三步是 $n$ 个取值的熵上界。因此 $n=16$ 时 KL 不超过 $\log 16\approx2.77$ nat，与 $\beta$ 无关。

**拒绝采样微调**（rejection sampling fine-tuning）把筛选结果用于训练：对每个提示采样多条，保留奖励高于阈值者，在其上做 SFT。它可以迭代，等价于用奖励模型做离线的策略改进。与 PPO 的差别在于数据来自旧策略且不做重要性修正，因此策略改进的幅度受参考策略覆盖的限制。

表 3 三种做法的对比

| 维度 | PPO | 拒绝采样微调 | best-of-n |
|---|---|---|---|
| 是否训练 | 是 | 是 | 否 |
| 采样成本 | 每步在线采样 | 一次性离线采样 | 每次推理 $n$ 倍 |
| 奖励模型位置 | 训练时在线打分 | 训练前筛选 | 推理时打分 |
| KL 控制 | 显式 $\beta$ | 间接，由筛选阈值决定 | 有 $\log n$ 上界 |
| 主要风险 | 奖励黑客、发散 | 分布偏移 | 推理延迟 |

适用条件不同。若参考策略已在好回复上有不可忽略的概率，best-of-n 能以推理成本换取大部分收益，且没有训练风险；若好回复的概率接近零，采样再多样也选不出来，此时需要 PPO 或 [[DPO与偏好优化]] 改变策略本身。

### 9 评估

对齐阶段的评估要回答三个不同的问题，度量不能混用。

第一，奖励模型是否可信。指标是留出集成对准确率、按长度与领域分桶的准确率、以及校准度：把预测的 $\sigma(\Delta)$ 分桶，与桶内实际胜率比较，若系统偏离说明分数尺度失真。准确率高但校准差的奖励模型在 PPO 中仍可能被利用。

第二，策略是否真的更符合偏好。指标是与 SFT 基线的成对胜率，评判者可以是人或更强的模型。评判协议必须固定，并控制长度：若不控制，胜率会同时反映长度差异。通常同时报告原始胜率与长度匹配后的胜率。

第三，是否付出代价。指标包括与参考策略的 KL、输出长度分布、采样多样性、通用能力回归集上的分数、以及安全评估集的通过率。对齐税表现为通用能力下降或过度拒答，后者可用良性请求的拒答率度量。

单一指标都可能被优化。奖励分数只能说明代理目标，胜率只能说明评判者的偏好，二者都不等于真实效用。评估集必须与训练用的偏好数据分离，且提示来自不同来源。

## 关键直觉

> [!tip] RLHF 可以视为在策略空间上求解一个带 KL 正则的期望奖励最大化问题：奖励模型给出方向，KL 项限定搜索半径，PPO 是在该半径内做随机梯度上升的数值方法。KL 项不是可选的稳定技巧，它改变最优解：去掉它，最优策略退化为奖励模型的 argmax；保留它，最优策略是参考策略按 $\exp(r_\phi/\beta)$ 加权的倾斜分布。这一表述与定义中的目标函数一致，KL 出现在目标函数内部，而不是训练循环的外部约束。

## 例子与代码

先手算一个成对样本。设奖励模型对两条回复的打分为 $r_w=0.70$、$r_l=0.20$，则 $\Delta=0.50$，

$$
\sigma(0.50)=\frac{1}{1+e^{-0.50}}=0.622459,\qquad
-\log\sigma(0.50)=0.474077.
$$

对分数的梯度为

$$
\frac{\partial\mathcal{L}}{\partial r_w}=-(1-0.622459)=-0.377541,\qquad
\frac{\partial\mathcal{L}}{\partial r_l}=+0.377541.
$$

若奖励是特征的线性函数 $r=\boldsymbol{w}^{\top}\boldsymbol{\phi}$，第一对的特征差为 $\boldsymbol{\phi}_w-\boldsymbol{\phi}_l=(1.5,1.0,0)$，则这一对对 $\boldsymbol{w}$ 的梯度贡献为 $-0.377541\times(1.5,1.0,0)=(-0.566312,-0.377541,0)$。四对样本的完整计算如下表，其中 $\boldsymbol{w}=(0.2,0.2,0.2)$。

表 4 四对样本的初始损失

| 对 | $\Delta_i$ | $\sigma(\Delta_i)$ | $-\log\sigma(\Delta_i)$ |
|---|---|---|---|
| 1 | 0.50 | 0.622459 | 0.4741 |
| 2 | −0.28 | 0.430454 | 0.8431 |
| 3 | 0.32 | 0.579324 | 0.5458 |
| 4 | 0.32 | 0.579324 | 0.5458 |

四项平均为 $0.6022$，加上 $\frac{1}{2}\times10^{-2}\times\|\boldsymbol{w}\|^2=0.0006$ 得总损失 $0.6028$。第二对样本的 $\Delta$ 为负，说明初始奖励模型把较差的一条排在了前面，成对准确率为 $0.75$。

第一段代码用 NumPy 实现上述计算，并用中心差分核对解析梯度，最后做一步梯度下降。

```python
"""Bradley-Terry 奖励模型：损失、解析梯度、数值梯度与一步更新（numpy 2.x）。"""
import numpy as np

# 三维特征可理解为信息量、结构完整度、简洁度的规则取值
Phi_w = np.array([[2.0, 1.2, 0.3],
                  [1.5, 1.2, 0.4],
                  [1.2, 1.2, 0.7],
                  [0.9, 1.8, 0.7]])
Phi_l = np.array([[0.5, 0.2, 0.3],
                  [1.2, 0.9, 2.4],
                  [0.4, 0.6, 0.5],
                  [0.7, 0.9, 0.2]])
w = np.array([0.2, 0.2, 0.2])
l2 = 1e-2


def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))


def loss_and_grad(w):
    delta = Phi_w @ w - Phi_l @ w                       # 每对的奖励差 Delta_i
    p = sigmoid(delta)
    loss = -np.mean(np.log(p)) + 0.5 * l2 * (w @ w)     # 负对数似然加 L2
    # dL/dDelta = -(1-p)，而 dDelta/dw = phi_w - phi_l
    grad = np.mean(-(1.0 - p)[:, None] * (Phi_w - Phi_l), axis=0) + l2 * w
    return loss, grad, delta, p


loss, grad, delta, p = loss_and_grad(w)
print(f"初始 delta: {np.round(delta, 4).tolist()}")
print(f"初始 p: {np.round(p, 6).tolist()}")
print(f"初始损失: {loss:.6f}")
print(f"解析梯度: {np.round(grad, 6).tolist()}")

# 中心差分核对解析梯度
eps = 1e-6
num = np.zeros_like(w)
for i in range(3):
    wp, wm = w.copy(), w.copy()
    wp[i] += eps
    wm[i] -= eps
    num[i] = (loss_and_grad(wp)[0] - loss_and_grad(wm)[0]) / (2 * eps)
print(f"数值梯度: {np.round(num, 6).tolist()} 最大偏差: {np.abs(num - grad).max():.2e}")

# 一步梯度下降后重新计算损失与成对准确率
for step in range(1, 6):
    loss, grad, delta, p = loss_and_grad(w)
    w = w - 1.0 * grad
    if step in (1, 5):
        cur_loss, _, cur_delta, _ = loss_and_grad(w)
        print(f"step {step} 损失 {cur_loss:.6f} 准确率 {np.mean(cur_delta > 0):.2f} "
              f"delta {np.round(cur_delta, 4).tolist()}")

# Elo 换算：R_w - R_l = 400 * Delta / ln(10)
for q in (0.6, 0.8, 0.9):
    d = np.log(q / (1 - q))
    print(f"p={q:.1f} delta={d:.4f} Elo 差={400 * d / np.log(10):.1f}")
```

预期输出如下。

```text
初始 delta: [0.5, -0.28, 0.32, 0.32]
初始 p: [0.622459, 0.430454, 0.579324, 0.579324]
初始损失: 0.602795
解析梯度: [-0.287463, -0.292855, 0.213155]
数值梯度: [-0.287463, -0.292855, 0.213155] 最大偏差: 1.29e-11
step 1 损失 0.420786 准确率 1.00 delta [1.224, 0.3204, 0.6831, 0.5345]
step 5 损失 0.210273 准确率 1.00 delta [2.7044, 1.4596, 1.4382, 1.0372]
p=0.6 delta=0.4055 Elo 差=70.4
p=0.8 delta=1.3863 Elo 差=240.8
p=0.9 delta=2.1972 Elo 差=381.7
```

这段代码在做什么：`Phi_w` 与 `Phi_l` 是四对样本的特征，`loss_and_grad` 先算每对的奖励差 $\Delta_i$，再用 $\sigma$ 得到偏好概率，取负对数后与 L2 项相加；梯度按 $\partial\mathcal{L}/\partial\boldsymbol{w}=\frac{1}{N}\sum_i-(1-p_i)(\boldsymbol{\phi}_{w,i}-\boldsymbol{\phi}_{l,i})$ 计算；中心差分用于验证该式；最后用 $\eta=1$ 做五步梯度下降并打印损失与准确率。

为什么这样验证：解析梯度与数值梯度的最大偏差为 $1.29\times10^{-11}$，说明链式法则的实现正确。仅看损失下降不足以说明实现正确，因为梯度符号反了时损失也会在错误方向上变化，数值梯度提供了独立参照。

去掉会怎样：去掉 L2 项，损失变为 $0.6022$，在可分数据上权重会持续增大，间隔无上界；去掉梯度中的 $(1-p_i)$ 因子，等价于对所有样本使用相同权重，已正确且间隔大的样本会继续推动权重，训练后期损失下降但留出集准确率下降。准确率在第 1 步即达到 $1.00$，这是三维特征线性可分的结果；真实数据上准确率通常缓慢上升并在某一轮后回落，回落点即过拟合起点。

第二段代码计算逐 token KL 塑形奖励与 GAE 优势，用于核对第 5 节的公式。

```python
"""逐 token KL 惩罚与 GAE 优势估计（numpy 2.x）。"""
import numpy as np

beta, gamma, lam = 0.1, 1.0, 0.95
kl = np.array([0.02, 0.05, 0.10, 0.03])        # 每个位置的 log(pi_theta / pi_ref)
r = -beta * kl                                  # 逐 token KL 惩罚
r[-1] += 1.5                                    # 终止位置加入奖励模型分数
V = np.array([0.90, 1.00, 1.10, 1.20])          # 价值网络给出的状态价值
V_next = np.append(V[1:], 0.0)                  # 终止状态价值为 0

delta = r + gamma * V_next - V                  # TD 残差
adv = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))):           # 从后向前累计
    running = delta[t] + gamma * lam * running
    adv[t] = running

ret = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))):           # lambda=1 时的蒙特卡洛回报
    running = r[t] + gamma * running
    ret[t] = running

print(f"塑形奖励: {r.tolist()}")
print(f"TD 残差: {np.round(delta, 4).tolist()}")
print(f"GAE 优势: {np.round(adv, 4).tolist()}")
print(f"蒙特卡洛回报: {np.round(ret, 4).tolist()}")
print(f"MC 优势减 GAE 优势: {np.round((ret - V) - adv, 4).tolist()}")
```

预期输出如下。

```text
塑形奖励: [-0.002, -0.005, -0.01, 1.497]
TD 残差: [0.098, 0.095, 0.09, 0.297]
GAE 优势: [0.5241, 0.4485, 0.3722, 0.297]
蒙特卡洛回报: [1.48, 1.482, 1.487, 1.497]
MC 优势减 GAE 优势: [0.0559, 0.0335, 0.0148, 0.0]
```

这段代码在做什么：`kl` 是四个位置上策略相对参考策略的对数比，乘以 $-\beta$ 后成为逐 token 奖励，末位再加 1.5 的终端奖励；`delta` 按 $r_t+\gamma V_{t+1}-V_t$ 计算；两个反向循环分别得到 GAE 优势与 $\lambda=1$ 的蒙特卡洛优势。

为什么这样看：GAE 优势在越靠近终止的位置越接近蒙特卡洛优势，两者之差从 $0.0559$ 单调降到 $0$。这正是 $\lambda<1$ 的收缩效果：离终端越远，$\lambda$ 的幂次越高，自举的成分越多。若 $\lambda=1$，该差值在各位置全为零；若 $\lambda=0$，优势退化为 TD 残差，此时 $A_0=0.098$ 远小于 $0.5241$，信用分配只覆盖一步。

去掉会怎样：若把 KL 惩罚写成 $+\beta\log(\pi_\theta/\pi_{\mathrm{ref}})$，塑形奖励全部变号，策略会被推向与参考策略差异更大的方向，KL 单调上升。若终端奖励加在第一个位置而不是最后一个位置，GAE 仍能传播，但优势的时序结构反转，早期 token 获得与因果顺序不符的信用。

第三段是 PPO 损失函数的 PyTorch 片段，包括比值、裁剪、两种优势写法与 KL 惩罚。

```python
"""PPO 裁剪目标与逐 token KL 惩罚（PyTorch 2.x）。"""
import torch
import torch.nn.functional as F

B, T, V = 2, 3, 4
base = torch.arange(B * T * V, dtype=torch.float32).reshape(B, T, V).mul_(0.1)
ref = base + torch.tensor([0.0, 0.3, -0.2, 0.1])      # 参考策略 logits
old = base + torch.tensor([0.1, -0.1, 0.2, 0.0])      # 采样时的策略 logits
new = base + torch.tensor([0.0, 0.5, -0.3, 0.2])      # 当前策略 logits
actions = torch.tensor([[0, 1, 2], [3, 2, 0]])
mask = torch.tensor([[1.0, 1.0, 1.0], [1.0, 0.0, 0.0]])  # padding 位置为 0
adv = torch.tensor([[0.8, -0.4, 1.2], [0.5, 0.0, 0.0]])  # GAE 输出，padding 为 0


def token_logp(logits, act):
    return F.log_softmax(logits, dim=-1).gather(-1, act.unsqueeze(-1)).squeeze(-1)


lp_ref = token_logp(ref, actions)
lp_old = token_logp(old, actions)
lp_new = token_logp(new, actions)
ratio = torch.exp(lp_new - lp_old)                     # 重要性比值
eps, beta = 0.2, 0.1

surr1 = ratio * adv
surr2 = torch.clamp(ratio, 1 - eps, 1 + eps) * adv
pg_loss = -(torch.min(surr1, surr2) * mask).sum() / mask.sum()

log_r = lp_ref - lp_new                                # log(pi_ref / pi_theta)
kl = torch.exp(log_r) - log_r - 1.0                    # k3 估计，逐 token 非负
kl_pen = beta * (kl * mask).sum() / mask.sum()
total = pg_loss + kl_pen

print(f"ratio: {[[round(v, 4) for v in row] for row in ratio.tolist()]}")
print(f"策略损失 {pg_loss:.6f} KL {kl:.6f} KL 惩罚 {kl_pen:.6f} 总损失 {total:.6f}")
```

预期输出如下。

```text
ratio: [[1.017, 2.048, 0.6817], [1.3728, 0.6817, 1.017]]
策略损失 -0.353118 KL 0.019601 KL 惩罚 0.001960 总损失 -0.351158
```

这段代码在做什么：`token_logp` 取对数 softmax 后在动作位置 gather，得到逐 token 对数概率；`ratio` 是当前策略与采样策略的比值；`surr1` 与 `surr2` 分别是不裁剪与裁剪后的替代目标，取逐元素最小值后加负号成为损失；`kl` 用 k3 估计 $\exp(\log r)-\log r-1$，其中 $\log r=\log\pi_{\mathrm{ref}}-\log\pi_\theta$，该估计对 $\mathrm{KL}(\pi_\theta\|\pi_{\mathrm{ref}})$ 无偏且逐样本非负；`mask` 把 padding 位置从分子与分母中同时移除。

为什么用 k3 而不是直接取 $\log\pi_\theta-\log\pi_{\mathrm{ref}}$：后者虽然无偏，但单样本可为负，加入奖励后会把负的 KL 当作正收益，放大方差。k3 由 $\log r$ 的指数展开得到，恒非负。本例中四个未屏蔽位置的逐 token KL 为 $0.0074$、$0.0473$、$0.0003$、$0.0234$，按未屏蔽位置求均值得 $0.0196$。

裁剪的行为可以直接从比值读出。第 1 行第 2 列比值 $2.048$ 超过 $1.2$，但该位置优势为 $-0.4$，属于不利方向，$\min$ 取未裁剪的 $-0.8192$，裁剪值 $-0.48$ 较大而不被选中；第 2 行第 1 列比值 $1.3728$ 超过 $1.2$，优势为 $0.5$，属于有利方向，$\min$ 取裁剪后的 $0.6$，未裁剪的 $0.6864$ 被丢弃，收益停止增长；第 1 行第 3 列比值 $0.6817$ 低于 $0.8$，优势为 $1.2$，同样属于不利方向，$\min$ 取未裁剪的 $0.8181$。三处合起来说明：裁剪只在有利方向越界时把替代目标替换为界值，不利方向的偏差始终保留在目标中。

去掉会怎样：去掉裁剪，比值可以任意大，一次更新就可能把策略推离采样分布，后续批次的优势估计失效；去掉 mask，padding 位置的对数概率会进入均值，本例中 padding 位置的 KL 为 $0.0003$，数值小但方向随机，批内平均被无关位置稀释；把 `torch.min` 换成 `torch.max`，目标变为乐观估计，策略会利用被高估的比值，训练早期损失下降更快但随后崩溃。

## 易错点

> [!warning] 以下六条均可在训练日志、梯度检查或显存统计中直接验证。
> 1. KL 方向与符号写反：目标中是 $\mathrm{KL}(\pi_\theta\|\pi_{\mathrm{ref}})=\mathbb{E}_{\pi_\theta}[\log\pi_\theta-\log\pi_{\mathrm{ref}}]$，塑形奖励应为 $-\beta(\log\pi_\theta-\log\pi_{\mathrm{ref}})$。若写成 $+\beta(\log\pi_\theta-\log\pi_{\mathrm{ref}})$，训练会主动扩大与参考策略的差异，表现为 KL 单调上升而奖励上升。验证方法是打印前 100 步的 KL 估计，正常训练应缓慢上升并稳定在目标附近。
> 2. 参考模型未冻结：把 `ref_model` 与策略指向同一对象、忘记 `requires_grad_(False)`、或让参考模型停留在训练模式。前两者使 KL 恒为 0，损失退化为纯奖励最大化；后者使 dropout 打开，同一回复两次前向得到不同对数概率，KL 估计带噪声。验证方法是检查参考模型参数的 `grad` 全为 `None`，且同一批数据两次前向的 KL 完全相同。
> 3. 奖励归一化改变 $\beta$：把奖励除以滑动标准差 $c$ 等价于把 $\beta$ 变成 $\beta/c$。若不重新调节 $\beta$，KL 约束的强度被静默改变。验证方法是记录塑形奖励的均值与标准差，并比较不同归一化方案下的 KL 曲线；两条曲线的 KL 应可比，否则说明有效 $\beta$ 不同。
> 4. 长度偏差未被控制：奖励模型对长度的偏好被策略放大，输出变长而质量不变。评估若不控制长度，胜率会同时反映长度差异。验证方法是同时报告输出长度分布、按长度分桶的奖励准确率、以及长度匹配后的胜率。
> 5. 优势符号与裁剪方向错误：优势应为回报减价值 $\hat{A}_t=\hat{R}_t-V_\psi(s_t)$。若写成 $V-\hat{R}$，梯度上升会压低高回报动作。裁剪目标中 $\min$ 的作用是在有利方向上取悲观值，换成 $\max$ 会失去下界。验证方法是检查 $\hat{A}_t$ 与 $\hat{R}_t-V_\psi$ 的相关性应接近 $1$。
> 6. 显存估算只计权重：7B 四个模型的权重为 56 GB，加上两个可训练模型的 Adam 状态与主权重共 224 GB。只按权重规划会在训练开始后因 OOM 中断，且 OOM 出现在第一步优化器状态分配时，而不是模型加载时。

## 关联笔记

- 前置 [[指令微调SFT]]：SFT 提供策略初始化与参考策略，其掩码与模板决定 RLHF 的输入格式；SFT 模型的输出分布同时决定采样探索的起点。
- 前置 [[预训练-微调-对齐pipeline]]：该篇给出预训练、SFT、对齐三段的衔接关系，本篇是其第三段的展开。
- 前置 [[自回归生成与采样]]：序列概率分解与采样温度决定 rollout 的分布，KL 的逐 token 分解也建立在该分解上。
- 后续 [[DPO与偏好优化]]：从本篇的目标函数与闭式解出发，消去奖励模型与在线采样，得到等价的分类损失。
- 对照 [[模型评估矩阵]]：对齐阶段需要区分代理奖励、胜率与真实效用三类指标，该篇给出指标选择与混淆矩阵的框架。

## 达标检测

- [ ] 写出 Bradley–Terry 的负对数似然与 $\partial\mathcal{L}/\partial r_w$，并说明为什么 $r$ 只能被识别到相差一个 $c(x)$。
- [ ] 手算 $\Delta=0.50$ 时的 $\sigma(\Delta)$、$-\log\sigma(\Delta)$ 与两个偏导；再算 $\Delta=-0.28$，比较两者的梯度权重。
- [ ] 用拉格朗日乘子法推出 $\pi^\star\propto\pi_{\mathrm{ref}}\exp(r_\phi/\beta)$，并验证最优目标值等于 $\beta\log Z(x)$。
- [ ] 证明序列级 KL 可分解为逐 token KL 之和，并说明该分解为什么允许把 KL 写进逐 token 奖励。
- [ ] 在 7B、bf16、Adam 的假设下计算四模型 PPO 的显存下界，并说明 FSDP 与 LoRA 分别削减哪一项。
- [ ] 运行第一段代码，交换第二对样本的 `Phi_w` 与 `Phi_l`，观察初始损失、准确率与梯度符号的变化并解释。
- [ ] 运行第二段代码，把 $\lambda$ 分别改为 $1.0$ 与 $0.0$，比较 GAE 优势与蒙特卡洛优势的差值变化。
- [ ] 推导 best-of-n 的 KL 上界，给出 $n=32$ 时的数值，并说明该上界与 $\beta$ 无关的原因。

## 参考来源

- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的三段流程与四模型配置、第 5 节的 PPO 与 KL 惩罚、第 7 节的奖励模型过优化现象。
- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 4 节闭式最优策略与最优值的推导，以及第 8 节与直接偏好优化的关系。
- Hugging Face TRL 官方文档（`PPOTrainer`、`RewardTrainer`、`PPOConfig` 的配置说明） —— 对应第 3 节的奖励模型训练接口、第 5 节的裁剪与价值损失实现、第 6 节的工程配置。
- 张奇等,《大规模语言模型：从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 2 节的偏好建模、第 3 节的奖励模型训练与第 5 节的策略梯度推导。
- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 3 章与第 5 章 —— 对应 KL 散度与期望的定义、最大似然估计的最优解性质。
