---
tags: [AI, dpo, 偏好优化]
阶段: 07-微调与对齐
难度: ★★★
created: 2026-10-18
related: "[[对齐-RLHF]], [[指令微调SFT]], [[模型评估矩阵]]"
---

# DPO与偏好优化

## 定义

**直接偏好优化**（Direct Preference Optimization，DPO）指不经显式奖励模型与强化学习、直接用成对偏好数据以二元分类损失优化语言模型的方法。其损失为

$$
\mathcal{L}_{\mathrm{DPO}}(\theta)=-\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}_{\text{pref}}}\log\sigma\!\left(\beta\left[\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}-\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\right]\right),
$$

其中括号内的量是两条回复对数比之差，乘以 $\beta$ 后等于隐式奖励之差 $r_\theta(x,y_w)-r_\theta(x,y_l)$。符号逐项说明如下。

| 符号 | 含义 |
|---|---|
| $\theta$ | 策略参数，训练中唯一被更新的参数 |
| $\pi_\theta(y\mid x)$ | 当前策略给出的回复概率，按 token 连乘 |
| $\pi_{\mathrm{ref}}(y\mid x)$ | 参考策略，由 SFT 模型复制并冻结，不参与求导 |
| $\beta$ | KL 正则强度，同时充当隐式奖励的尺度，单位为 nat |
| $\sigma$ | logistic 函数，$\sigma(u)=1/(1+e^{-u})$ |
| $y_w$ | 一对中被标注为更优的回复，下标 $w$ 取自 win |
| $y_l$ | 一对中被标注为更差的回复，下标 $l$ 取自 lose |
| $\mathcal{D}_{\text{pref}}$ | 成对偏好数据集，一对中的两条回复共享同一提示 $x$ |
| $h_\theta(x,y)$ | 对数比，$h_\theta(x,y)=\log\pi_\theta(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)$ |
| $u$ | 损失的自变量，$u=\beta\bigl(h_\theta(x,y_w)-h_\theta(x,y_l)\bigr)$ |
| $r^\star(x,y)$ | 由偏好数据隐含的真实奖励，未知，仅用于推导 |
| $r_\theta(x,y)$ | **隐式奖励**（implicit reward），$r_\theta(x,y)=\beta h_\theta(x,y)$ |
| $Z(x)$ | 配分函数，$Z(x)=\sum_{y}\pi_{\mathrm{ref}}(y\mid x)\exp\bigl(r^\star(x,y)/\beta\bigr)$ |

术语说明。**配分函数**（partition function）$Z(x)$ 指把未归一化的权重 $\pi_{\mathrm{ref}}(y\mid x)\exp\bigl(r^\star(x,y)/\beta\bigr)$ 求和得到的归一化常数；语言模型的回复空间大小为 $|\mathcal{V}|^{T}$，$Z(x)$ 无法枚举。**离线偏好优化**（offline preference optimization）指训练数据在训练开始前固定、训练中不再采集新回复的设定。**分布偏移**（distribution shift）指训练数据的分布与当前策略分布之间的差异。**偏好过拟合**（preference overfitting）指模型记住了训练对的具体措辞而非偏好方向。**长度归一化**（length normalization）指把序列对数概率除以回复 token 数，使不同长度的序列可比。

## 为什么重要

RLHF 把对齐拆成三个独立问题：训练奖励模型、在线采样、用 PPO 优化策略。每个问题都有自己的失败模式，且误差沿链条累积：奖励模型的长度偏差会被策略放大，策略的方差会使 KL 失控，KL 失控又会让奖励模型的外推误差进入梯度。工程上还要同时驻留四个模型，维护采样器、价值网络与奖励模型三套推理路径。

DPO 的出发点是：RLHF 的目标函数在给定奖励时存在闭式最优策略，因此可以把「奖励」从目标函数中消去，把对奖励的优化改写为对策略的优化。具体做法是把闭式解反解为奖励关于策略的表达式，代入 Bradley–Terry 偏好模型，配分函数在同一提示的两条回复相减时消去。结果是一个只依赖四个对数概率的二元分类损失。

这一改写带来三项直接后果。第一，训练不再需要采样：每个训练对只需对策略与参考模型各做两次前向，反向传播只经过策略。第二，训练目标与监督学习同构，损失曲线、学习率与早停的经验可以直接迁移，不需要 PPO 的裁剪、优势估计与价值网络。第三，KL 约束不再以惩罚项的形式出现，而是编码在参考模型与 $\beta$ 中；这既是优点也是局限，见第 8 节。

代价是数据效率的前提变了。RLHF 可以在训练中查询新的偏好，DPO 只能使用固定数据；当策略移动到数据未覆盖的区域时，损失对该区域没有约束。因此 DPO 的上限由偏好数据的覆盖范围决定，这一点与 [[数据集质量控制]] 的结论一致。

在本库的位置：本篇以 [[对齐-RLHF]] 的目标函数与闭式解为出发点，是同一目标的另一种求解路径；[[指令微调SFT]] 提供参考模型；[[损失函数]] 中的 logistic 损失与二元交叉熵是理解本篇梯度的前置；[[模型评估矩阵]] 给出留出偏好对与胜率的评估框架。

## 原理与推导

### 1 正则化奖励最大化

与 RLHF 相同，设真实奖励为 $r^\star(x,y)$，优化目标为

$$
\max_{\pi}\ \mathbb{E}_{x\sim\mathcal{D}}\left[\mathbb{E}_{y\sim\pi(\cdot\mid x)}\,r^\star(x,y)-\beta\,\mathrm{KL}\bigl(\pi(\cdot\mid x)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\bigr)\right].
$$

在 RLHF 中 $r^\star$ 由奖励模型 $r_\phi$ 近似；本篇把 $r^\star$ 视为给定，推导不依赖它是否可计算。目标中的期望取在 $\pi$ 上，KL 也取在 $\pi$ 上，因此每个提示 $x$ 的优化互不影响，可以逐 $x$ 求解。

### 2 最优策略的闭式解

固定 $x$，记 $\pi_y=\pi(y\mid x)$、$\pi_{\mathrm{ref},y}=\pi_{\mathrm{ref}}(y\mid x)$、$r_y=r^\star(x,y)$。在该提示上求解

$$
\max_{\{\pi_y\}}\ \sum_{y}\pi_y r_y-\beta\sum_{y}\pi_y\log\frac{\pi_y}{\pi_{\mathrm{ref},y}}
\quad\text{s.t.}\quad\sum_{y}\pi_y=1,\ \pi_y\ge 0.
$$

引入乘子 $\lambda$，构造拉格朗日函数

$$
\mathcal{L}(\pi,\lambda)=\sum_{y}\pi_y r_y-\beta\sum_{y}\pi_y\log\frac{\pi_y}{\pi_{\mathrm{ref},y}}+\lambda\left(1-\sum_{y}\pi_y\right).
$$

对单个分量 $\pi_y$ 求偏导。注意 $\frac{\partial}{\partial\pi_y}\bigl[\pi_y\log(\pi_y/\pi_{\mathrm{ref},y})\bigr]=\log(\pi_y/\pi_{\mathrm{ref},y})+1$，故

$$
\frac{\partial\mathcal{L}}{\partial\pi_y}=r_y-\beta\left(\log\frac{\pi_y}{\pi_{\mathrm{ref},y}}+1\right)-\lambda.
$$

令其为零：

$$
\log\frac{\pi_y}{\pi_{\mathrm{ref},y}}=\frac{r_y-\lambda}{\beta}-1.
$$

两边取指数，得 $\pi_y=\pi_{\mathrm{ref},y}\exp(r_y/\beta)\cdot\exp(-\lambda/\beta-1)$。常数因子由归一化条件确定：

$$
1=\sum_{y}\pi_y=\exp\!\left(-\frac{\lambda}{\beta}-1\right)\sum_{y}\pi_{\mathrm{ref},y}\exp\!\left(\frac{r_y}{\beta}\right)
=\exp\!\left(-\frac{\lambda}{\beta}-1\right)Z(x),
$$

其中

$$
Z(x)=\sum_{y}\pi_{\mathrm{ref}}(y\mid x)\exp\!\left(\frac{r^\star(x,y)}{\beta}\right).
$$

于是

$$
\pi^\star(y\mid x)=\frac{1}{Z(x)}\,\pi_{\mathrm{ref}}(y\mid x)\exp\!\left(\frac{r^\star(x,y)}{\beta}\right).
$$

唯一性由严格凹性给出：第一项对 $\pi$ 线性，第二项是 KL 的负值，KL 严格凸，故目标严格凹，驻点即全局最优。把 $\pi^\star$ 代回目标可得最优值 $\beta\log Z(x)$，推导中用到一阶条件 $r^\star(x,y)-\beta\log\frac{\pi^\star(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}=\beta\log Z(x)$。

$Z(x)$ 是对全部可能回复的求和，规模为 $|\mathcal{V}|^{T}$，不可计算。DPO 的关键观察是：只要不显式计算 $Z(x)$，它就不会成为障碍。

### 3 反解奖励

把最优策略的表达式两边取对数：

$$
\log\frac{\pi^\star(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}=\frac{r^\star(x,y)}{\beta}-\log Z(x).
$$

移项，得到奖励关于策略的表达式：

$$
r^\star(x,y)=\beta\log\frac{\pi^\star(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\log Z(x).
$$

该式说明：在最优策略处，奖励由两部分组成，一部分是策略相对参考策略的对数比乘以 $\beta$，另一部分是只依赖提示的常数 $\beta\log Z(x)$。第一项可计算，第二项不可计算，但它在同一提示内对所有回复相同。

### 4 代入 Bradley–Terry

Bradley–Terry 模型把偏好概率写成奖励差的 logistic 函数。对同一提示下的两条回复，

$$
\begin{aligned}
P(y_w\succ y_l\mid x)
&=\sigma\bigl(r^\star(x,y_w)-r^\star(x,y_l)\bigr)\\
&=\sigma\left(\beta\log\frac{\pi^\star(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}+\beta\log Z(x)
-\beta\log\frac{\pi^\star(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}-\beta\log Z(x)\right)\\
&=\sigma\left(\beta\left[\log\frac{\pi^\star(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}-\log\frac{\pi^\star(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\right]\right).
\end{aligned}
$$

$\beta\log Z(x)$ 在相减中消去。这一步依赖两条回复共享同一提示：若 $y_w$ 与 $y_l$ 来自不同提示，两个配分函数不同，无法相消，损失将包含不可计算的项。这是 DPO 数据构造必须保证「一对同提示」的原因。

把 $\pi^\star$ 替换为待优化的 $\pi_\theta$，对偏好数据取负对数似然，得到定义中的损失：

$$
\mathcal{L}_{\mathrm{DPO}}(\theta)=-\mathbb{E}_{(x,y_w,y_l)}\log\sigma\bigl(\beta[h_\theta(x,y_w)-h_\theta(x,y_l)]\bigr).
$$

该替换的合理性可以写成三步。第一步，Bradley–Terry 负对数似然是偏好概率的严格适当评分规则，其总体最优解满足 $\sigma\bigl(\beta[h_\theta(y_w)-h_\theta(y_l)]\bigr)=P(y_w\succ y_l\mid x)$ 对所有对成立。第二步，若数据确由 $r^\star$ 按 BT 生成，则 $P=\sigma(r^\star_w-r^\star_l)$，两式相等给出 $\beta[h_\theta(y_w)-h_\theta(y_l)]=r^\star_w-r^\star_l$。第三步，该等式对所有回复对成立意味着 $h_\theta(x,y)=r^\star(x,y)/\beta+c(x)$，即 $\pi_\theta\propto\pi_{\mathrm{ref}}\exp(r^\star/\beta)$，与第 2 节的闭式解一致。

需要说明边界。上述论证在全体分布上进行；参数化族不能表示任意分布时，DPO 得到的是族内使 BT 似然最大的元素，可理解为 $\pi^\star$ 在该族上的近似。近似误差与数据覆盖误差是离线方法的两项固有误差。此外，推导假设偏好由 BT 模型生成且不存在平局，真实标注中的平局与噪声会使目标成为近似。

```mermaid
flowchart LR
    A["偏好对 x y_w y_l"] --> B["策略前向 log pi_theta"]
    A --> C["参考前向 log pi_ref 冻结"]
    B --> D["按回复位置取 log-prob"]
    D --> E["对数比 h_w 与 h_l"]
    C --> E
    E --> F["u = beta 乘 h_w 减 h_l"]
    F --> G["损失 -log sigmoid u"]
    G --> H["梯度只回传 theta"]
```

### 5 逐符号解释与 β 的作用

损失中每个量的角色如下。

$h_\theta(x,y_w)-h_\theta(x,y_l)$ 度量当前策略相对参考策略更偏好 $y_w$ 的程度。若策略在 $y_w$ 上相对参考策略的概率高于 $y_l$，该差为正，损失小于 $\log 2$；若相反，损失大于 $\log 2$。

$\beta$ 是唯一的尺度参数，它有三个同时生效的作用。

第一，在原始目标中 $\beta$ 是 KL 系数，决定最优策略偏离参考策略的程度。$\beta$ 越大，$\pi^\star$ 越接近 $\pi_{\mathrm{ref}}$；$\beta$ 越小，$\pi^\star$ 越集中于 $r^\star$ 的高值区域。

第二，在损失中 $\beta$ 是对数比差的乘子，决定 sigmoid 的工作区间。固定 $h$ 的差为 $\Delta_h$ 时，$u=\beta\Delta_h$。$\beta$ 过大时 $|u|$ 很快进入饱和区，$\sigma(-u)$ 接近零，梯度消失；$\beta$ 过小时 $u$ 接近零，损失接近 $\log 2$，梯度权重 $\sigma(-u)$ 接近 $0.5$ 但整体步长受 $\beta$ 线性压缩。

第三，梯度对 $\beta$ 的依赖不是单调的。梯度尺度正比于 $\beta\sigma(-\beta\Delta_h)$。令 $x=\beta\Delta_h$，该函数在 $x\sigma(x)=1$ 处取极大，解得 $x\approx1.278$。因此对固定的对数比差，存在一个最优的 $\beta\approx1.278/\Delta_h$；$\beta$ 小于该值时步长随 $\beta$ 增大，大于该值时步长随 $\beta$ 减小。

取值上，$\beta=0.1$ 是常见起点，常用区间为 $0.01$ 至 $0.5$。该数值必须与对数概率的归一化方式一起解释：若 $h$ 是整条回复上逐 token 对数比之和，长度 500 的回复其 $|h|$ 可达数十 nat，$\beta=0.1$ 使 $|u|$ 远超饱和点；若 $h$ 是逐 token 平均，$|h|$ 通常在 1 nat 量级，$\beta=0.1$ 处于有效区间。这一点是 $\beta$ 与长度归一化必须联合调节的原因。

### 6 梯度分析

记 $h_w=h_\theta(x,y_w)$、$h_l=h_\theta(x,y_l)$、$u=\beta(h_w-h_l)$，损失为 $\mathcal{L}=-\log\sigma(u)$。对 $u$ 求导：

$$
\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}u}=-\frac{1}{\sigma(u)}\cdot\sigma(u)\bigl(1-\sigma(u)\bigr)=-(1-\sigma(u))=-\sigma(-u).
$$

对参数求导时，参考模型的项为零，因为 $\pi_{\mathrm{ref}}$ 不依赖 $\theta$：

$$
\frac{\partial u}{\partial\theta}=\beta\left(\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\right).
$$

两者相乘：

$$
\nabla_\theta\mathcal{L}=-\beta\,\sigma(-u)\left[\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\right].
$$

梯度下降的更新方向为其负方向：

$$
\theta\leftarrow\theta+\eta\,\beta\,\sigma(-u)\left[\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\right].
$$

该式包含三个可分别解释的因子。

$\sigma(-u)$ 是「错得越远、权重越大」的因子。模型把 $y_l$ 排得比 $y_w$ 越高，$u$ 越负，$\sigma(-u)$ 越接近 1；模型已经正确且间隔很大时，$\sigma(-u)$ 接近 0，该对样本几乎不再产生梯度。这与 logistic 回归的行为一致：损失随间隔增大而饱和，不追求无限大的间隔。

$\beta$ 是全局步长因子，其非单调性已在第 5 节说明。

$\nabla\log\pi_\theta(y)=\nabla\pi_\theta(y)/\pi_\theta(y)$ 使低概率回复的对数概率对参数更敏感：在 $\nabla\pi_\theta$ 量级相近时，相同的参数步长在概率为 $0.01$ 的回复上产生的对数概率变化大于概率为 $0.5$ 的回复。这解释了 DPO 能在少量步数内显著改变稀有回复的概率。

梯度只作用于两条回复的对数概率差。若一次更新同时降低了 $h_w$ 与 $h_l$ 但使差值增大，损失仍然下降。因此 $y_l$ 的绝对概率可能上升，$y_w$ 的绝对概率也可能下降，只要 $h_l$ 上升得更少或下降得更多。这一性质在训练中是允许的，但它意味着不能把「chosen 对数概率上升」当作 DPO 正常训练的判据，见第 8 节的似然位移。

训练完成后，$r_\theta(x,y)=\beta h_\theta(x,y)$ 可作为排序函数使用：对同一提示采样多条回复，按 $r_\theta$ 排序。该用法不需要奖励模型，但只在训练数据覆盖的分布附近可靠。

### 7 与 PPO 的对比

表 1 DPO 与 PPO 的结构对比

| 维度 | RLHF 的 PPO | DPO |
|---|---|---|
| 模型数量 | 4：策略、参考、奖励、价值 | 2：策略、参考 |
| 奖励来源 | 显式奖励模型 $r_\phi$ | 隐式 $r_\theta=\beta\log(\pi_\theta/\pi_{\mathrm{ref}})$ |
| 数据 | 在线采样，每批新回复 | 固定偏好对 |
| 每步计算 | 采样 + 四次前向 + 两次反向 | 两次前向 + 一次反向 |
| KL 控制 | 显式惩罚项与自适应 $\beta$ | 由闭式解编码，无显式项 |
| 稳定性 | 对 $\beta$、裁剪、学习率敏感 | 与监督学习同构 |
| 显存 | 224 GB 量级（7B） | 28 GB 权重 + 激活 |
| 主要失败模式 | 奖励黑客、方差、发散 | 分布偏移、偏好过拟合 |

表中显存量按 7B、bf16 估计：两个模型权重共 28 GB，可训练参数只有策略的一份，Adam 状态与 fp32 主权重共 84 GB，合计约 112 GB；若用 LoRA 则进一步下降。对比 [[对齐-RLHF]] 表 2 的四模型配置，DPO 的显存主要省在奖励模型、价值网络与它们各自的优化器状态上。

### 8 局限

**离线数据与分布偏移**。DPO 的推导在最优点处成立，而最优点可能落在数据未覆盖的区域。偏好对由某个行为策略产生，通常是 SFT 模型；训练开始后 $\pi_\theta$ 离开该分布，损失对新的回复没有约束。第 4 节第三步的论证要求等式对所有回复对成立，离线数据只提供有限对，未覆盖方向的隐式奖励是外推。

**偏好过拟合**。损失中没有显式的 KL 项。闭式解只在最优点处保证 KL 约束，优化过程中没有任何项把 $h$ 拉回。logistic 损失随间隔增大而减小但永不为零，因此训练轮数增加时 $|h_w-h_l|$ 可以持续增大。可观测的迹象是训练对准确率趋近 1、留出对准确率下降、隐式奖励的间隔分布右移、输出长度上升。

**长度利用**。$h$ 是逐 token 对数比之和，其绝对值随长度增长。若标注者偏好更长的回复，模型可以通过增加长度改变 $h_w$；若同一对中两条回复长度不同，长度差会通过求和进入 $u$，与偏好信号混在一起。求和形式使长样本在批内梯度中占更大权重，这一点在第一段代码的输出中可以直接读出。可检验的度量是 $u$ 与长度差的相关系数，以及按长度分桶的留出准确率。

**似然位移**。梯度只约束差值，不约束绝对水平。训练中可能出现 $h_w$ 与 $h_l$ 同时下降而差值上升的情形，表现为 chosen 回复的对数概率下降。对偏好目标而言这不违反最优性，但生成质量可能受损。监控时应同时记录 $\log\pi_\theta(y_w)$ 与 $\log\pi_\theta(y_l)$ 的绝对值，而不只看间隔。

**对数据噪声敏感**。平局、标注者分歧、位置偏差都会直接进入损失。BT 模型不建模平局，把平局当作随机胜负会引入对称噪声，使 $|u|$ 被系统性压缩。

**参考模型的质量决定上限**。$\pi^\star$ 以 $\pi_{\mathrm{ref}}$ 为支撑集；若参考模型几乎不产生某类正确回复，$\exp(r^\star/\beta)$ 也无法把它抬到高概率，因为 $\pi^\star$ 在 $\pi_{\mathrm{ref}}$ 为零处为零。

### 9 变体：IPO、KTO、ORPO

三个变体各自移除 DPO 的一个假设或成本。

**IPO**（identity preference optimization）处理的是间隔无界问题。DPO 的 logistic 损失在完全可分的数据上使 $|u|\to\infty$，似然的上确界在有限参数处取不到，此时数值解由正则化或早停决定。IPO 把损失换成对数比差上的平方损失，并把目标边际设为有限值：

$$
\mathcal{L}_{\mathrm{IPO}}=\mathbb{E}\left[\left(h_\theta(x,y_w)-h_\theta(x,y_l)-\frac{1}{2\beta}\right)^{2}\right].
$$

与 DPO 的差别在梯度形状：间隔小于目标时梯度推动其增大，大于目标时梯度反向把它拉回，因此最优点处间隔有限。代价是平方损失对异常对的惩罚更重，且目标边际 $1/(2\beta)$ 随 $\beta$ 变化，需要与 $\beta$ 联合调节。

**KTO**（Kahneman–Tversky optimization）处理的是数据形态。成对数据要求同一提示下两条回复，采集成本高；二元反馈只需一条回复加一个好坏标签。KTO 用两个单边项构成损失：

$$
\mathcal{L}_{\mathrm{KTO}}=\mathbb{E}_{y_w}\bigl[w_w\bigl(1-\sigma(\beta(h_\theta(x,y_w)-z_0))\bigr)\bigr]
+\mathbb{E}_{y_l}\bigl[w_l\bigl(1-\sigma(\beta(z_0-h_\theta(x,y_l)))\bigr)\bigr],
$$

其中 $z_0$ 是策略与参考策略之间 KL 的滑动估计，作为参考点，$w_w$ 与 $w_l$ 是按类别频率设置的权重。两项共用同一参考点，使损失对 $h$ 的整体平移不敏感，从而允许单条样本在没有配对的情况下提供信号。

**ORPO**（odds ratio preference optimization）处理的是模型数量。它去掉参考模型，把偏好项直接加到 SFT 损失上：

$$
\mathcal{L}_{\mathrm{ORPO}}=\mathcal{L}_{\mathrm{SFT}}+\lambda\,\mathbb{E}\left[-\log\sigma\bigl(\log \mathrm{odds}_\theta(y_w\mid x)-\log \mathrm{odds}_\theta(y_l\mid x)\bigr)\right],
$$

其中 $\mathrm{odds}_\theta(y\mid x)=\pi_\theta(y\mid x)/\bigl(1-\pi_\theta(y\mid x)\bigr)$。比值形式使好坏两条回复的惩罚耦合，无需参考模型即可抑制被拒回复。由于 $\pi_\theta(y\mid x)$ 是整条序列的概率，实现时通常用长度归一化后的对数概率计算比值。

表 2 四种方法的结构对比

| 方法 | 监督信号 | 参考模型 | 损失形状 | 主要消除的限制 |
|---|---|---|---|---|
| DPO | 成对 | 需要 | $-\log\sigma(u)$ | 奖励模型与在线采样 |
| IPO | 成对 | 需要 | $(h_w-h_l-c)^2$ | 间隔无界 |
| KTO | 单条好/坏 | 需要 | 两个单边 sigmoid | 成对数据采集 |
| ORPO | 成对 + SFT | 不需要 | SFT 加 odds 比值项 | 参考模型显存 |

四者的共同点是都用 $\log\pi_\theta-\log\pi_{\mathrm{ref}}$ 或 $\log\pi_\theta$ 作为隐式奖励的载体，差别在于如何把该载体映射为损失。表中所列是结构形式，具体实现的归一化、权重与数值稳定处理各不相同。

### 10 训练细节

**数据构造**。每条样本是一个三元组，两条回复必须共享同一提示。构造时容易出错的地方有三处：交换 $y_w$ 与 $y_l$ 后忘记同步标签；把两条不同提示的回复配成一对；保留平局样本并按随机胜负处理。前两处会破坏配分函数相消的前提或直接反转梯度方向。

**参考模型**。从 SFT 检查点复制，设置为推理模式并关闭梯度。若用 LoRA 训练，参考模型可设为基座模型并停用适配器，效果等价于 SFT 模型（见 [[LoRA与QLoRA]]）。参考模型的对数概率在训练中不变，可以预计算并缓存；代价是数据一旦增删就必须重算。

**超参数**。$\beta$ 从 $0.1$ 起调；全参数训练的学习率在 $5\times10^{-7}$ 至 $5\times10^{-6}$，比 SFT 小两个量级；LoRA 可在 $1\times10^{-5}$ 至 $5\times10^{-5}$。批大小按对数计，常见 8 至 64，配合梯度累积。训练轮数 1 至 2，轮数增加带来的是偏好过拟合而不是更好的对齐。最大长度 1024 至 2048，提示与回复的截断策略对 chosen 与 rejected 必须一致。

**长度归一化**。两种写法：对回复 token 的对数概率求和，或除以回复 token 数取平均。求和形式的梯度偏向长回复，且在长度差大时把长度编码进 $u$；平均形式使不同长度的样本权重接近，但改变了隐式奖励的单位，需要重新调 $\beta$。同一实验内必须固定一种写法，评估时用同一种。

**掩码与补齐**。提示 token 与 padding 位置不进入对数概率。同一批内 chosen 与 rejected 通常补齐到相同长度；若两者 padding 数不同，未掩码会使 $u$ 偏置。稳妥做法是把掩码位置的对数概率显式置零并在求和中排除，同时在训练前断言没有有效位置携带 $-100$ 标签。

**监控项**。训练损失、留出对准确率、隐式奖励间隔的均值与分位数、chosen 与 rejected 的对数概率绝对值、输出长度、以及相对参考模型的 KL 估计。任一单项都不足以判断训练是否健康：损失下降而留出准确率下降是过拟合，间隔增大而对数概率同时塌缩是似然位移。

## 关键直觉

> [!tip] DPO 把「训练奖励模型再用强化学习优化策略」两个阶段压缩为一个分类问题：隐式奖励 $\beta\log(\pi_\theta/\pi_{\mathrm{ref}})$ 的差直接充当 Bradley–Terry 的分数差，同一提示下的配分函数在相减时消去，因此既不需要计算 $Z(x)$，也不需要在线采样。该表述与定义中的损失一致：损失的输入只有四个对数概率，输出是一个二分类的负对数似然；与 [[对齐-RLHF]] 的目标相比，被消去的是奖励模型与采样循环，被保留的是 KL 约束，它以参考模型与 $\beta$ 的形式留在损失内部。

## 例子与代码

先手算一对样本。设 $\beta=0.1$，四个对数概率为

$$
\log\pi_\theta(y_w)=-1.20,\quad \log\pi_{\mathrm{ref}}(y_w)=-1.50,\quad
\log\pi_\theta(y_l)=-1.10,\quad \log\pi_{\mathrm{ref}}(y_l)=-1.00.
$$

于是 $h_w=-1.20-(-1.50)=0.30$，$h_l=-1.10-(-1.00)=-0.10$，$u=0.1\times(0.30+0.10)=0.04$，

$$
\sigma(0.04)=0.509999,\qquad \mathcal{L}=-\log\sigma(0.04)=0.673347.
$$

梯度权重为 $\beta\sigma(-u)=0.1\times(1-0.509999)=0.049000$。若把模型的两个判断反过来，取 $\log\pi_\theta(y_w)=-1.80$、$\log\pi_\theta(y_l)=-0.90$，则 $h_w=-0.30$、$h_l=0.10$、$u=-0.04$，损失变为 $0.713347$，权重变为 $0.051000$。两例的损失相差 $0.04$，但梯度方向相反。

表 3 给出不同 $u$ 下的损失与梯度权重。

| $u$ | $\sigma(u)$ | $-\log\sigma(u)$ | $\beta\sigma(-u)$ |
|---|---|---|---|
| −2 | 0.1192 | 2.1269 | 0.0881 |
| −1 | 0.2689 | 1.3133 | 0.0731 |
| 0 | 0.5000 | 0.6931 | 0.0500 |
| 1 | 0.7311 | 0.3133 | 0.0269 |
| 2 | 0.8808 | 0.1269 | 0.0119 |

损失从 $2.13$ 降到 $0.13$，权重从 $0.088$ 降到 $0.012$。后者说明已正确且间隔大的样本几乎不再产生梯度，这是 logistic 损失的饱和特性。它与合页损失的差别在于：合页损失在间隔之外梯度恰为零，logistic 损失只是渐近趋零，因此训练后期仍有微小梯度，见 [[损失函数]]。

第一段代码用 PyTorch 实现带掩码的 DPO 损失，并按可控的偏好差距扫描。

```python
"""DPO 损失：序列 log-prob、长度掩码与 beta 扫描（PyTorch 2.x）。"""
import torch
import torch.nn.functional as F

V, L = 5, 6
base = torch.tensor([0.0, 0.4, -0.2, 0.2, 0.6])          # 固定的词表先验，便于手算
labels_w = torch.tensor([[-100, -100, 3, 1, 4, 2],
                         [-100, -100, 2, 0, -100, -100]])
labels_l = torch.tensor([[-100, -100, 0, 3, 2, 1],
                         [-100, -100, 4, 1, -100, -100]])


def build_logits(labels, gain):
    """位置 t 的 logits 预测 labels[t+1]；仅在被预测 token 上加 gain。"""
    B, L = labels.shape
    logits = torch.zeros(B, L, V)
    for b in range(B):
        for t in range(L - 1):
            tgt = int(labels[b, t + 1])
            if tgt < 0:                                    # 提示或 padding 位置
                continue
            logits[b, t] = base
            logits[b, t, tgt] += gain
    return logits


def completion_logprob(logits, labels, average=False):
    """返回逐位置 log-prob、每条序列的聚合值与有效 token 数。"""
    shift_logits = logits[:, :-1].float()                  # 预测位置 t
    shift_labels = labels[:, 1:]                           # 被预测的 token t+1
    valid = (shift_labels != -100).float()
    safe = shift_labels.clamp(min=0)                       # -100 换成 0 才能 gather
    tok = F.log_softmax(shift_logits, dim=-1).gather(-1, safe.unsqueeze(-1)).squeeze(-1)
    tok = tok * valid                                      # 屏蔽位置置零
    n = valid.sum(-1).clamp(min=1)
    total = tok.sum(-1)
    return tok, (total / n if average else total), n


def dpo_loss(logits_w, logits_l, labels_w, labels_l, ref_w, ref_l,
             beta=0.1, average=False):
    _, s_w, _ = completion_logprob(logits_w, labels_w, average)
    _, s_l, _ = completion_logprob(logits_l, labels_l, average)
    _, r_w, _ = completion_logprob(ref_w, labels_w, average)
    _, r_l, _ = completion_logprob(ref_l, labels_l, average)
    u = beta * ((s_w - r_w) - (s_l - r_l))                 # 隐式奖励差
    return -F.logsigmoid(u).mean(), u


for g in (0.0, 1.0, 2.0, 3.0):
    lw = build_logits(labels_w, g)                         # 提高偏好回复
    ll = build_logits(labels_l, -g)                        # 压低被拒回复
    rw = build_logits(labels_w, 0.0)
    rl = build_logits(labels_l, 0.0)
    loss, u = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1)
    loss_avg, _ = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1, average=True)
    print(f"g={g:.1f} u={[round(v, 4) for v in u.tolist()]} "
          f"loss={loss.item():.6f} loss_avg={loss_avg.item():.6f}")

# 梯度检查：偏好样本目标位置的对数概率上升，故 logits 梯度应为负
lw = build_logits(labels_w, 1.0).requires_grad_(True)
loss, _ = dpo_loss(lw, build_logits(labels_l, -1.0), labels_w, labels_l,
                   build_logits(labels_w, 0.0), build_logits(labels_l, 0.0))
loss.backward()
valid = labels_w[:, 1:] != -100
tgt = labels_w[:, 1:].clamp(min=0)
grad_at_tgt = lw.grad[:, :-1].gather(-1, tgt.unsqueeze(-1)).squeeze(-1)
print(f"偏好样本目标位置梯度全为负: {bool((grad_at_tgt[valid] < 0).all())}")
```

预期输出如下。

```text
g=0.0 u=[0.0, 0.0] loss=0.693147 loss_avg=0.693147
g=1.0 u=[0.8895, 0.4] loss=0.428606 loss_avg=0.593133
g=2.0 u=[1.8568, 0.8992] loss=0.243256 loss_avg=0.490579
g=3.0 u=[2.7502, 1.3601] loss=0.145193 loss_avg=0.408589
偏好样本目标位置梯度全为负: True
```

这段代码在做什么：`build_logits` 按标签把每条回复的目标 token 填上基础 logits 并加上 `gain`，构造出可精确复算的输入；`completion_logprob` 左移一位取 logits、右移一位取标签，用 `-100` 屏蔽提示与 padding，再分别返回求和与平均两种聚合；`dpo_loss` 计算 $u$ 并取负对数 sigmoid；循环中 `gain` 增大表示当前策略比参考策略更偏好 $y_w$、更不偏好 $y_l$，$u$ 随之增大。

为什么这样验证：$g=0$ 时策略与参考模型完全相同，四个对数比为零，$u=0$，损失恰为 $\log 2=0.693147$。这是实现正确性的必要条件：若 $\beta$ 被作用在两个 sigmoid 上，例如 $\sigma(\beta h_w)-\sigma(\beta h_l)$，该行不再等于 $\log 2$。$g$ 增大时 $u$ 单调上升、损失单调下降，两组样本的 $u$ 都为正，说明区分方向正确。末尾的梯度检查确认偏好样本目标位置的 logits 梯度全为负，即梯度下降会提高其对数概率。

求和与平均的差别体现在两行之间。第 0 对样本有 4 个回复 token，第 1 对有 2 个，同样的逐 token 增益使求和形式的 $u$ 相差约 $2.2$ 倍：$0.8895$ 对 $0.4$。按平均归一化后两者变为 $0.2224$ 与 $0.2000$，接近相等。这说明求和形式让长样本主导批内梯度，是长度偏差的直接来源。

去掉会怎样：去掉掩码，padding 位置会以被截断为 0 的标签参与 gather，每个位置贡献约 $-\log 5=-1.61$ 的对数概率。若 chosen 与 rejected 的 padding 数相同，该常数在 $u$ 中相消；一旦两者不同，$u$ 就会出现与偏好无关的偏移。去掉 `.float()`，logits 以 fp16 保存时 `log_softmax` 的中间结果可能溢出，$u$ 随之出现 inf 或 nan。把 $\beta$ 作用在两个 sigmoid 上，写成 $\sigma(\beta h_w)-\sigma(\beta h_l)$，$g=0$ 时损失不再等于 $\log 2$，且梯度不再对应偏好差。

第二段检查随机 logits 下的单调性，避免结论依赖上面选定的数值。

```python
"""随机 logits 下的单调性检查（紧接上面的定义）。"""
def boost(logits, labels, gain):
    out = logits.clone()
    for b in range(logits.shape[0]):
        for t in range(logits.shape[1] - 1):
            tgt = int(labels[b, t + 1])
            if tgt >= 0:
                out[b, t, tgt] += gain
    return out


torch.manual_seed(0)
rand_w = torch.randn(2, L, V)
rand_l = torch.randn(2, L, V)
ref_w = build_logits(labels_w, 0.0)
ref_l = build_logits(labels_l, 0.0)
losses = []
for g in (0.0, 0.5, 1.0, 1.5):
    loss, _ = dpo_loss(boost(rand_w, labels_w, g), boost(rand_l, labels_l, -g),
                       labels_w, labels_l, ref_w, ref_l, beta=0.1)
    losses.append(loss.item())
print(f"随机 logits 下损失严格递减: {all(losses[i] > losses[i + 1] for i in range(3))}")
```

预期输出为一行：`随机 logits 下损失严格递减: True`。具体损失值依赖随机种子与框架版本，因此只断言单调关系。该性质由第 6 节的梯度给出：提高 $y_w$ 的目标 logit 使 $h_w$ 严格增大，压低 $y_l$ 使 $h_l$ 严格减小，故 $u$ 严格增大，$-\log\sigma(u)$ 严格减小。

第三段是 TRL 的 `DPOTrainer` 配置。

```python
"""TRL DPOTrainer 配置片段（TRL 0.20+，transformers 4.46+）。"""
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOConfig, DPOTrainer

model_id = "Qwen/Qwen2.5-1.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
policy = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="bfloat16",
    attn_implementation="flash_attention_2",   # 未安装 flash-attn 时删除该参数
)
ref = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")
ref.eval()
for p in ref.parameters():
    p.requires_grad_(False)                    # 参考模型不参与优化

ds = load_dataset("json", data_files={"train": "data/pref_train.jsonl",
                                      "validation": "data/pref_val.jsonl"})

args = DPOConfig(
    output_dir="runs/dpo-qwen25-1.5b",
    beta=0.1,                                 # 与 KL 系数同一个 beta
    loss_type="sigmoid",                      # 对应本篇的 -log sigmoid
    label_smoothing=0.0,                      # 标注噪声大时可设 0.05~0.1
    max_length=2048,
    max_prompt_length=1024,
    precompute_ref_log_probs=True,            # 参考模型冻结，可预计算并释放
    per_device_train_batch_size=2,            # 按对数计
    gradient_accumulation_steps=8,            # 有效批 = 2 x 8 x 卡数
    learning_rate=5e-7,                       # 全参数；LoRA 可用 1e-5 量级
    num_train_epochs=1,                       # 轮数增加易偏好过拟合
    lr_scheduler_type="cosine",
    warmup_ratio=0.1,
    max_grad_norm=1.0,
    bf16=True,
    gradient_checkpointing=True,
    optim="adamw_torch",
    logging_steps=10,
    eval_strategy="steps",                    # 旧版字段名为 evaluation_strategy
    eval_steps=100,
    save_strategy="steps",
    save_steps=100,
    save_total_limit=2,
)

trainer = DPOTrainer(
    model=policy,
    ref_model=ref,
    args=args,
    train_dataset=ds["train"],
    eval_dataset=ds["validation"],
    processing_class=tokenizer,               # 旧版字段名为 tokenizer
)
trainer.train()
trainer.save_model("runs/dpo-qwen25-1.5b/final")
```

这段配置在做什么：`beta` 与损失中的 $\beta$ 是同一个量；`loss_type="sigmoid"` 对应本篇的 $-\log\sigma(u)$；`precompute_ref_log_probs=True` 把参考模型的对数概率离线算好，训练循环只需策略前向，显存与时间都下降；`learning_rate=5e-7` 与 `num_train_epochs=1` 对应第 10 节给出的起点；`eval_strategy` 与 `save_strategy` 同步，便于按留出损失选检查点。

为什么这样设：DPO 的每次更新同时改变整条回复上每个 token 的概率，单步影响面比 SFT 的逐 token 交叉熵更大，因此学习率取 $5\times10^{-7}$ 量级，避免一步把策略推离参考模型过远。参考模型显式关闭梯度并置于 `eval()`，否则 dropout 会让两次前向的参考对数概率不同，$u$ 带噪。`precompute_ref_log_probs` 之后参考模型仍占用显存直到训练器释放，数据若在训练前被过滤，需要重新构建数据集并重算。

去掉会怎样：不设 `max_prompt_length`，超长提示会挤占回复的 token 预算，导致 chosen 与 rejected 被截断到不同长度；`label_smoothing=0` 在含平局的数据上会使模型过度自信；`num_train_epochs` 设为 5 时，训练损失继续下降但留出对准确率通常在第二轮后回落，输出长度同时上升。

## 易错点

> [!warning] 以下六条均可在损失曲线、梯度检查或数据抽查中直接验证。
> 1. $\beta$ 放错位置：写成 $\sigma(\beta h_w)-\sigma(\beta h_l)$、$\sigma(h_w-h_l)$，或只对一项乘 $\beta$。正确形式是 $\sigma\bigl(\beta(h_w-h_l)\bigr)$。前两种写法在策略与参考完全相同的输入上损失不等于 $\log 2=0.6931$；只对一项乘 $\beta$ 的写法在该自检中仍给出 $\log 2$，需要进一步核对 $u$ 与 $h_w-h_l$ 的比例是否恰为 $\beta$。
> 2. 参考模型带梯度：`ref_model` 与策略指向同一对象、忘记 `requires_grad_(False)`、或停在训练模式。前两者使 $h\equiv0$，损失恒为 $\log 2$、梯度为零；后者使参考对数概率随 dropout 抖动。验证方法是连续两次计算同一批的参考对数概率，应逐位相同，且参考参数 `grad` 全为 `None`。
> 3. 序列对数概率未按长度归一化：求和形式使长回复的 $|h|$ 更大，批内梯度被长样本主导；同一对中两条回复长度不同时，长度差直接进入 $u$。验证方法是计算 $u$ 与长度差的相关系数，并在留出集上按长度分桶看准确率；若某长度桶接近随机，说明长度成分过强。
> 4. padding 计入：标签中的 $-100$ 未屏蔽，或被 `clamp` 成 0 后仍参与求和，每个位置贡献约 $-\log|\mathcal{V}|$。当 chosen 与 rejected 的 padding 数相同时该常数在 $u$ 中相消，因此小批量自测可能发现不了；一旦两条序列长度不同就会产生与偏好无关的偏移。验证方法是在 `dpo_loss` 中断言所有参与求和的位置 `labels != -100`。
> 5. 正负样本顺序颠倒：交换 $y_w$ 与 $y_l$ 后 $u$ 变号，损失仍从 $\log 2$ 附近开始下降，曲线形状正常，但模型学到的方向相反。验证方法是训练后在留出对上计算 $h_w-h_l$ 的均值，应显著为正；若为负，检查数据构造中的字段映射。
> 6. 把 DPO 当作带显式 KL 的方法：损失中没有 KL 项，$\beta$ 只在最优点处通过闭式解对应 KL 系数。训练中途无法靠增大 $\beta$ 把策略拉回参考模型，能做的只有降低学习率、减少轮数、早停或补充覆盖数据。验证方法是每隔若干步估计 $\mathrm{KL}(\pi_\theta\|\pi_{\mathrm{ref}})$，若它随训练单调上升而留出准确率不再提高，应立即停止。

## 关联笔记

- 前置 [[对齐-RLHF]]：本篇的目标函数、KL 系数与闭式解均来自该篇，该篇的 PPO 流程是对同一目标的在线求解路径。
- 前置 [[指令微调SFT]]：参考模型与策略初始化都来自 SFT 检查点，SFT 的输出分布决定 DPO 可用的概率质量。
- 前置 [[损失函数]]：DPO 损失是带 logits 的二元交叉熵的变形，logistic 损失的饱和行为直接决定梯度权重 $\sigma(-u)$。
- 对照 [[数据集质量控制]]：偏好对的去重、平局处理与标注一致性决定 DPO 的上限，离线方法对该数据的依赖强于 SFT。
- 对照 [[模型评估矩阵]]：留出对准确率、隐式奖励间隔与成对胜率回答不同问题，该篇给出选择评估指标的框架。

## 达标检测

- [ ] 从 KL 正则目标出发，写出拉格朗日函数与一阶条件，推出 $\pi^\star\propto\pi_{\mathrm{ref}}\exp(r^\star/\beta)$，并说明 $Z(x)$ 的来源。
- [ ] 把 $\pi^\star$ 反解为 $r^\star$，说明 $\beta\log Z(x)$ 为什么在成对比较中消去；若两条回复来自不同提示，损失会多出什么项。
- [ ] 写出 DPO 损失并对 $\theta$ 求梯度，分别说明 $\sigma(-u)$、$\beta$ 与 $1/\pi_\theta$ 三个因子的作用。
- [ ] 手算 $\beta=0.1$、$h_w=0.30$、$h_l=-0.10$ 时的 $u$、$\sigma(u)$、损失与梯度权重；再把两条回复互换，比较两个结果。
- [ ] 运行第一段代码，把 `average` 改为 `True`，解释 $u$ 与损失的变化；再令第 1 对样本的 rejected 长度为 3，说明求和形式下会发生什么。
- [ ] 说明 $\beta$ 过大与过小各自的失效模式，并解释为什么梯度尺度 $\beta\sigma(-\beta\Delta_h)$ 对 $\beta$ 不是单调的。
- [ ] 比较 IPO、KTO、ORPO 与 DPO 的监督信号、模型数量与损失形状，指出每个变体消除了哪一条限制。
- [ ] 给定一段错误的实现「$\sigma(\beta h_w)-\sigma(\beta h_l)$」，构造一组输入使该实现与正确实现的损失差超过 $0.2$，并说明如何用 $g=0$ 的自检发现它。

## 参考来源

- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 2 至 4 节的闭式解、奖励反解与配分函数相消，第 6 节的梯度分析，第 8 节的局限。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 1 节的目标函数与第 7 节 PPO 侧的对比维度。
- Hugging Face TRL 官方文档（`DPOTrainer`、`DPOConfig`、`loss_type` 与参考模型配置说明） —— 对应第 10 节的训练细节与第三段配置。
- 张奇等,《大规模语言模型：从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 1 节的正则化目标、第 8 节的分布偏移讨论。
- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 3 章 —— 对应 KL 散度与拉格朗日乘子法的定义。
