DPO与偏好优化
定义
直接偏好优化(Direct Preference Optimization,DPO)指不经显式奖励模型与强化学习、直接用成对偏好数据以二元分类损失优化语言模型的方法。其损失为
其中括号内的量是两条回复对数比之差,乘以 后等于隐式奖励之差 。符号逐项说明如下。
| 符号 | 含义 |
|---|---|
| 策略参数,训练中唯一被更新的参数 | |
| 当前策略给出的回复概率,按 token 连乘 | |
| 参考策略,由 SFT 模型复制并冻结,不参与求导 | |
| KL 正则强度,同时充当隐式奖励的尺度,单位为 nat | |
| logistic 函数, | |
| 一对中被标注为更优的回复,下标 取自 win | |
| 一对中被标注为更差的回复,下标 取自 lose | |
| 成对偏好数据集,一对中的两条回复共享同一提示 | |
| 对数比, | |
| 损失的自变量, | |
| 由偏好数据隐含的真实奖励,未知,仅用于推导 | |
| 隐式奖励(implicit reward), | |
| 配分函数, |
术语说明。配分函数(partition function) 指把未归一化的权重 求和得到的归一化常数;语言模型的回复空间大小为 , 无法枚举。离线偏好优化(offline preference optimization)指训练数据在训练开始前固定、训练中不再采集新回复的设定。分布偏移(distribution shift)指训练数据的分布与当前策略分布之间的差异。偏好过拟合(preference overfitting)指模型记住了训练对的具体措辞而非偏好方向。长度归一化(length normalization)指把序列对数概率除以回复 token 数,使不同长度的序列可比。
为什么重要
RLHF 把对齐拆成三个独立问题:训练奖励模型、在线采样、用 PPO 优化策略。每个问题都有自己的失败模式,且误差沿链条累积:奖励模型的长度偏差会被策略放大,策略的方差会使 KL 失控,KL 失控又会让奖励模型的外推误差进入梯度。工程上还要同时驻留四个模型,维护采样器、价值网络与奖励模型三套推理路径。
DPO 的出发点是:RLHF 的目标函数在给定奖励时存在闭式最优策略,因此可以把「奖励」从目标函数中消去,把对奖励的优化改写为对策略的优化。具体做法是把闭式解反解为奖励关于策略的表达式,代入 Bradley–Terry 偏好模型,配分函数在同一提示的两条回复相减时消去。结果是一个只依赖四个对数概率的二元分类损失。
这一改写带来三项直接后果。第一,训练不再需要采样:每个训练对只需对策略与参考模型各做两次前向,反向传播只经过策略。第二,训练目标与监督学习同构,损失曲线、学习率与早停的经验可以直接迁移,不需要 PPO 的裁剪、优势估计与价值网络。第三,KL 约束不再以惩罚项的形式出现,而是编码在参考模型与 中;这既是优点也是局限,见第 8 节。
代价是数据效率的前提变了。RLHF 可以在训练中查询新的偏好,DPO 只能使用固定数据;当策略移动到数据未覆盖的区域时,损失对该区域没有约束。因此 DPO 的上限由偏好数据的覆盖范围决定,这一点与 数据集质量控制 的结论一致。
在本库的位置:本篇以 对齐-RLHF 的目标函数与闭式解为出发点,是同一目标的另一种求解路径;指令微调SFT 提供参考模型;损失函数 中的 logistic 损失与二元交叉熵是理解本篇梯度的前置;模型评估矩阵 给出留出偏好对与胜率的评估框架。
原理与推导
1 正则化奖励最大化
与 RLHF 相同,设真实奖励为 ,优化目标为
在 RLHF 中 由奖励模型 近似;本篇把 视为给定,推导不依赖它是否可计算。目标中的期望取在 上,KL 也取在 上,因此每个提示 的优化互不影响,可以逐 求解。
2 最优策略的闭式解
固定 ,记 、、。在该提示上求解
引入乘子 ,构造拉格朗日函数
对单个分量 求偏导。注意 ,故
令其为零:
两边取指数,得 。常数因子由归一化条件确定:
其中
于是
唯一性由严格凹性给出:第一项对 线性,第二项是 KL 的负值,KL 严格凸,故目标严格凹,驻点即全局最优。把 代回目标可得最优值 ,推导中用到一阶条件 。
是对全部可能回复的求和,规模为 ,不可计算。DPO 的关键观察是:只要不显式计算 ,它就不会成为障碍。
3 反解奖励
把最优策略的表达式两边取对数:
移项,得到奖励关于策略的表达式:
该式说明:在最优策略处,奖励由两部分组成,一部分是策略相对参考策略的对数比乘以 ,另一部分是只依赖提示的常数 。第一项可计算,第二项不可计算,但它在同一提示内对所有回复相同。
4 代入 Bradley–Terry
Bradley–Terry 模型把偏好概率写成奖励差的 logistic 函数。对同一提示下的两条回复,
在相减中消去。这一步依赖两条回复共享同一提示:若 与 来自不同提示,两个配分函数不同,无法相消,损失将包含不可计算的项。这是 DPO 数据构造必须保证「一对同提示」的原因。
把 替换为待优化的 ,对偏好数据取负对数似然,得到定义中的损失:
该替换的合理性可以写成三步。第一步,Bradley–Terry 负对数似然是偏好概率的严格适当评分规则,其总体最优解满足 对所有对成立。第二步,若数据确由 按 BT 生成,则 ,两式相等给出 。第三步,该等式对所有回复对成立意味着 ,即 ,与第 2 节的闭式解一致。
需要说明边界。上述论证在全体分布上进行;参数化族不能表示任意分布时,DPO 得到的是族内使 BT 似然最大的元素,可理解为 在该族上的近似。近似误差与数据覆盖误差是离线方法的两项固有误差。此外,推导假设偏好由 BT 模型生成且不存在平局,真实标注中的平局与噪声会使目标成为近似。
flowchart LR
A["偏好对 x y_w y_l"] --> B["策略前向 log pi_theta"]
A --> C["参考前向 log pi_ref 冻结"]
B --> D["按回复位置取 log-prob"]
D --> E["对数比 h_w 与 h_l"]
C --> E
E --> F["u = beta 乘 h_w 减 h_l"]
F --> G["损失 -log sigmoid u"]
G --> H["梯度只回传 theta"]
5 逐符号解释与 β 的作用
损失中每个量的角色如下。
度量当前策略相对参考策略更偏好 的程度。若策略在 上相对参考策略的概率高于 ,该差为正,损失小于 ;若相反,损失大于 。
是唯一的尺度参数,它有三个同时生效的作用。
第一,在原始目标中 是 KL 系数,决定最优策略偏离参考策略的程度。 越大, 越接近 ; 越小, 越集中于 的高值区域。
第二,在损失中 是对数比差的乘子,决定 sigmoid 的工作区间。固定 的差为 时,。 过大时 很快进入饱和区, 接近零,梯度消失; 过小时 接近零,损失接近 ,梯度权重 接近 但整体步长受 线性压缩。
第三,梯度对 的依赖不是单调的。梯度尺度正比于 。令 ,该函数在 处取极大,解得 。因此对固定的对数比差,存在一个最优的 ; 小于该值时步长随 增大,大于该值时步长随 减小。
取值上, 是常见起点,常用区间为 至 。该数值必须与对数概率的归一化方式一起解释:若 是整条回复上逐 token 对数比之和,长度 500 的回复其 可达数十 nat, 使 远超饱和点;若 是逐 token 平均, 通常在 1 nat 量级, 处于有效区间。这一点是 与长度归一化必须联合调节的原因。
6 梯度分析
记 、、,损失为 。对 求导:
对参数求导时,参考模型的项为零,因为 不依赖 :
两者相乘:
梯度下降的更新方向为其负方向:
该式包含三个可分别解释的因子。
是「错得越远、权重越大」的因子。模型把 排得比 越高, 越负, 越接近 1;模型已经正确且间隔很大时, 接近 0,该对样本几乎不再产生梯度。这与 logistic 回归的行为一致:损失随间隔增大而饱和,不追求无限大的间隔。
是全局步长因子,其非单调性已在第 5 节说明。
使低概率回复的对数概率对参数更敏感:在 量级相近时,相同的参数步长在概率为 的回复上产生的对数概率变化大于概率为 的回复。这解释了 DPO 能在少量步数内显著改变稀有回复的概率。
梯度只作用于两条回复的对数概率差。若一次更新同时降低了 与 但使差值增大,损失仍然下降。因此 的绝对概率可能上升, 的绝对概率也可能下降,只要 上升得更少或下降得更多。这一性质在训练中是允许的,但它意味着不能把「chosen 对数概率上升」当作 DPO 正常训练的判据,见第 8 节的似然位移。
训练完成后, 可作为排序函数使用:对同一提示采样多条回复,按 排序。该用法不需要奖励模型,但只在训练数据覆盖的分布附近可靠。
7 与 PPO 的对比
表 1 DPO 与 PPO 的结构对比
| 维度 | RLHF 的 PPO | DPO |
|---|---|---|
| 模型数量 | 4:策略、参考、奖励、价值 | 2:策略、参考 |
| 奖励来源 | 显式奖励模型 | 隐式 |
| 数据 | 在线采样,每批新回复 | 固定偏好对 |
| 每步计算 | 采样 + 四次前向 + 两次反向 | 两次前向 + 一次反向 |
| KL 控制 | 显式惩罚项与自适应 | 由闭式解编码,无显式项 |
| 稳定性 | 对 、裁剪、学习率敏感 | 与监督学习同构 |
| 显存 | 224 GB 量级(7B) | 28 GB 权重 + 激活 |
| 主要失败模式 | 奖励黑客、方差、发散 | 分布偏移、偏好过拟合 |
表中显存量按 7B、bf16 估计:两个模型权重共 28 GB,可训练参数只有策略的一份,Adam 状态与 fp32 主权重共 84 GB,合计约 112 GB;若用 LoRA 则进一步下降。对比 对齐-RLHF 表 2 的四模型配置,DPO 的显存主要省在奖励模型、价值网络与它们各自的优化器状态上。
8 局限
离线数据与分布偏移。DPO 的推导在最优点处成立,而最优点可能落在数据未覆盖的区域。偏好对由某个行为策略产生,通常是 SFT 模型;训练开始后 离开该分布,损失对新的回复没有约束。第 4 节第三步的论证要求等式对所有回复对成立,离线数据只提供有限对,未覆盖方向的隐式奖励是外推。
偏好过拟合。损失中没有显式的 KL 项。闭式解只在最优点处保证 KL 约束,优化过程中没有任何项把 拉回。logistic 损失随间隔增大而减小但永不为零,因此训练轮数增加时 可以持续增大。可观测的迹象是训练对准确率趋近 1、留出对准确率下降、隐式奖励的间隔分布右移、输出长度上升。
长度利用。 是逐 token 对数比之和,其绝对值随长度增长。若标注者偏好更长的回复,模型可以通过增加长度改变 ;若同一对中两条回复长度不同,长度差会通过求和进入 ,与偏好信号混在一起。求和形式使长样本在批内梯度中占更大权重,这一点在第一段代码的输出中可以直接读出。可检验的度量是 与长度差的相关系数,以及按长度分桶的留出准确率。
似然位移。梯度只约束差值,不约束绝对水平。训练中可能出现 与 同时下降而差值上升的情形,表现为 chosen 回复的对数概率下降。对偏好目标而言这不违反最优性,但生成质量可能受损。监控时应同时记录 与 的绝对值,而不只看间隔。
对数据噪声敏感。平局、标注者分歧、位置偏差都会直接进入损失。BT 模型不建模平局,把平局当作随机胜负会引入对称噪声,使 被系统性压缩。
参考模型的质量决定上限。 以 为支撑集;若参考模型几乎不产生某类正确回复, 也无法把它抬到高概率,因为 在 为零处为零。
9 变体:IPO、KTO、ORPO
三个变体各自移除 DPO 的一个假设或成本。
IPO(identity preference optimization)处理的是间隔无界问题。DPO 的 logistic 损失在完全可分的数据上使 ,似然的上确界在有限参数处取不到,此时数值解由正则化或早停决定。IPO 把损失换成对数比差上的平方损失,并把目标边际设为有限值:
与 DPO 的差别在梯度形状:间隔小于目标时梯度推动其增大,大于目标时梯度反向把它拉回,因此最优点处间隔有限。代价是平方损失对异常对的惩罚更重,且目标边际 随 变化,需要与 联合调节。
KTO(Kahneman–Tversky optimization)处理的是数据形态。成对数据要求同一提示下两条回复,采集成本高;二元反馈只需一条回复加一个好坏标签。KTO 用两个单边项构成损失:
其中 是策略与参考策略之间 KL 的滑动估计,作为参考点, 与 是按类别频率设置的权重。两项共用同一参考点,使损失对 的整体平移不敏感,从而允许单条样本在没有配对的情况下提供信号。
ORPO(odds ratio preference optimization)处理的是模型数量。它去掉参考模型,把偏好项直接加到 SFT 损失上:
其中 。比值形式使好坏两条回复的惩罚耦合,无需参考模型即可抑制被拒回复。由于 是整条序列的概率,实现时通常用长度归一化后的对数概率计算比值。
表 2 四种方法的结构对比
| 方法 | 监督信号 | 参考模型 | 损失形状 | 主要消除的限制 |
|---|---|---|---|---|
| DPO | 成对 | 需要 | 奖励模型与在线采样 | |
| IPO | 成对 | 需要 | 间隔无界 | |
| KTO | 单条好/坏 | 需要 | 两个单边 sigmoid | 成对数据采集 |
| ORPO | 成对 + SFT | 不需要 | SFT 加 odds 比值项 | 参考模型显存 |
四者的共同点是都用 或 作为隐式奖励的载体,差别在于如何把该载体映射为损失。表中所列是结构形式,具体实现的归一化、权重与数值稳定处理各不相同。
10 训练细节
数据构造。每条样本是一个三元组,两条回复必须共享同一提示。构造时容易出错的地方有三处:交换 与 后忘记同步标签;把两条不同提示的回复配成一对;保留平局样本并按随机胜负处理。前两处会破坏配分函数相消的前提或直接反转梯度方向。
参考模型。从 SFT 检查点复制,设置为推理模式并关闭梯度。若用 LoRA 训练,参考模型可设为基座模型并停用适配器,效果等价于 SFT 模型(见 LoRA与QLoRA)。参考模型的对数概率在训练中不变,可以预计算并缓存;代价是数据一旦增删就必须重算。
超参数。 从 起调;全参数训练的学习率在 至 ,比 SFT 小两个量级;LoRA 可在 至 。批大小按对数计,常见 8 至 64,配合梯度累积。训练轮数 1 至 2,轮数增加带来的是偏好过拟合而不是更好的对齐。最大长度 1024 至 2048,提示与回复的截断策略对 chosen 与 rejected 必须一致。
长度归一化。两种写法:对回复 token 的对数概率求和,或除以回复 token 数取平均。求和形式的梯度偏向长回复,且在长度差大时把长度编码进 ;平均形式使不同长度的样本权重接近,但改变了隐式奖励的单位,需要重新调 。同一实验内必须固定一种写法,评估时用同一种。
掩码与补齐。提示 token 与 padding 位置不进入对数概率。同一批内 chosen 与 rejected 通常补齐到相同长度;若两者 padding 数不同,未掩码会使 偏置。稳妥做法是把掩码位置的对数概率显式置零并在求和中排除,同时在训练前断言没有有效位置携带 标签。
监控项。训练损失、留出对准确率、隐式奖励间隔的均值与分位数、chosen 与 rejected 的对数概率绝对值、输出长度、以及相对参考模型的 KL 估计。任一单项都不足以判断训练是否健康:损失下降而留出准确率下降是过拟合,间隔增大而对数概率同时塌缩是似然位移。
关键直觉
DPO 把「训练奖励模型再用强化学习优化策略」两个阶段压缩为一个分类问题:隐式奖励 的差直接充当 Bradley–Terry 的分数差,同一提示下的配分函数在相减时消去,因此既不需要计算 ,也不需要在线采样。该表述与定义中的损失一致:损失的输入只有四个对数概率,输出是一个二分类的负对数似然;与 对齐-RLHF 的目标相比,被消去的是奖励模型与采样循环,被保留的是 KL 约束,它以参考模型与 的形式留在损失内部。
例子与代码
先手算一对样本。设 ,四个对数概率为
于是 ,,,
梯度权重为 。若把模型的两个判断反过来,取 、,则 、、,损失变为 ,权重变为 。两例的损失相差 ,但梯度方向相反。
表 3 给出不同 下的损失与梯度权重。
| −2 | 0.1192 | 2.1269 | 0.0881 |
| −1 | 0.2689 | 1.3133 | 0.0731 |
| 0 | 0.5000 | 0.6931 | 0.0500 |
| 1 | 0.7311 | 0.3133 | 0.0269 |
| 2 | 0.8808 | 0.1269 | 0.0119 |
损失从 降到 ,权重从 降到 。后者说明已正确且间隔大的样本几乎不再产生梯度,这是 logistic 损失的饱和特性。它与合页损失的差别在于:合页损失在间隔之外梯度恰为零,logistic 损失只是渐近趋零,因此训练后期仍有微小梯度,见 损失函数。
第一段代码用 PyTorch 实现带掩码的 DPO 损失,并按可控的偏好差距扫描。
"""DPO 损失:序列 log-prob、长度掩码与 beta 扫描(PyTorch 2.x)。"""
import torch
import torch.nn.functional as F
V, L = 5, 6
base = torch.tensor([0.0, 0.4, -0.2, 0.2, 0.6]) # 固定的词表先验,便于手算
labels_w = torch.tensor([[-100, -100, 3, 1, 4, 2],
[-100, -100, 2, 0, -100, -100]])
labels_l = torch.tensor([[-100, -100, 0, 3, 2, 1],
[-100, -100, 4, 1, -100, -100]])
def build_logits(labels, gain):
"""位置 t 的 logits 预测 labels[t+1];仅在被预测 token 上加 gain。"""
B, L = labels.shape
logits = torch.zeros(B, L, V)
for b in range(B):
for t in range(L - 1):
tgt = int(labels[b, t + 1])
if tgt < 0: # 提示或 padding 位置
continue
logits[b, t] = base
logits[b, t, tgt] += gain
return logits
def completion_logprob(logits, labels, average=False):
"""返回逐位置 log-prob、每条序列的聚合值与有效 token 数。"""
shift_logits = logits[:, :-1].float() # 预测位置 t
shift_labels = labels[:, 1:] # 被预测的 token t+1
valid = (shift_labels != -100).float()
safe = shift_labels.clamp(min=0) # -100 换成 0 才能 gather
tok = F.log_softmax(shift_logits, dim=-1).gather(-1, safe.unsqueeze(-1)).squeeze(-1)
tok = tok * valid # 屏蔽位置置零
n = valid.sum(-1).clamp(min=1)
total = tok.sum(-1)
return tok, (total / n if average else total), n
def dpo_loss(logits_w, logits_l, labels_w, labels_l, ref_w, ref_l,
beta=0.1, average=False):
_, s_w, _ = completion_logprob(logits_w, labels_w, average)
_, s_l, _ = completion_logprob(logits_l, labels_l, average)
_, r_w, _ = completion_logprob(ref_w, labels_w, average)
_, r_l, _ = completion_logprob(ref_l, labels_l, average)
u = beta * ((s_w - r_w) - (s_l - r_l)) # 隐式奖励差
return -F.logsigmoid(u).mean(), u
for g in (0.0, 1.0, 2.0, 3.0):
lw = build_logits(labels_w, g) # 提高偏好回复
ll = build_logits(labels_l, -g) # 压低被拒回复
rw = build_logits(labels_w, 0.0)
rl = build_logits(labels_l, 0.0)
loss, u = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1)
loss_avg, _ = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1, average=True)
print(f"g={g:.1f} u={[round(v, 4) for v in u.tolist()]} "
f"loss={loss.item():.6f} loss_avg={loss_avg.item():.6f}")
# 梯度检查:偏好样本目标位置的对数概率上升,故 logits 梯度应为负
lw = build_logits(labels_w, 1.0).requires_grad_(True)
loss, _ = dpo_loss(lw, build_logits(labels_l, -1.0), labels_w, labels_l,
build_logits(labels_w, 0.0), build_logits(labels_l, 0.0))
loss.backward()
valid = labels_w[:, 1:] != -100
tgt = labels_w[:, 1:].clamp(min=0)
grad_at_tgt = lw.grad[:, :-1].gather(-1, tgt.unsqueeze(-1)).squeeze(-1)
print(f"偏好样本目标位置梯度全为负: {bool((grad_at_tgt[valid] < 0).all())}")
预期输出如下。
g=0.0 u=[0.0, 0.0] loss=0.693147 loss_avg=0.693147
g=1.0 u=[0.8895, 0.4] loss=0.428606 loss_avg=0.593133
g=2.0 u=[1.8568, 0.8992] loss=0.243256 loss_avg=0.490579
g=3.0 u=[2.7502, 1.3601] loss=0.145193 loss_avg=0.408589
偏好样本目标位置梯度全为负: True
这段代码在做什么:build_logits 按标签把每条回复的目标 token 填上基础 logits 并加上 gain,构造出可精确复算的输入;completion_logprob 左移一位取 logits、右移一位取标签,用 -100 屏蔽提示与 padding,再分别返回求和与平均两种聚合;dpo_loss 计算 并取负对数 sigmoid;循环中 gain 增大表示当前策略比参考策略更偏好 、更不偏好 , 随之增大。
为什么这样验证: 时策略与参考模型完全相同,四个对数比为零,,损失恰为 。这是实现正确性的必要条件:若 被作用在两个 sigmoid 上,例如 ,该行不再等于 。 增大时 单调上升、损失单调下降,两组样本的 都为正,说明区分方向正确。末尾的梯度检查确认偏好样本目标位置的 logits 梯度全为负,即梯度下降会提高其对数概率。
求和与平均的差别体现在两行之间。第 0 对样本有 4 个回复 token,第 1 对有 2 个,同样的逐 token 增益使求和形式的 相差约 倍: 对 。按平均归一化后两者变为 与 ,接近相等。这说明求和形式让长样本主导批内梯度,是长度偏差的直接来源。
去掉会怎样:去掉掩码,padding 位置会以被截断为 0 的标签参与 gather,每个位置贡献约 的对数概率。若 chosen 与 rejected 的 padding 数相同,该常数在 中相消;一旦两者不同, 就会出现与偏好无关的偏移。去掉 .float(),logits 以 fp16 保存时 log_softmax 的中间结果可能溢出, 随之出现 inf 或 nan。把 作用在两个 sigmoid 上,写成 , 时损失不再等于 ,且梯度不再对应偏好差。
第二段检查随机 logits 下的单调性,避免结论依赖上面选定的数值。
"""随机 logits 下的单调性检查(紧接上面的定义)。"""
def boost(logits, labels, gain):
out = logits.clone()
for b in range(logits.shape[0]):
for t in range(logits.shape[1] - 1):
tgt = int(labels[b, t + 1])
if tgt >= 0:
out[b, t, tgt] += gain
return out
torch.manual_seed(0)
rand_w = torch.randn(2, L, V)
rand_l = torch.randn(2, L, V)
ref_w = build_logits(labels_w, 0.0)
ref_l = build_logits(labels_l, 0.0)
losses = []
for g in (0.0, 0.5, 1.0, 1.5):
loss, _ = dpo_loss(boost(rand_w, labels_w, g), boost(rand_l, labels_l, -g),
labels_w, labels_l, ref_w, ref_l, beta=0.1)
losses.append(loss.item())
print(f"随机 logits 下损失严格递减: {all(losses[i] > losses[i + 1] for i in range(3))}")
预期输出为一行:随机 logits 下损失严格递减: True。具体损失值依赖随机种子与框架版本,因此只断言单调关系。该性质由第 6 节的梯度给出:提高 的目标 logit 使 严格增大,压低 使 严格减小,故 严格增大, 严格减小。
第三段是 TRL 的 DPOTrainer 配置。
"""TRL DPOTrainer 配置片段(TRL 0.20+,transformers 4.46+)。"""
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOConfig, DPOTrainer
model_id = "Qwen/Qwen2.5-1.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
policy = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="bfloat16",
attn_implementation="flash_attention_2", # 未安装 flash-attn 时删除该参数
)
ref = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")
ref.eval()
for p in ref.parameters():
p.requires_grad_(False) # 参考模型不参与优化
ds = load_dataset("json", data_files={"train": "data/pref_train.jsonl",
"validation": "data/pref_val.jsonl"})
args = DPOConfig(
output_dir="runs/dpo-qwen25-1.5b",
beta=0.1, # 与 KL 系数同一个 beta
loss_type="sigmoid", # 对应本篇的 -log sigmoid
label_smoothing=0.0, # 标注噪声大时可设 0.05~0.1
max_length=2048,
max_prompt_length=1024,
precompute_ref_log_probs=True, # 参考模型冻结,可预计算并释放
per_device_train_batch_size=2, # 按对数计
gradient_accumulation_steps=8, # 有效批 = 2 x 8 x 卡数
learning_rate=5e-7, # 全参数;LoRA 可用 1e-5 量级
num_train_epochs=1, # 轮数增加易偏好过拟合
lr_scheduler_type="cosine",
warmup_ratio=0.1,
max_grad_norm=1.0,
bf16=True,
gradient_checkpointing=True,
optim="adamw_torch",
logging_steps=10,
eval_strategy="steps", # 旧版字段名为 evaluation_strategy
eval_steps=100,
save_strategy="steps",
save_steps=100,
save_total_limit=2,
)
trainer = DPOTrainer(
model=policy,
ref_model=ref,
args=args,
train_dataset=ds["train"],
eval_dataset=ds["validation"],
processing_class=tokenizer, # 旧版字段名为 tokenizer
)
trainer.train()
trainer.save_model("runs/dpo-qwen25-1.5b/final")
这段配置在做什么:beta 与损失中的 是同一个量;loss_type="sigmoid" 对应本篇的 ;precompute_ref_log_probs=True 把参考模型的对数概率离线算好,训练循环只需策略前向,显存与时间都下降;learning_rate=5e-7 与 num_train_epochs=1 对应第 10 节给出的起点;eval_strategy 与 save_strategy 同步,便于按留出损失选检查点。
为什么这样设:DPO 的每次更新同时改变整条回复上每个 token 的概率,单步影响面比 SFT 的逐 token 交叉熵更大,因此学习率取 量级,避免一步把策略推离参考模型过远。参考模型显式关闭梯度并置于 eval(),否则 dropout 会让两次前向的参考对数概率不同, 带噪。precompute_ref_log_probs 之后参考模型仍占用显存直到训练器释放,数据若在训练前被过滤,需要重新构建数据集并重算。
去掉会怎样:不设 max_prompt_length,超长提示会挤占回复的 token 预算,导致 chosen 与 rejected 被截断到不同长度;label_smoothing=0 在含平局的数据上会使模型过度自信;num_train_epochs 设为 5 时,训练损失继续下降但留出对准确率通常在第二轮后回落,输出长度同时上升。
易错点
以下六条均可在损失曲线、梯度检查或数据抽查中直接验证。
1. 放错位置:写成 、,或只对一项乘 。正确形式是 。前两种写法在策略与参考完全相同的输入上损失不等于 ;只对一项乘 的写法在该自检中仍给出 ,需要进一步核对 与 的比例是否恰为 。
2. 参考模型带梯度:
ref_model与策略指向同一对象、忘记requires_grad_(False)、或停在训练模式。前两者使 ,损失恒为 、梯度为零;后者使参考对数概率随 dropout 抖动。验证方法是连续两次计算同一批的参考对数概率,应逐位相同,且参考参数grad全为None。3. 序列对数概率未按长度归一化:求和形式使长回复的 更大,批内梯度被长样本主导;同一对中两条回复长度不同时,长度差直接进入 。验证方法是计算 与长度差的相关系数,并在留出集上按长度分桶看准确率;若某长度桶接近随机,说明长度成分过强。
4. padding 计入:标签中的 未屏蔽,或被
clamp成 0 后仍参与求和,每个位置贡献约 。当 chosen 与 rejected 的 padding 数相同时该常数在 中相消,因此小批量自测可能发现不了;一旦两条序列长度不同就会产生与偏好无关的偏移。验证方法是在dpo_loss中断言所有参与求和的位置labels != -100。5. 正负样本顺序颠倒:交换 与 后 变号,损失仍从 附近开始下降,曲线形状正常,但模型学到的方向相反。验证方法是训练后在留出对上计算 的均值,应显著为正;若为负,检查数据构造中的字段映射。
6. 把 DPO 当作带显式 KL 的方法:损失中没有 KL 项, 只在最优点处通过闭式解对应 KL 系数。训练中途无法靠增大 把策略拉回参考模型,能做的只有降低学习率、减少轮数、早停或补充覆盖数据。验证方法是每隔若干步估计 ,若它随训练单调上升而留出准确率不再提高,应立即停止。
关联笔记
- 前置 对齐-RLHF:本篇的目标函数、KL 系数与闭式解均来自该篇,该篇的 PPO 流程是对同一目标的在线求解路径。
- 前置 指令微调SFT:参考模型与策略初始化都来自 SFT 检查点,SFT 的输出分布决定 DPO 可用的概率质量。
- 前置 损失函数:DPO 损失是带 logits 的二元交叉熵的变形,logistic 损失的饱和行为直接决定梯度权重 。
- 对照 数据集质量控制:偏好对的去重、平局处理与标注一致性决定 DPO 的上限,离线方法对该数据的依赖强于 SFT。
- 对照 模型评估矩阵:留出对准确率、隐式奖励间隔与成对胜率回答不同问题,该篇给出选择评估指标的框架。
达标检测
- [ ] 从 KL 正则目标出发,写出拉格朗日函数与一阶条件,推出 ,并说明 的来源。
- [ ] 把 反解为 ,说明 为什么在成对比较中消去;若两条回复来自不同提示,损失会多出什么项。
- [ ] 写出 DPO 损失并对 求梯度,分别说明 、 与 三个因子的作用。
- [ ] 手算 、、 时的 、、损失与梯度权重;再把两条回复互换,比较两个结果。
- [ ] 运行第一段代码,把
average改为True,解释 与损失的变化;再令第 1 对样本的 rejected 长度为 3,说明求和形式下会发生什么。 - [ ] 说明 过大与过小各自的失效模式,并解释为什么梯度尺度 对 不是单调的。
- [ ] 比较 IPO、KTO、ORPO 与 DPO 的监督信号、模型数量与损失形状,指出每个变体消除了哪一条限制。
- [ ] 给定一段错误的实现「」,构造一组输入使该实现与正确实现的损失差超过 ,并说明如何用 的自检发现它。
参考来源
- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 2 至 4 节的闭式解、奖励反解与配分函数相消,第 6 节的梯度分析,第 8 节的局限。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 1 节的目标函数与第 7 节 PPO 侧的对比维度。
- Hugging Face TRL 官方文档(
DPOTrainer、DPOConfig、loss_type与参考模型配置说明) —— 对应第 10 节的训练细节与第三段配置。 - 张奇等,《大规模语言模型:从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 1 节的正则化目标、第 8 节的分布偏移讨论。
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 3 章 —— 对应 KL 散度与拉格朗日乘子法的定义。