w wyl123ly 的博客
MD

DPO与偏好优化

40 KB 2026.10.18 原文件

DPO与偏好优化

定义

直接偏好优化(Direct Preference Optimization,DPO)指不经显式奖励模型与强化学习、直接用成对偏好数据以二元分类损失优化语言模型的方法。其损失为

其中括号内的量是两条回复对数比之差,乘以 后等于隐式奖励之差 。符号逐项说明如下。

符号含义
策略参数,训练中唯一被更新的参数
当前策略给出的回复概率,按 token 连乘
参考策略,由 SFT 模型复制并冻结,不参与求导
KL 正则强度,同时充当隐式奖励的尺度,单位为 nat
logistic 函数,
一对中被标注为更优的回复,下标 取自 win
一对中被标注为更差的回复,下标 取自 lose
成对偏好数据集,一对中的两条回复共享同一提示
对数比,
损失的自变量,
由偏好数据隐含的真实奖励,未知,仅用于推导
隐式奖励(implicit reward),
配分函数,

术语说明。配分函数(partition function) 指把未归一化的权重 求和得到的归一化常数;语言模型的回复空间大小为 , 无法枚举。离线偏好优化(offline preference optimization)指训练数据在训练开始前固定、训练中不再采集新回复的设定。分布偏移(distribution shift)指训练数据的分布与当前策略分布之间的差异。偏好过拟合(preference overfitting)指模型记住了训练对的具体措辞而非偏好方向。长度归一化(length normalization)指把序列对数概率除以回复 token 数,使不同长度的序列可比。

为什么重要

RLHF 把对齐拆成三个独立问题:训练奖励模型、在线采样、用 PPO 优化策略。每个问题都有自己的失败模式,且误差沿链条累积:奖励模型的长度偏差会被策略放大,策略的方差会使 KL 失控,KL 失控又会让奖励模型的外推误差进入梯度。工程上还要同时驻留四个模型,维护采样器、价值网络与奖励模型三套推理路径。

DPO 的出发点是:RLHF 的目标函数在给定奖励时存在闭式最优策略,因此可以把「奖励」从目标函数中消去,把对奖励的优化改写为对策略的优化。具体做法是把闭式解反解为奖励关于策略的表达式,代入 Bradley–Terry 偏好模型,配分函数在同一提示的两条回复相减时消去。结果是一个只依赖四个对数概率的二元分类损失。

这一改写带来三项直接后果。第一,训练不再需要采样:每个训练对只需对策略与参考模型各做两次前向,反向传播只经过策略。第二,训练目标与监督学习同构,损失曲线、学习率与早停的经验可以直接迁移,不需要 PPO 的裁剪、优势估计与价值网络。第三,KL 约束不再以惩罚项的形式出现,而是编码在参考模型与 中;这既是优点也是局限,见第 8 节。

代价是数据效率的前提变了。RLHF 可以在训练中查询新的偏好,DPO 只能使用固定数据;当策略移动到数据未覆盖的区域时,损失对该区域没有约束。因此 DPO 的上限由偏好数据的覆盖范围决定,这一点与 数据集质量控制 的结论一致。

在本库的位置:本篇以 对齐-RLHF 的目标函数与闭式解为出发点,是同一目标的另一种求解路径;指令微调SFT 提供参考模型;损失函数 中的 logistic 损失与二元交叉熵是理解本篇梯度的前置;模型评估矩阵 给出留出偏好对与胜率的评估框架。

原理与推导

1 正则化奖励最大化

与 RLHF 相同,设真实奖励为 ,优化目标为

在 RLHF 中 由奖励模型 近似;本篇把 视为给定,推导不依赖它是否可计算。目标中的期望取在 上,KL 也取在 上,因此每个提示 的优化互不影响,可以逐 求解。

2 最优策略的闭式解

固定 ,记 、、。在该提示上求解

引入乘子 ,构造拉格朗日函数

对单个分量 求偏导。注意 ,故

令其为零:

两边取指数,得 。常数因子由归一化条件确定:

其中

于是

唯一性由严格凹性给出:第一项对 线性,第二项是 KL 的负值,KL 严格凸,故目标严格凹,驻点即全局最优。把 代回目标可得最优值 ,推导中用到一阶条件 。

是对全部可能回复的求和,规模为 ,不可计算。DPO 的关键观察是:只要不显式计算 ,它就不会成为障碍。

3 反解奖励

把最优策略的表达式两边取对数:

移项,得到奖励关于策略的表达式:

该式说明:在最优策略处,奖励由两部分组成,一部分是策略相对参考策略的对数比乘以 ,另一部分是只依赖提示的常数 。第一项可计算,第二项不可计算,但它在同一提示内对所有回复相同。

4 代入 Bradley–Terry

Bradley–Terry 模型把偏好概率写成奖励差的 logistic 函数。对同一提示下的两条回复,

在相减中消去。这一步依赖两条回复共享同一提示:若 与 来自不同提示,两个配分函数不同,无法相消,损失将包含不可计算的项。这是 DPO 数据构造必须保证「一对同提示」的原因。

把 替换为待优化的 ,对偏好数据取负对数似然,得到定义中的损失:

该替换的合理性可以写成三步。第一步,Bradley–Terry 负对数似然是偏好概率的严格适当评分规则,其总体最优解满足 对所有对成立。第二步,若数据确由 按 BT 生成,则 ,两式相等给出 。第三步,该等式对所有回复对成立意味着 ,即 ,与第 2 节的闭式解一致。

需要说明边界。上述论证在全体分布上进行;参数化族不能表示任意分布时,DPO 得到的是族内使 BT 似然最大的元素,可理解为 在该族上的近似。近似误差与数据覆盖误差是离线方法的两项固有误差。此外,推导假设偏好由 BT 模型生成且不存在平局,真实标注中的平局与噪声会使目标成为近似。

flowchart LR
    A["偏好对 x y_w y_l"] --> B["策略前向 log pi_theta"]
    A --> C["参考前向 log pi_ref 冻结"]
    B --> D["按回复位置取 log-prob"]
    D --> E["对数比 h_w 与 h_l"]
    C --> E
    E --> F["u = beta 乘 h_w 减 h_l"]
    F --> G["损失 -log sigmoid u"]
    G --> H["梯度只回传 theta"]

5 逐符号解释与 β 的作用

损失中每个量的角色如下。

度量当前策略相对参考策略更偏好 的程度。若策略在 上相对参考策略的概率高于 ,该差为正,损失小于 ;若相反,损失大于 。

是唯一的尺度参数,它有三个同时生效的作用。

第一,在原始目标中 是 KL 系数,决定最优策略偏离参考策略的程度。 越大, 越接近 ; 越小, 越集中于 的高值区域。

第二,在损失中 是对数比差的乘子,决定 sigmoid 的工作区间。固定 的差为 时,。 过大时 很快进入饱和区, 接近零,梯度消失; 过小时 接近零,损失接近 ,梯度权重 接近 但整体步长受 线性压缩。

第三,梯度对 的依赖不是单调的。梯度尺度正比于 。令 ,该函数在 处取极大,解得 。因此对固定的对数比差,存在一个最优的 ; 小于该值时步长随 增大,大于该值时步长随 减小。

取值上, 是常见起点,常用区间为 至 。该数值必须与对数概率的归一化方式一起解释:若 是整条回复上逐 token 对数比之和,长度 500 的回复其 可达数十 nat, 使 远超饱和点;若 是逐 token 平均, 通常在 1 nat 量级, 处于有效区间。这一点是 与长度归一化必须联合调节的原因。

6 梯度分析

记 、、,损失为 。对 求导:

对参数求导时,参考模型的项为零,因为 不依赖 :

两者相乘:

梯度下降的更新方向为其负方向:

该式包含三个可分别解释的因子。

是「错得越远、权重越大」的因子。模型把 排得比 越高, 越负, 越接近 1;模型已经正确且间隔很大时, 接近 0,该对样本几乎不再产生梯度。这与 logistic 回归的行为一致:损失随间隔增大而饱和,不追求无限大的间隔。

是全局步长因子,其非单调性已在第 5 节说明。

使低概率回复的对数概率对参数更敏感:在 量级相近时,相同的参数步长在概率为 的回复上产生的对数概率变化大于概率为 的回复。这解释了 DPO 能在少量步数内显著改变稀有回复的概率。

梯度只作用于两条回复的对数概率差。若一次更新同时降低了 与 但使差值增大,损失仍然下降。因此 的绝对概率可能上升, 的绝对概率也可能下降,只要 上升得更少或下降得更多。这一性质在训练中是允许的,但它意味着不能把「chosen 对数概率上升」当作 DPO 正常训练的判据,见第 8 节的似然位移。

训练完成后, 可作为排序函数使用:对同一提示采样多条回复,按 排序。该用法不需要奖励模型,但只在训练数据覆盖的分布附近可靠。

7 与 PPO 的对比

表 1 DPO 与 PPO 的结构对比

维度RLHF 的 PPODPO
模型数量4:策略、参考、奖励、价值2:策略、参考
奖励来源显式奖励模型 隐式
数据在线采样,每批新回复固定偏好对
每步计算采样 + 四次前向 + 两次反向两次前向 + 一次反向
KL 控制显式惩罚项与自适应 由闭式解编码,无显式项
稳定性对 、裁剪、学习率敏感与监督学习同构
显存224 GB 量级(7B)28 GB 权重 + 激活
主要失败模式奖励黑客、方差、发散分布偏移、偏好过拟合

表中显存量按 7B、bf16 估计:两个模型权重共 28 GB,可训练参数只有策略的一份,Adam 状态与 fp32 主权重共 84 GB,合计约 112 GB;若用 LoRA 则进一步下降。对比 对齐-RLHF 表 2 的四模型配置,DPO 的显存主要省在奖励模型、价值网络与它们各自的优化器状态上。

8 局限

离线数据与分布偏移。DPO 的推导在最优点处成立,而最优点可能落在数据未覆盖的区域。偏好对由某个行为策略产生,通常是 SFT 模型;训练开始后 离开该分布,损失对新的回复没有约束。第 4 节第三步的论证要求等式对所有回复对成立,离线数据只提供有限对,未覆盖方向的隐式奖励是外推。

偏好过拟合。损失中没有显式的 KL 项。闭式解只在最优点处保证 KL 约束,优化过程中没有任何项把 拉回。logistic 损失随间隔增大而减小但永不为零,因此训练轮数增加时 可以持续增大。可观测的迹象是训练对准确率趋近 1、留出对准确率下降、隐式奖励的间隔分布右移、输出长度上升。

长度利用。 是逐 token 对数比之和,其绝对值随长度增长。若标注者偏好更长的回复,模型可以通过增加长度改变 ;若同一对中两条回复长度不同,长度差会通过求和进入 ,与偏好信号混在一起。求和形式使长样本在批内梯度中占更大权重,这一点在第一段代码的输出中可以直接读出。可检验的度量是 与长度差的相关系数,以及按长度分桶的留出准确率。

似然位移。梯度只约束差值,不约束绝对水平。训练中可能出现 与 同时下降而差值上升的情形,表现为 chosen 回复的对数概率下降。对偏好目标而言这不违反最优性,但生成质量可能受损。监控时应同时记录 与 的绝对值,而不只看间隔。

对数据噪声敏感。平局、标注者分歧、位置偏差都会直接进入损失。BT 模型不建模平局,把平局当作随机胜负会引入对称噪声,使 被系统性压缩。

参考模型的质量决定上限。 以 为支撑集;若参考模型几乎不产生某类正确回复, 也无法把它抬到高概率,因为 在 为零处为零。

9 变体:IPO、KTO、ORPO

三个变体各自移除 DPO 的一个假设或成本。

IPO(identity preference optimization)处理的是间隔无界问题。DPO 的 logistic 损失在完全可分的数据上使 ,似然的上确界在有限参数处取不到,此时数值解由正则化或早停决定。IPO 把损失换成对数比差上的平方损失,并把目标边际设为有限值:

与 DPO 的差别在梯度形状:间隔小于目标时梯度推动其增大,大于目标时梯度反向把它拉回,因此最优点处间隔有限。代价是平方损失对异常对的惩罚更重,且目标边际 随 变化,需要与 联合调节。

KTO(Kahneman–Tversky optimization)处理的是数据形态。成对数据要求同一提示下两条回复,采集成本高;二元反馈只需一条回复加一个好坏标签。KTO 用两个单边项构成损失:

其中 是策略与参考策略之间 KL 的滑动估计,作为参考点, 与 是按类别频率设置的权重。两项共用同一参考点,使损失对 的整体平移不敏感,从而允许单条样本在没有配对的情况下提供信号。

ORPO(odds ratio preference optimization)处理的是模型数量。它去掉参考模型,把偏好项直接加到 SFT 损失上:

其中 。比值形式使好坏两条回复的惩罚耦合,无需参考模型即可抑制被拒回复。由于 是整条序列的概率,实现时通常用长度归一化后的对数概率计算比值。

表 2 四种方法的结构对比

方法监督信号参考模型损失形状主要消除的限制
DPO成对需要奖励模型与在线采样
IPO成对需要间隔无界
KTO单条好/坏需要两个单边 sigmoid成对数据采集
ORPO成对 + SFT不需要SFT 加 odds 比值项参考模型显存

四者的共同点是都用 或 作为隐式奖励的载体,差别在于如何把该载体映射为损失。表中所列是结构形式,具体实现的归一化、权重与数值稳定处理各不相同。

10 训练细节

数据构造。每条样本是一个三元组,两条回复必须共享同一提示。构造时容易出错的地方有三处:交换 与 后忘记同步标签;把两条不同提示的回复配成一对;保留平局样本并按随机胜负处理。前两处会破坏配分函数相消的前提或直接反转梯度方向。

参考模型。从 SFT 检查点复制,设置为推理模式并关闭梯度。若用 LoRA 训练,参考模型可设为基座模型并停用适配器,效果等价于 SFT 模型(见 LoRA与QLoRA)。参考模型的对数概率在训练中不变,可以预计算并缓存;代价是数据一旦增删就必须重算。

超参数。 从 起调;全参数训练的学习率在 至 ,比 SFT 小两个量级;LoRA 可在 至 。批大小按对数计,常见 8 至 64,配合梯度累积。训练轮数 1 至 2,轮数增加带来的是偏好过拟合而不是更好的对齐。最大长度 1024 至 2048,提示与回复的截断策略对 chosen 与 rejected 必须一致。

长度归一化。两种写法:对回复 token 的对数概率求和,或除以回复 token 数取平均。求和形式的梯度偏向长回复,且在长度差大时把长度编码进 ;平均形式使不同长度的样本权重接近,但改变了隐式奖励的单位,需要重新调 。同一实验内必须固定一种写法,评估时用同一种。

掩码与补齐。提示 token 与 padding 位置不进入对数概率。同一批内 chosen 与 rejected 通常补齐到相同长度;若两者 padding 数不同,未掩码会使 偏置。稳妥做法是把掩码位置的对数概率显式置零并在求和中排除,同时在训练前断言没有有效位置携带 标签。

监控项。训练损失、留出对准确率、隐式奖励间隔的均值与分位数、chosen 与 rejected 的对数概率绝对值、输出长度、以及相对参考模型的 KL 估计。任一单项都不足以判断训练是否健康:损失下降而留出准确率下降是过拟合,间隔增大而对数概率同时塌缩是似然位移。

关键直觉

DPO 把「训练奖励模型再用强化学习优化策略」两个阶段压缩为一个分类问题:隐式奖励 的差直接充当 Bradley–Terry 的分数差,同一提示下的配分函数在相减时消去,因此既不需要计算 ,也不需要在线采样。该表述与定义中的损失一致:损失的输入只有四个对数概率,输出是一个二分类的负对数似然;与 对齐-RLHF 的目标相比,被消去的是奖励模型与采样循环,被保留的是 KL 约束,它以参考模型与 的形式留在损失内部。

例子与代码

先手算一对样本。设 ,四个对数概率为

于是 ,,,

梯度权重为 。若把模型的两个判断反过来,取 、,则 、、,损失变为 ,权重变为 。两例的损失相差 ,但梯度方向相反。

表 3 给出不同 下的损失与梯度权重。

−20.11922.12690.0881
−10.26891.31330.0731
00.50000.69310.0500
10.73110.31330.0269
20.88080.12690.0119

损失从 降到 ,权重从 降到 。后者说明已正确且间隔大的样本几乎不再产生梯度,这是 logistic 损失的饱和特性。它与合页损失的差别在于:合页损失在间隔之外梯度恰为零,logistic 损失只是渐近趋零,因此训练后期仍有微小梯度,见 损失函数。

第一段代码用 PyTorch 实现带掩码的 DPO 损失,并按可控的偏好差距扫描。

"""DPO 损失:序列 log-prob、长度掩码与 beta 扫描(PyTorch 2.x)。"""
import torch
import torch.nn.functional as F

V, L = 5, 6
base = torch.tensor([0.0, 0.4, -0.2, 0.2, 0.6])          # 固定的词表先验,便于手算
labels_w = torch.tensor([[-100, -100, 3, 1, 4, 2],
                         [-100, -100, 2, 0, -100, -100]])
labels_l = torch.tensor([[-100, -100, 0, 3, 2, 1],
                         [-100, -100, 4, 1, -100, -100]])


def build_logits(labels, gain):
    """位置 t 的 logits 预测 labels[t+1];仅在被预测 token 上加 gain。"""
    B, L = labels.shape
    logits = torch.zeros(B, L, V)
    for b in range(B):
        for t in range(L - 1):
            tgt = int(labels[b, t + 1])
            if tgt < 0:                                    # 提示或 padding 位置
                continue
            logits[b, t] = base
            logits[b, t, tgt] += gain
    return logits


def completion_logprob(logits, labels, average=False):
    """返回逐位置 log-prob、每条序列的聚合值与有效 token 数。"""
    shift_logits = logits[:, :-1].float()                  # 预测位置 t
    shift_labels = labels[:, 1:]                           # 被预测的 token t+1
    valid = (shift_labels != -100).float()
    safe = shift_labels.clamp(min=0)                       # -100 换成 0 才能 gather
    tok = F.log_softmax(shift_logits, dim=-1).gather(-1, safe.unsqueeze(-1)).squeeze(-1)
    tok = tok * valid                                      # 屏蔽位置置零
    n = valid.sum(-1).clamp(min=1)
    total = tok.sum(-1)
    return tok, (total / n if average else total), n


def dpo_loss(logits_w, logits_l, labels_w, labels_l, ref_w, ref_l,
             beta=0.1, average=False):
    _, s_w, _ = completion_logprob(logits_w, labels_w, average)
    _, s_l, _ = completion_logprob(logits_l, labels_l, average)
    _, r_w, _ = completion_logprob(ref_w, labels_w, average)
    _, r_l, _ = completion_logprob(ref_l, labels_l, average)
    u = beta * ((s_w - r_w) - (s_l - r_l))                 # 隐式奖励差
    return -F.logsigmoid(u).mean(), u


for g in (0.0, 1.0, 2.0, 3.0):
    lw = build_logits(labels_w, g)                         # 提高偏好回复
    ll = build_logits(labels_l, -g)                        # 压低被拒回复
    rw = build_logits(labels_w, 0.0)
    rl = build_logits(labels_l, 0.0)
    loss, u = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1)
    loss_avg, _ = dpo_loss(lw, ll, labels_w, labels_l, rw, rl, beta=0.1, average=True)
    print(f"g={g:.1f} u={[round(v, 4) for v in u.tolist()]} "
          f"loss={loss.item():.6f} loss_avg={loss_avg.item():.6f}")

# 梯度检查:偏好样本目标位置的对数概率上升,故 logits 梯度应为负
lw = build_logits(labels_w, 1.0).requires_grad_(True)
loss, _ = dpo_loss(lw, build_logits(labels_l, -1.0), labels_w, labels_l,
                   build_logits(labels_w, 0.0), build_logits(labels_l, 0.0))
loss.backward()
valid = labels_w[:, 1:] != -100
tgt = labels_w[:, 1:].clamp(min=0)
grad_at_tgt = lw.grad[:, :-1].gather(-1, tgt.unsqueeze(-1)).squeeze(-1)
print(f"偏好样本目标位置梯度全为负: {bool((grad_at_tgt[valid] < 0).all())}")

预期输出如下。

g=0.0 u=[0.0, 0.0] loss=0.693147 loss_avg=0.693147
g=1.0 u=[0.8895, 0.4] loss=0.428606 loss_avg=0.593133
g=2.0 u=[1.8568, 0.8992] loss=0.243256 loss_avg=0.490579
g=3.0 u=[2.7502, 1.3601] loss=0.145193 loss_avg=0.408589
偏好样本目标位置梯度全为负: True

这段代码在做什么:build_logits 按标签把每条回复的目标 token 填上基础 logits 并加上 gain,构造出可精确复算的输入;completion_logprob 左移一位取 logits、右移一位取标签,用 -100 屏蔽提示与 padding,再分别返回求和与平均两种聚合;dpo_loss 计算 并取负对数 sigmoid;循环中 gain 增大表示当前策略比参考策略更偏好 、更不偏好 , 随之增大。

为什么这样验证: 时策略与参考模型完全相同,四个对数比为零,,损失恰为 。这是实现正确性的必要条件:若 被作用在两个 sigmoid 上,例如 ,该行不再等于 。 增大时 单调上升、损失单调下降,两组样本的 都为正,说明区分方向正确。末尾的梯度检查确认偏好样本目标位置的 logits 梯度全为负,即梯度下降会提高其对数概率。

求和与平均的差别体现在两行之间。第 0 对样本有 4 个回复 token,第 1 对有 2 个,同样的逐 token 增益使求和形式的 相差约 倍: 对 。按平均归一化后两者变为 与 ,接近相等。这说明求和形式让长样本主导批内梯度,是长度偏差的直接来源。

去掉会怎样:去掉掩码,padding 位置会以被截断为 0 的标签参与 gather,每个位置贡献约 的对数概率。若 chosen 与 rejected 的 padding 数相同,该常数在 中相消;一旦两者不同, 就会出现与偏好无关的偏移。去掉 .float(),logits 以 fp16 保存时 log_softmax 的中间结果可能溢出, 随之出现 inf 或 nan。把 作用在两个 sigmoid 上,写成 , 时损失不再等于 ,且梯度不再对应偏好差。

第二段检查随机 logits 下的单调性,避免结论依赖上面选定的数值。

"""随机 logits 下的单调性检查(紧接上面的定义)。"""
def boost(logits, labels, gain):
    out = logits.clone()
    for b in range(logits.shape[0]):
        for t in range(logits.shape[1] - 1):
            tgt = int(labels[b, t + 1])
            if tgt >= 0:
                out[b, t, tgt] += gain
    return out


torch.manual_seed(0)
rand_w = torch.randn(2, L, V)
rand_l = torch.randn(2, L, V)
ref_w = build_logits(labels_w, 0.0)
ref_l = build_logits(labels_l, 0.0)
losses = []
for g in (0.0, 0.5, 1.0, 1.5):
    loss, _ = dpo_loss(boost(rand_w, labels_w, g), boost(rand_l, labels_l, -g),
                       labels_w, labels_l, ref_w, ref_l, beta=0.1)
    losses.append(loss.item())
print(f"随机 logits 下损失严格递减: {all(losses[i] > losses[i + 1] for i in range(3))}")

预期输出为一行:随机 logits 下损失严格递减: True。具体损失值依赖随机种子与框架版本,因此只断言单调关系。该性质由第 6 节的梯度给出:提高 的目标 logit 使 严格增大,压低 使 严格减小,故 严格增大, 严格减小。

第三段是 TRL 的 DPOTrainer 配置。

"""TRL DPOTrainer 配置片段(TRL 0.20+,transformers 4.46+)。"""
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOConfig, DPOTrainer

model_id = "Qwen/Qwen2.5-1.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
policy = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="bfloat16",
    attn_implementation="flash_attention_2",   # 未安装 flash-attn 时删除该参数
)
ref = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")
ref.eval()
for p in ref.parameters():
    p.requires_grad_(False)                    # 参考模型不参与优化

ds = load_dataset("json", data_files={"train": "data/pref_train.jsonl",
                                      "validation": "data/pref_val.jsonl"})

args = DPOConfig(
    output_dir="runs/dpo-qwen25-1.5b",
    beta=0.1,                                 # 与 KL 系数同一个 beta
    loss_type="sigmoid",                      # 对应本篇的 -log sigmoid
    label_smoothing=0.0,                      # 标注噪声大时可设 0.05~0.1
    max_length=2048,
    max_prompt_length=1024,
    precompute_ref_log_probs=True,            # 参考模型冻结,可预计算并释放
    per_device_train_batch_size=2,            # 按对数计
    gradient_accumulation_steps=8,            # 有效批 = 2 x 8 x 卡数
    learning_rate=5e-7,                       # 全参数;LoRA 可用 1e-5 量级
    num_train_epochs=1,                       # 轮数增加易偏好过拟合
    lr_scheduler_type="cosine",
    warmup_ratio=0.1,
    max_grad_norm=1.0,
    bf16=True,
    gradient_checkpointing=True,
    optim="adamw_torch",
    logging_steps=10,
    eval_strategy="steps",                    # 旧版字段名为 evaluation_strategy
    eval_steps=100,
    save_strategy="steps",
    save_steps=100,
    save_total_limit=2,
)

trainer = DPOTrainer(
    model=policy,
    ref_model=ref,
    args=args,
    train_dataset=ds["train"],
    eval_dataset=ds["validation"],
    processing_class=tokenizer,               # 旧版字段名为 tokenizer
)
trainer.train()
trainer.save_model("runs/dpo-qwen25-1.5b/final")

这段配置在做什么:beta 与损失中的 是同一个量;loss_type="sigmoid" 对应本篇的 ;precompute_ref_log_probs=True 把参考模型的对数概率离线算好,训练循环只需策略前向,显存与时间都下降;learning_rate=5e-7 与 num_train_epochs=1 对应第 10 节给出的起点;eval_strategy 与 save_strategy 同步,便于按留出损失选检查点。

为什么这样设:DPO 的每次更新同时改变整条回复上每个 token 的概率,单步影响面比 SFT 的逐 token 交叉熵更大,因此学习率取 量级,避免一步把策略推离参考模型过远。参考模型显式关闭梯度并置于 eval(),否则 dropout 会让两次前向的参考对数概率不同, 带噪。precompute_ref_log_probs 之后参考模型仍占用显存直到训练器释放,数据若在训练前被过滤,需要重新构建数据集并重算。

去掉会怎样:不设 max_prompt_length,超长提示会挤占回复的 token 预算,导致 chosen 与 rejected 被截断到不同长度;label_smoothing=0 在含平局的数据上会使模型过度自信;num_train_epochs 设为 5 时,训练损失继续下降但留出对准确率通常在第二轮后回落,输出长度同时上升。

易错点

以下六条均可在损失曲线、梯度检查或数据抽查中直接验证。

1. 放错位置:写成 、,或只对一项乘 。正确形式是 。前两种写法在策略与参考完全相同的输入上损失不等于 ;只对一项乘 的写法在该自检中仍给出 ,需要进一步核对 与 的比例是否恰为 。

2. 参考模型带梯度:ref_model 与策略指向同一对象、忘记 requires_grad_(False)、或停在训练模式。前两者使 ,损失恒为 、梯度为零;后者使参考对数概率随 dropout 抖动。验证方法是连续两次计算同一批的参考对数概率,应逐位相同,且参考参数 grad 全为 None。

3. 序列对数概率未按长度归一化:求和形式使长回复的 更大,批内梯度被长样本主导;同一对中两条回复长度不同时,长度差直接进入 。验证方法是计算 与长度差的相关系数,并在留出集上按长度分桶看准确率;若某长度桶接近随机,说明长度成分过强。

4. padding 计入:标签中的 未屏蔽,或被 clamp 成 0 后仍参与求和,每个位置贡献约 。当 chosen 与 rejected 的 padding 数相同时该常数在 中相消,因此小批量自测可能发现不了;一旦两条序列长度不同就会产生与偏好无关的偏移。验证方法是在 dpo_loss 中断言所有参与求和的位置 labels != -100。

5. 正负样本顺序颠倒:交换 与 后 变号,损失仍从 附近开始下降,曲线形状正常,但模型学到的方向相反。验证方法是训练后在留出对上计算 的均值,应显著为正;若为负,检查数据构造中的字段映射。

6. 把 DPO 当作带显式 KL 的方法:损失中没有 KL 项, 只在最优点处通过闭式解对应 KL 系数。训练中途无法靠增大 把策略拉回参考模型,能做的只有降低学习率、减少轮数、早停或补充覆盖数据。验证方法是每隔若干步估计 ,若它随训练单调上升而留出准确率不再提高,应立即停止。

关联笔记

  • 前置 对齐-RLHF:本篇的目标函数、KL 系数与闭式解均来自该篇,该篇的 PPO 流程是对同一目标的在线求解路径。
  • 前置 指令微调SFT:参考模型与策略初始化都来自 SFT 检查点,SFT 的输出分布决定 DPO 可用的概率质量。
  • 前置 损失函数:DPO 损失是带 logits 的二元交叉熵的变形,logistic 损失的饱和行为直接决定梯度权重 。
  • 对照 数据集质量控制:偏好对的去重、平局处理与标注一致性决定 DPO 的上限,离线方法对该数据的依赖强于 SFT。
  • 对照 模型评估矩阵:留出对准确率、隐式奖励间隔与成对胜率回答不同问题,该篇给出选择评估指标的框架。

达标检测

  • [ ] 从 KL 正则目标出发,写出拉格朗日函数与一阶条件,推出 ,并说明 的来源。
  • [ ] 把 反解为 ,说明 为什么在成对比较中消去;若两条回复来自不同提示,损失会多出什么项。
  • [ ] 写出 DPO 损失并对 求梯度,分别说明 、 与 三个因子的作用。
  • [ ] 手算 、、 时的 、、损失与梯度权重;再把两条回复互换,比较两个结果。
  • [ ] 运行第一段代码,把 average 改为 True,解释 与损失的变化;再令第 1 对样本的 rejected 长度为 3,说明求和形式下会发生什么。
  • [ ] 说明 过大与过小各自的失效模式,并解释为什么梯度尺度 对 不是单调的。
  • [ ] 比较 IPO、KTO、ORPO 与 DPO 的监督信号、模型数量与损失形状,指出每个变体消除了哪一条限制。
  • [ ] 给定一段错误的实现「」,构造一组输入使该实现与正确实现的损失差超过 ,并说明如何用 的自检发现它。

参考来源

  • Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 2 至 4 节的闭式解、奖励反解与配分函数相消,第 6 节的梯度分析,第 8 节的局限。
  • Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 1 节的目标函数与第 7 节 PPO 侧的对比维度。
  • Hugging Face TRL 官方文档(DPOTrainer、DPOConfig、loss_type 与参考模型配置说明) —— 对应第 10 节的训练细节与第三段配置。
  • 张奇等,《大规模语言模型:从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 1 节的正则化目标、第 8 节的分布偏移讨论。
  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 3 章 —— 对应 KL 散度与拉格朗日乘子法的定义。