w wyl123ly 的博客
MD

对齐-RLHF

45 KB 2026.10.18 原文件

对齐-RLHF

定义

基于人类反馈的强化学习(reinforcement learning from human feedback,RLHF)指先用人类成对比较数据训练奖励模型,再以该奖励模型给出的标量分数为奖励、在 KL 约束下用策略梯度方法优化语言模型的三段式流程。其优化目标为

其中 KL 散度定义为

符号逐项说明如下。

符号含义
提示词 token 序列,取自提示分布
模型生成的回复 token 序列, 为其长度
参数为 的策略,即自回归语言模型,
参考策略,由 SFT 模型复制并冻结得到
奖励模型,参数为 ,输入完整回复输出一个实数
KL 项系数,单位为 nat,控制策略允许偏离参考策略的程度
logistic 函数,
同一提示下被标注为更优与被标注为更差的回复
成对偏好数据集,元素为 ,一对中的两条回复共享同一提示
配分函数,
PPO 的重要性比值,
优势函数,表示在状态 采取动作 相对平均水平的好坏
价值网络,参数为 ,估计状态 的期望回报
折扣因子与 GAE 的偏差方差折中系数
PPO 的裁剪半径

术语说明。目标错位(objective misalignment)指训练目标与真实目标不一致:预训练与 SFT 最大化的都是数据分布上的对数似然,而部署时要求的是人类效用。有用性(helpfulness)指回复完成用户意图的程度;无害性(harmlessness)指回复不产生物理、法律或信息层面的损害;诚实性(honesty)指回复不陈述模型无法支持的内容。奖励模型(reward model,RM)指把回复映射为标量的可学习函数,用作人类偏好的代理。奖励黑客(reward hacking)指策略找到奖励模型的高分区域但该区域并不对应真实偏好。参考策略(reference policy)指 KL 项中作为锚点的冻结模型。优势(advantage)是动作价值与状态价值之差。拒绝采样(rejection sampling)指从策略采样多条回复、按奖励筛选后再用于训练。最优 n 选一(best-of-n,BoN)指推理时采样 条并按奖励模型取最高分的一条。

本篇讨论的是 InstructGPT 式流程:SFT、奖励建模、PPO 三段依次进行。不涉及直接偏好优化,后者见 DPO与偏好优化。

为什么重要

SFT 的目标函数是示范数据上的条件对数似然,其最优解是示范分布 本身。这带来两个结构性限制。第一,它拟合的是频次而不是偏好:同一提示下若同时存在一条好回复与一条差回复,SFT 只会按二者在数据中出现的比例分配概率,无法表达「前者优于后者」这一序关系。第二,它从不用模型自己的输出做训练:模型在推理时产生的错误分布从未进入损失函数,因此错误不会被针对性地压低。

对齐阶段要解决的问题可以写成另一个优化问题:最大化人类效用 的期望。 无法直接写出,但人可以比较两条回复。比较比生成便宜:写出一条高质量回复需要领域知识与写作时间,判断两条回复哪条更好只需要阅读与判断。因此偏好数据的单位成本所携带的信息量高于示范数据,这是把监督信号从「模仿」切换为「比较」的经济原因。

没有这一阶段,模型的行为由示范数据的表面统计决定:倾向于给出长度接近训练均值的回复,在不确定时给出形式上完整但内容空洞的答案,对格式的遵守程度取决于训练集中该格式的比例。这些行为无法仅靠增加 SFT 数据消除,因为它们的根源是目标函数只约束 ,而 不编码「更好」。

在本库的位置:本篇以 指令微调SFT 产出的 SFT 模型为起点,把「下一个 token 的似然」替换为「人类偏好的标量代理」;预训练-微调-对齐pipeline 给出三段流程的整体视图;DPO与偏好优化 从本篇的目标函数出发,消去显式奖励模型与采样,得到等价的分类损失;模型评估矩阵 提供检验对齐结果的度量。前置知识包括 自回归生成与采样 中的序列概率分解,以及 概率与统计 中的最大似然与 logistic 模型。

原理与推导

1 从最大似然到期望效用

设示范数据服从 ,SFT 求解

对每个 单独看,这是分布 与 之间的交叉熵最小化。由 Gibbs 不等式,

右端第一项与 无关,故最优解为 ,且任意偏离都会使目标下降 。这解释了 SFT 的行为边界:模型学会的是标注者写作分布的近似,而不是「什么算好」。

部署时要求的是

其中 是未知的人类效用。两个目标的差别不只是估计误差:前者的期望取在 上,后者取在 上。前者不惩罚模型自身高概率输出的错误,后者会。把后者直接作为优化对象不可行,因为 没有解析形式;可行的替代是用参数化函数 拟合人类比较,再对 做期望最大化。

这一替代引入两个新问题,本篇余下部分分别处理。其一,如何从成对比较中得到 ,对应第 2、3 节。其二,有了 后如何优化 而不退化为对 的对抗性搜索,对应第 4 至 7 节。

2 Bradley–Terry 偏好模型

设每条回复 对应一个隐变量 ,其中 是待估的确定性分数, 独立同分布且服从标准 Gumbel 分布,其累积分布函数为 。两条回复被比较时,标注者选择分数更高者,因此

把 的分布积分掉:

其中 是 的密度。令 ,利用 与 ,并作替换 、:

这就是 Bradley–Terry 模型(Bradley–Terry model):偏好概率只依赖两条回复的分数差。记 ,则 ,等价地 ,即分数差等于偏好概率的对数几率。

给定来自 的 对独立比较,负对数似然为

对分数求梯度。设 ,利用 ,得

两式之和为零。这不是巧合: 只以差值形式进入损失,给同一提示下所有回复的分数同时加一个常数 , 不变,损失不变。因此奖励模型在同一提示内只能被识别到相差一个常数,其绝对数值没有意义。这一性质在 DPO与偏好优化 中直接导致配分函数相消,是两篇推导的连接点。

Bradley–Terry 与 Elo 评分是同一模型的两种写法。Elo 的期望得分为

故 Elo 分与 BT 分数满足 。表 1 给出常用偏好概率对应的分数差与 Elo 差。分数差衡量偏好强度: 表示两条回复被认为同等好, 越大表示判断越稳定;标注噪声会压缩可观测的 ,因为随机翻转的标签使经验偏好概率向 收缩。

表 1 偏好概率、对数几率与 Elo 差

偏好概率 分数差 Elo 差
0.550.20134.9
0.600.40570.4
0.700.847147.2
0.801.386240.8
0.902.197381.7
0.994.595798.3

3 奖励模型的训练与偏差

奖励模型的常见形式是在语言模型最后一层隐状态上接一个标量头:

其中 是回复最后一个 token 位置的隐状态, 与 是新增输出头。主干从 SFT 模型初始化,输出头随机初始化。从 SFT 初始化的原因是奖励模型必须理解回复的语义,从零训练在数万对数据上无法收敛;输出头随机初始化的原因是 SFT 的下一 token 头输出的是词表分布,与标量分数无关。

训练细节有四项需要注意。

第一是数据。每对比较由同一提示下的两条回复组成,标注者按规范选择更好的一条,可选「同等好」或「都差」。同一对常由多人标注,取多数票;标注者内部一致性决定了奖励模型的上限,一致性低于约七成时,剩余标签噪声会使奖励模型在留出集上的准确率无法继续提升。为消除位置偏差,训练时把每对的左右顺序随机交换,使 出现在前与出现在后的样本各占一半。

第二是损失。除式中的对数似然外,常在分数差上减去间隔 :。间隔使正确排序的样本在 后梯度为零,抑制对已正确样本的继续推动。间隔的取值依赖分数尺度,而分数尺度本身不受约束,因此间隔与学习率需要联合调节。

第三是过拟合。奖励模型只需学会排序,不需要精确复现标注者的分数;但训练轮数增多时,它会记住具体样本的措辞。可观测的迹象是训练集成对准确率继续上升而留出集准确率下降。通常只训练一至两个 epoch,并按留出集准确率选择检查点。留出集应按提示划分而不是按回复划分,否则同一提示的相似回复会同时出现在训练与验证中,准确率虚高。

第四是长度偏差。标注者在两条回复信息量接近时倾向于选择更长、结构更完整的一条,奖励模型因此学到与长度相关的特征。该偏差在强化学习阶段被放大:策略只要增加长度就能提高分数,于是输出变长,而真实质量未必提高。可检验的度量是按回复长度分桶统计奖励模型准确率与平均分数:若同一桶内准确率显著低于总体,说明模型部分依赖长度。缓解手段包括在构造比较数据时控制两条回复的长度差、在奖励中显式减去长度惩罚项、以及在评估时固定长度比较。

奖励的数值尺度是任意的:给 乘以正常数 或加上常数,排序不变,BT 似然只差一个温度。但第 4 节的目标函数中 与奖励同时出现,因此改变奖励尺度等价于改变 的有效值。这一点在实现中经常被忽略,见易错点第 3 条。

4 KL 正则化目标与最优策略

把奖励模型当作环境奖励,并加入 KL 约束,得到本篇的核心目标:

KL 项有两个作用,二者都改变最优解,不是训练技巧。

其一是限制策略偏离参考策略,从而限制奖励模型被滥用的空间。奖励模型只在偏好数据覆盖的分布附近可靠;策略远离该分布时, 的输出是外推,误差随距离增长。KL 项对 在 低概率处的概率质量施加随概率比对数增长的惩罚:被积函数为 ,当 而 时该值趋于无穷。因此最优策略不会把质量搬到参考策略几乎不产生的位置。

其二是保持多样性,避免熵塌缩。若去掉 KL 项,目标变为 ,其最优解是全部质量集中在 上的退化分布。对语言模型而言,这表现为对同一提示反复输出同一条高分回复、以及在采样时失去多样性。KL 项使策略在提高奖励的同时保留参考策略的概率结构,温度 决定保留多少。

求解该目标。由于 只通过条件分布进入,且约束在每个 上独立,可以逐 求解:

构造拉格朗日函数,乘子为 :

对单个 求偏导并令其为零:

整理得

两边取指数,记 ,由归一化条件定出常数因子,得到

目标函数是 的严格凹函数:第一项对 线性,第二项是 KL 的负值,而 KL 在 上严格凸,故第二项严格凹。因此驻点即全局唯一最优解。把 代回目标,利用一阶条件 ,得最优值

式 说明最优策略是参考策略按奖励指数加权的倾斜分布。 时 ; 时质量集中到 的最大值点。DPO与偏好优化 把该式反解为奖励,再代入 Bradley–Terry,从而消去 。

最后一个技术点是 KL 的逐 token 分解。由序列概率的链式法则,

推导的第一步只是把联合概率拆成条件概率之积,第二步把对 的期望按时间顺序分解。该式说明序列级 KL 等于逐位置 KL 之和,因此可以在每个 token 上施加惩罚,而不改变目标。对一条采样轨迹,,故逐 token 惩罚之和是序列级 KL 的无偏样本估计。这是第 5 节把 KL 写进逐 token 奖励的依据。

5 PPO:裁剪目标、优势与价值网络

把生成过程写成马尔可夫决策过程:状态 ,动作 ,转移为确定性拼接,终止于结束符或长度上限。策略 就是语言模型的下一 token 分布。PPO 优化的是重要性采样的替代目标。设 为采样该批轨迹时的策略,

裁剪的作用可以逐情形读出。当 且 时, 取 ,与 无关,梯度为零:策略已经在该动作上比旧策略更自信,继续增大比值不再获得收益。当 且 时同理。其余情形 取 ,梯度与策略梯度一致。因此该目标在「有利方向上的过度更新」处截断,在「不利方向」上始终保留惩罚,构成对替代目标的悲观下界。 常取 。

优势估计采用广义优势估计(generalized advantage estimation,GAE)。设 TD 残差

则

时 ,方差小但依赖价值网络的准确性; 时 ,即蒙特卡洛回报减基线,无偏但方差大。 在两者之间插值。语言模型任务中通常取 ,因为回合长度有限且不存在真实折扣需求。

价值网络 是与策略独立的语言模型加标量头,从奖励模型或 SFT 模型初始化,用均方误差对回报做回归:

其中 为自举的回报目标。价值网络与策略共享主干会引入两个目标的梯度干扰,实践中通常分开。

KL 惩罚以奖励塑形的方式进入。对第 个 token 定义

并在终止位置加上奖励模型的分数:

于是整条轨迹的塑形回报为

右端第二项中的 正是目标函数中 KL 的被积函数。该等式是精确的,因为逐 token 对数比之和等于序列对数比。需要说明一处近似:塑形奖励依赖 ,而策略梯度定理假设奖励与参数无关;PPO-RLHF 的常见实现把 视为批内固定的常数,只对策略项求导。另一种写法是把 直接作为损失项加入并对它求导。两种写法在实现中都存在,区别在于是否计入 KL 项自身的梯度。

PPO 的总损失为

其中 为策略熵, 为熵奖励系数。RLHF 中熵奖励常设为 0 或很小,因为 KL 项已提供对分布退化的约束。

6 训练流程与显存

完整流程分为七步。

  1. 用 SFT 模型初始化策略 ,复制一份冻结为 ,用偏好数据训练奖励模型 并冻结。
  2. 从提示池取一批 ,用当前策略采样回复 ,记录每个位置的 与 。
  3. 用 给每条完整回复打分,按第 5 节的公式把分数与逐 token KL 惩罚合成为 。
  4. 用价值网络计算 与 ,并对批内优势做标准化。
  5. 在同一批数据上做若干轮 PPO 更新,同时最小化策略损失与价值损失。
  6. 若 KL 超过目标值则增大 ,低于目标值则减小 ,使策略偏移维持在设计范围内。
  7. 丢弃该批数据,回到第 2 步。
flowchart TD
    S["SFT 模型"] --> P["策略网络"]
    S --> R["参考策略 冻结"]
    D["成对偏好数据"] --> RM["奖励模型训练"]
    RM --> FR["奖励模型 冻结"]
    P --> RO["采样回复"]
    RO --> SC["奖励模型打分"]
    RO --> KL["逐 token KL 惩罚"]
    SC --> RS["奖励塑形"]
    KL --> RS
    RS --> GA["GAE 优势估计"]
    GA --> UP["PPO 裁剪更新"]
    UP --> CK["检查 KL 是否超目标"]
    CK --> RO

四个模型同时驻留显存是 RLHF 的主要成本来源。以 7B 参数、bf16 权重、Adam 优化器、混合精度训练为例,单模型权重占 字节 GB;每个可训练参数需要两个 fp32 动量状态共 8 字节,即 56 GB,另需 fp32 主权重 28 GB。合计见表 2。

表 2 7B 模型四模型 PPO 的显存下界

模型角色权重优化器状态与 fp32 主权重小计
策略 训练14 GB84 GB98 GB
价值 训练14 GB84 GB98 GB
参考 冻结14 GB014 GB
奖励 冻结14 GB014 GB
合计56 GB168 GB224 GB

224 GB 尚不含激活值与采样缓冲。以批大小 64、序列长度 1024、32 层、隐藏维 4096 估计,单层激活约为 字节 GB,即使开启梯度检查点,激活仍占数 GB 量级。因此 7B 的 PPO 在 80 GB 显卡上至少需要 4 张,留出余量后通常配置 8 张。降低显存的三条途径分别作用于不同项:FSDP 或 ZeRO-3 切分权重与优化器状态;LoRA 只训练少量参数,使优化器状态降到 1 GB 以下,但四个基座模型仍需 56 GB;把参考模型与奖励模型的推理放到单独的设备池。

7 不稳定性来源

RLHF 的训练曲线比 SFT 更容易发散,来源可分为四类。

奖励黑客。策略在奖励模型的高分区域搜索,找到人类评分规范未覆盖的模式,例如重复某段被标注者偏好的句式、堆叠礼貌用语、在答案前插入冗长的背景陈述。机制是策略优化的对象是 而不是 ,两者在训练分布外的一致性没有保证。

方差。奖励只在序列终止时给出,中间的逐 token 奖励仅来自 KL 惩罚,其尺度通常比终端奖励小两个数量级以上。当 较小或回复较长时,优势估计的方差主要来自终端项,策略梯度的信噪比下降。PPO 用裁剪与批内优势标准化缓解,但不能消除。

超参数敏感。、、学习率、每批更新轮数、采样温度都影响结果。 过小导致策略迅速偏离并被奖励模型利用, 过大导致策略几乎不更新;学习率对 PPO 的容忍区间比 SFT 窄,通常比 SFT 小一到两个数量级。

奖励模型过优化。随着策略与参考策略的 KL 增大,代理奖励持续上升,而真实质量先升后降。转折点的位置依赖奖励模型的质量与数据覆盖,无法从代理奖励曲线上直接读出,需要独立的评估集。

可检验的监控项包括:批内平均 KL、回复平均长度、策略熵、奖励分数的分布、以及固定提示集上对抗评估的胜率。任何一个指标单独变化都不足以判定训练正常。

8 拒绝采样与 best-of-n

当目标只是提升输出质量而不要求策略分布精确最优时,可以用采样加筛选替代 PPO。

best-of-n 在推理时从参考策略采样 条回复,用奖励模型打分后取最高的一条:

它不需要训练,代价是推理成本变为 倍。其分布与参考策略的 KL 有上界。设 为被选中样本的下标, 是样本集合的确定性函数,输出 的分布记为 。由 KL 的链式法则与凸性,

其中 为互信息。第一步的依据是 ,而按 取平均后的 KL 不小于平均分布的 KL,这由 KL 对其第一个参数的凸性给出;第二步是互信息不超过熵;第三步是 个取值的熵上界。因此 时 KL 不超过 nat,与 无关。

拒绝采样微调(rejection sampling fine-tuning)把筛选结果用于训练:对每个提示采样多条,保留奖励高于阈值者,在其上做 SFT。它可以迭代,等价于用奖励模型做离线的策略改进。与 PPO 的差别在于数据来自旧策略且不做重要性修正,因此策略改进的幅度受参考策略覆盖的限制。

表 3 三种做法的对比

维度PPO拒绝采样微调best-of-n
是否训练是是否
采样成本每步在线采样一次性离线采样每次推理 倍
奖励模型位置训练时在线打分训练前筛选推理时打分
KL 控制显式 间接,由筛选阈值决定有 上界
主要风险奖励黑客、发散分布偏移推理延迟

适用条件不同。若参考策略已在好回复上有不可忽略的概率,best-of-n 能以推理成本换取大部分收益,且没有训练风险;若好回复的概率接近零,采样再多样也选不出来,此时需要 PPO 或 DPO与偏好优化 改变策略本身。

9 评估

对齐阶段的评估要回答三个不同的问题,度量不能混用。

第一,奖励模型是否可信。指标是留出集成对准确率、按长度与领域分桶的准确率、以及校准度:把预测的 分桶,与桶内实际胜率比较,若系统偏离说明分数尺度失真。准确率高但校准差的奖励模型在 PPO 中仍可能被利用。

第二,策略是否真的更符合偏好。指标是与 SFT 基线的成对胜率,评判者可以是人或更强的模型。评判协议必须固定,并控制长度:若不控制,胜率会同时反映长度差异。通常同时报告原始胜率与长度匹配后的胜率。

第三,是否付出代价。指标包括与参考策略的 KL、输出长度分布、采样多样性、通用能力回归集上的分数、以及安全评估集的通过率。对齐税表现为通用能力下降或过度拒答,后者可用良性请求的拒答率度量。

单一指标都可能被优化。奖励分数只能说明代理目标,胜率只能说明评判者的偏好,二者都不等于真实效用。评估集必须与训练用的偏好数据分离,且提示来自不同来源。

关键直觉

RLHF 可以视为在策略空间上求解一个带 KL 正则的期望奖励最大化问题:奖励模型给出方向,KL 项限定搜索半径,PPO 是在该半径内做随机梯度上升的数值方法。KL 项不是可选的稳定技巧,它改变最优解:去掉它,最优策略退化为奖励模型的 argmax;保留它,最优策略是参考策略按 加权的倾斜分布。这一表述与定义中的目标函数一致,KL 出现在目标函数内部,而不是训练循环的外部约束。

例子与代码

先手算一个成对样本。设奖励模型对两条回复的打分为 、,则 ,

对分数的梯度为

若奖励是特征的线性函数 ,第一对的特征差为 ,则这一对对 的梯度贡献为 。四对样本的完整计算如下表,其中 。

表 4 四对样本的初始损失

对
10.500.6224590.4741
2−0.280.4304540.8431
30.320.5793240.5458
40.320.5793240.5458

四项平均为 ,加上 得总损失 。第二对样本的 为负,说明初始奖励模型把较差的一条排在了前面,成对准确率为 。

第一段代码用 NumPy 实现上述计算,并用中心差分核对解析梯度,最后做一步梯度下降。

"""Bradley-Terry 奖励模型:损失、解析梯度、数值梯度与一步更新(numpy 2.x)。"""
import numpy as np

# 三维特征可理解为信息量、结构完整度、简洁度的规则取值
Phi_w = np.array([[2.0, 1.2, 0.3],
                  [1.5, 1.2, 0.4],
                  [1.2, 1.2, 0.7],
                  [0.9, 1.8, 0.7]])
Phi_l = np.array([[0.5, 0.2, 0.3],
                  [1.2, 0.9, 2.4],
                  [0.4, 0.6, 0.5],
                  [0.7, 0.9, 0.2]])
w = np.array([0.2, 0.2, 0.2])
l2 = 1e-2


def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))


def loss_and_grad(w):
    delta = Phi_w @ w - Phi_l @ w                       # 每对的奖励差 Delta_i
    p = sigmoid(delta)
    loss = -np.mean(np.log(p)) + 0.5 * l2 * (w @ w)     # 负对数似然加 L2
    # dL/dDelta = -(1-p),而 dDelta/dw = phi_w - phi_l
    grad = np.mean(-(1.0 - p)[:, None] * (Phi_w - Phi_l), axis=0) + l2 * w
    return loss, grad, delta, p


loss, grad, delta, p = loss_and_grad(w)
print(f"初始 delta: {np.round(delta, 4).tolist()}")
print(f"初始 p: {np.round(p, 6).tolist()}")
print(f"初始损失: {loss:.6f}")
print(f"解析梯度: {np.round(grad, 6).tolist()}")

# 中心差分核对解析梯度
eps = 1e-6
num = np.zeros_like(w)
for i in range(3):
    wp, wm = w.copy(), w.copy()
    wp[i] += eps
    wm[i] -= eps
    num[i] = (loss_and_grad(wp)[0] - loss_and_grad(wm)[0]) / (2 * eps)
print(f"数值梯度: {np.round(num, 6).tolist()} 最大偏差: {np.abs(num - grad).max():.2e}")

# 一步梯度下降后重新计算损失与成对准确率
for step in range(1, 6):
    loss, grad, delta, p = loss_and_grad(w)
    w = w - 1.0 * grad
    if step in (1, 5):
        cur_loss, _, cur_delta, _ = loss_and_grad(w)
        print(f"step {step} 损失 {cur_loss:.6f} 准确率 {np.mean(cur_delta > 0):.2f} "
              f"delta {np.round(cur_delta, 4).tolist()}")

# Elo 换算:R_w - R_l = 400 * Delta / ln(10)
for q in (0.6, 0.8, 0.9):
    d = np.log(q / (1 - q))
    print(f"p={q:.1f} delta={d:.4f} Elo 差={400 * d / np.log(10):.1f}")

预期输出如下。

初始 delta: [0.5, -0.28, 0.32, 0.32]
初始 p: [0.622459, 0.430454, 0.579324, 0.579324]
初始损失: 0.602795
解析梯度: [-0.287463, -0.292855, 0.213155]
数值梯度: [-0.287463, -0.292855, 0.213155] 最大偏差: 1.29e-11
step 1 损失 0.420786 准确率 1.00 delta [1.224, 0.3204, 0.6831, 0.5345]
step 5 损失 0.210273 准确率 1.00 delta [2.7044, 1.4596, 1.4382, 1.0372]
p=0.6 delta=0.4055 Elo 差=70.4
p=0.8 delta=1.3863 Elo 差=240.8
p=0.9 delta=2.1972 Elo 差=381.7

这段代码在做什么:Phi_w 与 Phi_l 是四对样本的特征,loss_and_grad 先算每对的奖励差 ,再用 得到偏好概率,取负对数后与 L2 项相加;梯度按 计算;中心差分用于验证该式;最后用 做五步梯度下降并打印损失与准确率。

为什么这样验证:解析梯度与数值梯度的最大偏差为 ,说明链式法则的实现正确。仅看损失下降不足以说明实现正确,因为梯度符号反了时损失也会在错误方向上变化,数值梯度提供了独立参照。

去掉会怎样:去掉 L2 项,损失变为 ,在可分数据上权重会持续增大,间隔无上界;去掉梯度中的 因子,等价于对所有样本使用相同权重,已正确且间隔大的样本会继续推动权重,训练后期损失下降但留出集准确率下降。准确率在第 1 步即达到 ,这是三维特征线性可分的结果;真实数据上准确率通常缓慢上升并在某一轮后回落,回落点即过拟合起点。

第二段代码计算逐 token KL 塑形奖励与 GAE 优势,用于核对第 5 节的公式。

"""逐 token KL 惩罚与 GAE 优势估计(numpy 2.x)。"""
import numpy as np

beta, gamma, lam = 0.1, 1.0, 0.95
kl = np.array([0.02, 0.05, 0.10, 0.03])        # 每个位置的 log(pi_theta / pi_ref)
r = -beta * kl                                  # 逐 token KL 惩罚
r[-1] += 1.5                                    # 终止位置加入奖励模型分数
V = np.array([0.90, 1.00, 1.10, 1.20])          # 价值网络给出的状态价值
V_next = np.append(V[1:], 0.0)                  # 终止状态价值为 0

delta = r + gamma * V_next - V                  # TD 残差
adv = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))):           # 从后向前累计
    running = delta[t] + gamma * lam * running
    adv[t] = running

ret = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))):           # lambda=1 时的蒙特卡洛回报
    running = r[t] + gamma * running
    ret[t] = running

print(f"塑形奖励: {r.tolist()}")
print(f"TD 残差: {np.round(delta, 4).tolist()}")
print(f"GAE 优势: {np.round(adv, 4).tolist()}")
print(f"蒙特卡洛回报: {np.round(ret, 4).tolist()}")
print(f"MC 优势减 GAE 优势: {np.round((ret - V) - adv, 4).tolist()}")

预期输出如下。

塑形奖励: [-0.002, -0.005, -0.01, 1.497]
TD 残差: [0.098, 0.095, 0.09, 0.297]
GAE 优势: [0.5241, 0.4485, 0.3722, 0.297]
蒙特卡洛回报: [1.48, 1.482, 1.487, 1.497]
MC 优势减 GAE 优势: [0.0559, 0.0335, 0.0148, 0.0]

这段代码在做什么:kl 是四个位置上策略相对参考策略的对数比,乘以 后成为逐 token 奖励,末位再加 1.5 的终端奖励;delta 按 计算;两个反向循环分别得到 GAE 优势与 的蒙特卡洛优势。

为什么这样看:GAE 优势在越靠近终止的位置越接近蒙特卡洛优势,两者之差从 单调降到 。这正是 的收缩效果:离终端越远, 的幂次越高,自举的成分越多。若 ,该差值在各位置全为零;若 ,优势退化为 TD 残差,此时 远小于 ,信用分配只覆盖一步。

去掉会怎样:若把 KL 惩罚写成 ,塑形奖励全部变号,策略会被推向与参考策略差异更大的方向,KL 单调上升。若终端奖励加在第一个位置而不是最后一个位置,GAE 仍能传播,但优势的时序结构反转,早期 token 获得与因果顺序不符的信用。

第三段是 PPO 损失函数的 PyTorch 片段,包括比值、裁剪、两种优势写法与 KL 惩罚。

"""PPO 裁剪目标与逐 token KL 惩罚(PyTorch 2.x)。"""
import torch
import torch.nn.functional as F

B, T, V = 2, 3, 4
base = torch.arange(B * T * V, dtype=torch.float32).reshape(B, T, V).mul_(0.1)
ref = base + torch.tensor([0.0, 0.3, -0.2, 0.1])      # 参考策略 logits
old = base + torch.tensor([0.1, -0.1, 0.2, 0.0])      # 采样时的策略 logits
new = base + torch.tensor([0.0, 0.5, -0.3, 0.2])      # 当前策略 logits
actions = torch.tensor([[0, 1, 2], [3, 2, 0]])
mask = torch.tensor([[1.0, 1.0, 1.0], [1.0, 0.0, 0.0]])  # padding 位置为 0
adv = torch.tensor([[0.8, -0.4, 1.2], [0.5, 0.0, 0.0]])  # GAE 输出,padding 为 0


def token_logp(logits, act):
    return F.log_softmax(logits, dim=-1).gather(-1, act.unsqueeze(-1)).squeeze(-1)


lp_ref = token_logp(ref, actions)
lp_old = token_logp(old, actions)
lp_new = token_logp(new, actions)
ratio = torch.exp(lp_new - lp_old)                     # 重要性比值
eps, beta = 0.2, 0.1

surr1 = ratio * adv
surr2 = torch.clamp(ratio, 1 - eps, 1 + eps) * adv
pg_loss = -(torch.min(surr1, surr2) * mask).sum() / mask.sum()

log_r = lp_ref - lp_new                                # log(pi_ref / pi_theta)
kl = torch.exp(log_r) - log_r - 1.0                    # k3 估计,逐 token 非负
kl_pen = beta * (kl * mask).sum() / mask.sum()
total = pg_loss + kl_pen

print(f"ratio: {[[round(v, 4) for v in row] for row in ratio.tolist()]}")
print(f"策略损失 {pg_loss:.6f} KL {kl:.6f} KL 惩罚 {kl_pen:.6f} 总损失 {total:.6f}")

预期输出如下。

ratio: [[1.017, 2.048, 0.6817], [1.3728, 0.6817, 1.017]]
策略损失 -0.353118 KL 0.019601 KL 惩罚 0.001960 总损失 -0.351158

这段代码在做什么:token_logp 取对数 softmax 后在动作位置 gather,得到逐 token 对数概率;ratio 是当前策略与采样策略的比值;surr1 与 surr2 分别是不裁剪与裁剪后的替代目标,取逐元素最小值后加负号成为损失;kl 用 k3 估计 ,其中 ,该估计对 无偏且逐样本非负;mask 把 padding 位置从分子与分母中同时移除。

为什么用 k3 而不是直接取 :后者虽然无偏,但单样本可为负,加入奖励后会把负的 KL 当作正收益,放大方差。k3 由 的指数展开得到,恒非负。本例中四个未屏蔽位置的逐 token KL 为 、、、,按未屏蔽位置求均值得 。

裁剪的行为可以直接从比值读出。第 1 行第 2 列比值 超过 ,但该位置优势为 ,属于不利方向, 取未裁剪的 ,裁剪值 较大而不被选中;第 2 行第 1 列比值 超过 ,优势为 ,属于有利方向, 取裁剪后的 ,未裁剪的 被丢弃,收益停止增长;第 1 行第 3 列比值 低于 ,优势为 ,同样属于不利方向, 取未裁剪的 。三处合起来说明:裁剪只在有利方向越界时把替代目标替换为界值,不利方向的偏差始终保留在目标中。

去掉会怎样:去掉裁剪,比值可以任意大,一次更新就可能把策略推离采样分布,后续批次的优势估计失效;去掉 mask,padding 位置的对数概率会进入均值,本例中 padding 位置的 KL 为 ,数值小但方向随机,批内平均被无关位置稀释;把 torch.min 换成 torch.max,目标变为乐观估计,策略会利用被高估的比值,训练早期损失下降更快但随后崩溃。

易错点

以下六条均可在训练日志、梯度检查或显存统计中直接验证。

1. KL 方向与符号写反:目标中是 ,塑形奖励应为 。若写成 ,训练会主动扩大与参考策略的差异,表现为 KL 单调上升而奖励上升。验证方法是打印前 100 步的 KL 估计,正常训练应缓慢上升并稳定在目标附近。

2. 参考模型未冻结:把 ref_model 与策略指向同一对象、忘记 requires_grad_(False)、或让参考模型停留在训练模式。前两者使 KL 恒为 0,损失退化为纯奖励最大化;后者使 dropout 打开,同一回复两次前向得到不同对数概率,KL 估计带噪声。验证方法是检查参考模型参数的 grad 全为 None,且同一批数据两次前向的 KL 完全相同。

3. 奖励归一化改变 :把奖励除以滑动标准差 等价于把 变成 。若不重新调节 ,KL 约束的强度被静默改变。验证方法是记录塑形奖励的均值与标准差,并比较不同归一化方案下的 KL 曲线;两条曲线的 KL 应可比,否则说明有效 不同。

4. 长度偏差未被控制:奖励模型对长度的偏好被策略放大,输出变长而质量不变。评估若不控制长度,胜率会同时反映长度差异。验证方法是同时报告输出长度分布、按长度分桶的奖励准确率、以及长度匹配后的胜率。

5. 优势符号与裁剪方向错误:优势应为回报减价值 。若写成 ,梯度上升会压低高回报动作。裁剪目标中 的作用是在有利方向上取悲观值,换成 会失去下界。验证方法是检查 与 的相关性应接近 。

6. 显存估算只计权重:7B 四个模型的权重为 56 GB,加上两个可训练模型的 Adam 状态与主权重共 224 GB。只按权重规划会在训练开始后因 OOM 中断,且 OOM 出现在第一步优化器状态分配时,而不是模型加载时。

关联笔记

  • 前置 指令微调SFT:SFT 提供策略初始化与参考策略,其掩码与模板决定 RLHF 的输入格式;SFT 模型的输出分布同时决定采样探索的起点。
  • 前置 预训练-微调-对齐pipeline:该篇给出预训练、SFT、对齐三段的衔接关系,本篇是其第三段的展开。
  • 前置 自回归生成与采样:序列概率分解与采样温度决定 rollout 的分布,KL 的逐 token 分解也建立在该分解上。
  • 后续 DPO与偏好优化:从本篇的目标函数与闭式解出发,消去奖励模型与在线采样,得到等价的分类损失。
  • 对照 模型评估矩阵:对齐阶段需要区分代理奖励、胜率与真实效用三类指标,该篇给出指标选择与混淆矩阵的框架。

达标检测

  • [ ] 写出 Bradley–Terry 的负对数似然与 ,并说明为什么 只能被识别到相差一个 。
  • [ ] 手算 时的 、 与两个偏导;再算 ,比较两者的梯度权重。
  • [ ] 用拉格朗日乘子法推出 ,并验证最优目标值等于 。
  • [ ] 证明序列级 KL 可分解为逐 token KL 之和,并说明该分解为什么允许把 KL 写进逐 token 奖励。
  • [ ] 在 7B、bf16、Adam 的假设下计算四模型 PPO 的显存下界,并说明 FSDP 与 LoRA 分别削减哪一项。
  • [ ] 运行第一段代码,交换第二对样本的 Phi_w 与 Phi_l,观察初始损失、准确率与梯度符号的变化并解释。
  • [ ] 运行第二段代码,把 分别改为 与 ,比较 GAE 优势与蒙特卡洛优势的差值变化。
  • [ ] 推导 best-of-n 的 KL 上界,给出 时的数值,并说明该上界与 无关的原因。

参考来源

  • Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的三段流程与四模型配置、第 5 节的 PPO 与 KL 惩罚、第 7 节的奖励模型过优化现象。
  • Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 4 节闭式最优策略与最优值的推导,以及第 8 节与直接偏好优化的关系。
  • Hugging Face TRL 官方文档(PPOTrainer、RewardTrainer、PPOConfig 的配置说明) —— 对应第 3 节的奖励模型训练接口、第 5 节的裁剪与价值损失实现、第 6 节的工程配置。
  • 张奇等,《大规模语言模型:从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 2 节的偏好建模、第 3 节的奖励模型训练与第 5 节的策略梯度推导。
  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 3 章与第 5 章 —— 对应 KL 散度与期望的定义、最大似然估计的最优解性质。