对齐-RLHF
定义
基于人类反馈的强化学习(reinforcement learning from human feedback,RLHF)指先用人类成对比较数据训练奖励模型,再以该奖励模型给出的标量分数为奖励、在 KL 约束下用策略梯度方法优化语言模型的三段式流程。其优化目标为
其中 KL 散度定义为
符号逐项说明如下。
| 符号 | 含义 |
|---|---|
| 提示词 token 序列,取自提示分布 | |
| 模型生成的回复 token 序列, 为其长度 | |
| 参数为 的策略,即自回归语言模型, | |
| 参考策略,由 SFT 模型复制并冻结得到 | |
| 奖励模型,参数为 ,输入完整回复输出一个实数 | |
| KL 项系数,单位为 nat,控制策略允许偏离参考策略的程度 | |
| logistic 函数, | |
| 同一提示下被标注为更优与被标注为更差的回复 | |
| 成对偏好数据集,元素为 ,一对中的两条回复共享同一提示 | |
| 配分函数, | |
| PPO 的重要性比值, | |
| 优势函数,表示在状态 采取动作 相对平均水平的好坏 | |
| 价值网络,参数为 ,估计状态 的期望回报 | |
| 折扣因子与 GAE 的偏差方差折中系数 | |
| PPO 的裁剪半径 |
术语说明。目标错位(objective misalignment)指训练目标与真实目标不一致:预训练与 SFT 最大化的都是数据分布上的对数似然,而部署时要求的是人类效用。有用性(helpfulness)指回复完成用户意图的程度;无害性(harmlessness)指回复不产生物理、法律或信息层面的损害;诚实性(honesty)指回复不陈述模型无法支持的内容。奖励模型(reward model,RM)指把回复映射为标量的可学习函数,用作人类偏好的代理。奖励黑客(reward hacking)指策略找到奖励模型的高分区域但该区域并不对应真实偏好。参考策略(reference policy)指 KL 项中作为锚点的冻结模型。优势(advantage)是动作价值与状态价值之差。拒绝采样(rejection sampling)指从策略采样多条回复、按奖励筛选后再用于训练。最优 n 选一(best-of-n,BoN)指推理时采样 条并按奖励模型取最高分的一条。
本篇讨论的是 InstructGPT 式流程:SFT、奖励建模、PPO 三段依次进行。不涉及直接偏好优化,后者见 DPO与偏好优化。
为什么重要
SFT 的目标函数是示范数据上的条件对数似然,其最优解是示范分布 本身。这带来两个结构性限制。第一,它拟合的是频次而不是偏好:同一提示下若同时存在一条好回复与一条差回复,SFT 只会按二者在数据中出现的比例分配概率,无法表达「前者优于后者」这一序关系。第二,它从不用模型自己的输出做训练:模型在推理时产生的错误分布从未进入损失函数,因此错误不会被针对性地压低。
对齐阶段要解决的问题可以写成另一个优化问题:最大化人类效用 的期望。 无法直接写出,但人可以比较两条回复。比较比生成便宜:写出一条高质量回复需要领域知识与写作时间,判断两条回复哪条更好只需要阅读与判断。因此偏好数据的单位成本所携带的信息量高于示范数据,这是把监督信号从「模仿」切换为「比较」的经济原因。
没有这一阶段,模型的行为由示范数据的表面统计决定:倾向于给出长度接近训练均值的回复,在不确定时给出形式上完整但内容空洞的答案,对格式的遵守程度取决于训练集中该格式的比例。这些行为无法仅靠增加 SFT 数据消除,因为它们的根源是目标函数只约束 ,而 不编码「更好」。
在本库的位置:本篇以 指令微调SFT 产出的 SFT 模型为起点,把「下一个 token 的似然」替换为「人类偏好的标量代理」;预训练-微调-对齐pipeline 给出三段流程的整体视图;DPO与偏好优化 从本篇的目标函数出发,消去显式奖励模型与采样,得到等价的分类损失;模型评估矩阵 提供检验对齐结果的度量。前置知识包括 自回归生成与采样 中的序列概率分解,以及 概率与统计 中的最大似然与 logistic 模型。
原理与推导
1 从最大似然到期望效用
设示范数据服从 ,SFT 求解
对每个 单独看,这是分布 与 之间的交叉熵最小化。由 Gibbs 不等式,
右端第一项与 无关,故最优解为 ,且任意偏离都会使目标下降 。这解释了 SFT 的行为边界:模型学会的是标注者写作分布的近似,而不是「什么算好」。
部署时要求的是
其中 是未知的人类效用。两个目标的差别不只是估计误差:前者的期望取在 上,后者取在 上。前者不惩罚模型自身高概率输出的错误,后者会。把后者直接作为优化对象不可行,因为 没有解析形式;可行的替代是用参数化函数 拟合人类比较,再对 做期望最大化。
这一替代引入两个新问题,本篇余下部分分别处理。其一,如何从成对比较中得到 ,对应第 2、3 节。其二,有了 后如何优化 而不退化为对 的对抗性搜索,对应第 4 至 7 节。
2 Bradley–Terry 偏好模型
设每条回复 对应一个隐变量 ,其中 是待估的确定性分数, 独立同分布且服从标准 Gumbel 分布,其累积分布函数为 。两条回复被比较时,标注者选择分数更高者,因此
把 的分布积分掉:
其中 是 的密度。令 ,利用 与 ,并作替换 、:
这就是 Bradley–Terry 模型(Bradley–Terry model):偏好概率只依赖两条回复的分数差。记 ,则 ,等价地 ,即分数差等于偏好概率的对数几率。
给定来自 的 对独立比较,负对数似然为
对分数求梯度。设 ,利用 ,得
两式之和为零。这不是巧合: 只以差值形式进入损失,给同一提示下所有回复的分数同时加一个常数 , 不变,损失不变。因此奖励模型在同一提示内只能被识别到相差一个常数,其绝对数值没有意义。这一性质在 DPO与偏好优化 中直接导致配分函数相消,是两篇推导的连接点。
Bradley–Terry 与 Elo 评分是同一模型的两种写法。Elo 的期望得分为
故 Elo 分与 BT 分数满足 。表 1 给出常用偏好概率对应的分数差与 Elo 差。分数差衡量偏好强度: 表示两条回复被认为同等好, 越大表示判断越稳定;标注噪声会压缩可观测的 ,因为随机翻转的标签使经验偏好概率向 收缩。
表 1 偏好概率、对数几率与 Elo 差
| 偏好概率 | 分数差 | Elo 差 |
|---|---|---|
| 0.55 | 0.201 | 34.9 |
| 0.60 | 0.405 | 70.4 |
| 0.70 | 0.847 | 147.2 |
| 0.80 | 1.386 | 240.8 |
| 0.90 | 2.197 | 381.7 |
| 0.99 | 4.595 | 798.3 |
3 奖励模型的训练与偏差
奖励模型的常见形式是在语言模型最后一层隐状态上接一个标量头:
其中 是回复最后一个 token 位置的隐状态, 与 是新增输出头。主干从 SFT 模型初始化,输出头随机初始化。从 SFT 初始化的原因是奖励模型必须理解回复的语义,从零训练在数万对数据上无法收敛;输出头随机初始化的原因是 SFT 的下一 token 头输出的是词表分布,与标量分数无关。
训练细节有四项需要注意。
第一是数据。每对比较由同一提示下的两条回复组成,标注者按规范选择更好的一条,可选「同等好」或「都差」。同一对常由多人标注,取多数票;标注者内部一致性决定了奖励模型的上限,一致性低于约七成时,剩余标签噪声会使奖励模型在留出集上的准确率无法继续提升。为消除位置偏差,训练时把每对的左右顺序随机交换,使 出现在前与出现在后的样本各占一半。
第二是损失。除式中的对数似然外,常在分数差上减去间隔 :。间隔使正确排序的样本在 后梯度为零,抑制对已正确样本的继续推动。间隔的取值依赖分数尺度,而分数尺度本身不受约束,因此间隔与学习率需要联合调节。
第三是过拟合。奖励模型只需学会排序,不需要精确复现标注者的分数;但训练轮数增多时,它会记住具体样本的措辞。可观测的迹象是训练集成对准确率继续上升而留出集准确率下降。通常只训练一至两个 epoch,并按留出集准确率选择检查点。留出集应按提示划分而不是按回复划分,否则同一提示的相似回复会同时出现在训练与验证中,准确率虚高。
第四是长度偏差。标注者在两条回复信息量接近时倾向于选择更长、结构更完整的一条,奖励模型因此学到与长度相关的特征。该偏差在强化学习阶段被放大:策略只要增加长度就能提高分数,于是输出变长,而真实质量未必提高。可检验的度量是按回复长度分桶统计奖励模型准确率与平均分数:若同一桶内准确率显著低于总体,说明模型部分依赖长度。缓解手段包括在构造比较数据时控制两条回复的长度差、在奖励中显式减去长度惩罚项、以及在评估时固定长度比较。
奖励的数值尺度是任意的:给 乘以正常数 或加上常数,排序不变,BT 似然只差一个温度。但第 4 节的目标函数中 与奖励同时出现,因此改变奖励尺度等价于改变 的有效值。这一点在实现中经常被忽略,见易错点第 3 条。
4 KL 正则化目标与最优策略
把奖励模型当作环境奖励,并加入 KL 约束,得到本篇的核心目标:
KL 项有两个作用,二者都改变最优解,不是训练技巧。
其一是限制策略偏离参考策略,从而限制奖励模型被滥用的空间。奖励模型只在偏好数据覆盖的分布附近可靠;策略远离该分布时, 的输出是外推,误差随距离增长。KL 项对 在 低概率处的概率质量施加随概率比对数增长的惩罚:被积函数为 ,当 而 时该值趋于无穷。因此最优策略不会把质量搬到参考策略几乎不产生的位置。
其二是保持多样性,避免熵塌缩。若去掉 KL 项,目标变为 ,其最优解是全部质量集中在 上的退化分布。对语言模型而言,这表现为对同一提示反复输出同一条高分回复、以及在采样时失去多样性。KL 项使策略在提高奖励的同时保留参考策略的概率结构,温度 决定保留多少。
求解该目标。由于 只通过条件分布进入,且约束在每个 上独立,可以逐 求解:
构造拉格朗日函数,乘子为 :
对单个 求偏导并令其为零:
整理得
两边取指数,记 ,由归一化条件定出常数因子,得到
目标函数是 的严格凹函数:第一项对 线性,第二项是 KL 的负值,而 KL 在 上严格凸,故第二项严格凹。因此驻点即全局唯一最优解。把 代回目标,利用一阶条件 ,得最优值
式 说明最优策略是参考策略按奖励指数加权的倾斜分布。 时 ; 时质量集中到 的最大值点。DPO与偏好优化 把该式反解为奖励,再代入 Bradley–Terry,从而消去 。
最后一个技术点是 KL 的逐 token 分解。由序列概率的链式法则,
推导的第一步只是把联合概率拆成条件概率之积,第二步把对 的期望按时间顺序分解。该式说明序列级 KL 等于逐位置 KL 之和,因此可以在每个 token 上施加惩罚,而不改变目标。对一条采样轨迹,,故逐 token 惩罚之和是序列级 KL 的无偏样本估计。这是第 5 节把 KL 写进逐 token 奖励的依据。
5 PPO:裁剪目标、优势与价值网络
把生成过程写成马尔可夫决策过程:状态 ,动作 ,转移为确定性拼接,终止于结束符或长度上限。策略 就是语言模型的下一 token 分布。PPO 优化的是重要性采样的替代目标。设 为采样该批轨迹时的策略,
裁剪的作用可以逐情形读出。当 且 时, 取 ,与 无关,梯度为零:策略已经在该动作上比旧策略更自信,继续增大比值不再获得收益。当 且 时同理。其余情形 取 ,梯度与策略梯度一致。因此该目标在「有利方向上的过度更新」处截断,在「不利方向」上始终保留惩罚,构成对替代目标的悲观下界。 常取 。
优势估计采用广义优势估计(generalized advantage estimation,GAE)。设 TD 残差
则
时 ,方差小但依赖价值网络的准确性; 时 ,即蒙特卡洛回报减基线,无偏但方差大。 在两者之间插值。语言模型任务中通常取 ,因为回合长度有限且不存在真实折扣需求。
价值网络 是与策略独立的语言模型加标量头,从奖励模型或 SFT 模型初始化,用均方误差对回报做回归:
其中 为自举的回报目标。价值网络与策略共享主干会引入两个目标的梯度干扰,实践中通常分开。
KL 惩罚以奖励塑形的方式进入。对第 个 token 定义
并在终止位置加上奖励模型的分数:
于是整条轨迹的塑形回报为
右端第二项中的 正是目标函数中 KL 的被积函数。该等式是精确的,因为逐 token 对数比之和等于序列对数比。需要说明一处近似:塑形奖励依赖 ,而策略梯度定理假设奖励与参数无关;PPO-RLHF 的常见实现把 视为批内固定的常数,只对策略项求导。另一种写法是把 直接作为损失项加入并对它求导。两种写法在实现中都存在,区别在于是否计入 KL 项自身的梯度。
PPO 的总损失为
其中 为策略熵, 为熵奖励系数。RLHF 中熵奖励常设为 0 或很小,因为 KL 项已提供对分布退化的约束。
6 训练流程与显存
完整流程分为七步。
- 用 SFT 模型初始化策略 ,复制一份冻结为 ,用偏好数据训练奖励模型 并冻结。
- 从提示池取一批 ,用当前策略采样回复 ,记录每个位置的 与 。
- 用 给每条完整回复打分,按第 5 节的公式把分数与逐 token KL 惩罚合成为 。
- 用价值网络计算 与 ,并对批内优势做标准化。
- 在同一批数据上做若干轮 PPO 更新,同时最小化策略损失与价值损失。
- 若 KL 超过目标值则增大 ,低于目标值则减小 ,使策略偏移维持在设计范围内。
- 丢弃该批数据,回到第 2 步。
flowchart TD
S["SFT 模型"] --> P["策略网络"]
S --> R["参考策略 冻结"]
D["成对偏好数据"] --> RM["奖励模型训练"]
RM --> FR["奖励模型 冻结"]
P --> RO["采样回复"]
RO --> SC["奖励模型打分"]
RO --> KL["逐 token KL 惩罚"]
SC --> RS["奖励塑形"]
KL --> RS
RS --> GA["GAE 优势估计"]
GA --> UP["PPO 裁剪更新"]
UP --> CK["检查 KL 是否超目标"]
CK --> RO
四个模型同时驻留显存是 RLHF 的主要成本来源。以 7B 参数、bf16 权重、Adam 优化器、混合精度训练为例,单模型权重占 字节 GB;每个可训练参数需要两个 fp32 动量状态共 8 字节,即 56 GB,另需 fp32 主权重 28 GB。合计见表 2。
表 2 7B 模型四模型 PPO 的显存下界
| 模型 | 角色 | 权重 | 优化器状态与 fp32 主权重 | 小计 |
|---|---|---|---|---|
| 策略 | 训练 | 14 GB | 84 GB | 98 GB |
| 价值 | 训练 | 14 GB | 84 GB | 98 GB |
| 参考 | 冻结 | 14 GB | 0 | 14 GB |
| 奖励 | 冻结 | 14 GB | 0 | 14 GB |
| 合计 | 56 GB | 168 GB | 224 GB |
224 GB 尚不含激活值与采样缓冲。以批大小 64、序列长度 1024、32 层、隐藏维 4096 估计,单层激活约为 字节 GB,即使开启梯度检查点,激活仍占数 GB 量级。因此 7B 的 PPO 在 80 GB 显卡上至少需要 4 张,留出余量后通常配置 8 张。降低显存的三条途径分别作用于不同项:FSDP 或 ZeRO-3 切分权重与优化器状态;LoRA 只训练少量参数,使优化器状态降到 1 GB 以下,但四个基座模型仍需 56 GB;把参考模型与奖励模型的推理放到单独的设备池。
7 不稳定性来源
RLHF 的训练曲线比 SFT 更容易发散,来源可分为四类。
奖励黑客。策略在奖励模型的高分区域搜索,找到人类评分规范未覆盖的模式,例如重复某段被标注者偏好的句式、堆叠礼貌用语、在答案前插入冗长的背景陈述。机制是策略优化的对象是 而不是 ,两者在训练分布外的一致性没有保证。
方差。奖励只在序列终止时给出,中间的逐 token 奖励仅来自 KL 惩罚,其尺度通常比终端奖励小两个数量级以上。当 较小或回复较长时,优势估计的方差主要来自终端项,策略梯度的信噪比下降。PPO 用裁剪与批内优势标准化缓解,但不能消除。
超参数敏感。、、学习率、每批更新轮数、采样温度都影响结果。 过小导致策略迅速偏离并被奖励模型利用, 过大导致策略几乎不更新;学习率对 PPO 的容忍区间比 SFT 窄,通常比 SFT 小一到两个数量级。
奖励模型过优化。随着策略与参考策略的 KL 增大,代理奖励持续上升,而真实质量先升后降。转折点的位置依赖奖励模型的质量与数据覆盖,无法从代理奖励曲线上直接读出,需要独立的评估集。
可检验的监控项包括:批内平均 KL、回复平均长度、策略熵、奖励分数的分布、以及固定提示集上对抗评估的胜率。任何一个指标单独变化都不足以判定训练正常。
8 拒绝采样与 best-of-n
当目标只是提升输出质量而不要求策略分布精确最优时,可以用采样加筛选替代 PPO。
best-of-n 在推理时从参考策略采样 条回复,用奖励模型打分后取最高的一条:
它不需要训练,代价是推理成本变为 倍。其分布与参考策略的 KL 有上界。设 为被选中样本的下标, 是样本集合的确定性函数,输出 的分布记为 。由 KL 的链式法则与凸性,
其中 为互信息。第一步的依据是 ,而按 取平均后的 KL 不小于平均分布的 KL,这由 KL 对其第一个参数的凸性给出;第二步是互信息不超过熵;第三步是 个取值的熵上界。因此 时 KL 不超过 nat,与 无关。
拒绝采样微调(rejection sampling fine-tuning)把筛选结果用于训练:对每个提示采样多条,保留奖励高于阈值者,在其上做 SFT。它可以迭代,等价于用奖励模型做离线的策略改进。与 PPO 的差别在于数据来自旧策略且不做重要性修正,因此策略改进的幅度受参考策略覆盖的限制。
表 3 三种做法的对比
| 维度 | PPO | 拒绝采样微调 | best-of-n |
|---|---|---|---|
| 是否训练 | 是 | 是 | 否 |
| 采样成本 | 每步在线采样 | 一次性离线采样 | 每次推理 倍 |
| 奖励模型位置 | 训练时在线打分 | 训练前筛选 | 推理时打分 |
| KL 控制 | 显式 | 间接,由筛选阈值决定 | 有 上界 |
| 主要风险 | 奖励黑客、发散 | 分布偏移 | 推理延迟 |
适用条件不同。若参考策略已在好回复上有不可忽略的概率,best-of-n 能以推理成本换取大部分收益,且没有训练风险;若好回复的概率接近零,采样再多样也选不出来,此时需要 PPO 或 DPO与偏好优化 改变策略本身。
9 评估
对齐阶段的评估要回答三个不同的问题,度量不能混用。
第一,奖励模型是否可信。指标是留出集成对准确率、按长度与领域分桶的准确率、以及校准度:把预测的 分桶,与桶内实际胜率比较,若系统偏离说明分数尺度失真。准确率高但校准差的奖励模型在 PPO 中仍可能被利用。
第二,策略是否真的更符合偏好。指标是与 SFT 基线的成对胜率,评判者可以是人或更强的模型。评判协议必须固定,并控制长度:若不控制,胜率会同时反映长度差异。通常同时报告原始胜率与长度匹配后的胜率。
第三,是否付出代价。指标包括与参考策略的 KL、输出长度分布、采样多样性、通用能力回归集上的分数、以及安全评估集的通过率。对齐税表现为通用能力下降或过度拒答,后者可用良性请求的拒答率度量。
单一指标都可能被优化。奖励分数只能说明代理目标,胜率只能说明评判者的偏好,二者都不等于真实效用。评估集必须与训练用的偏好数据分离,且提示来自不同来源。
关键直觉
RLHF 可以视为在策略空间上求解一个带 KL 正则的期望奖励最大化问题:奖励模型给出方向,KL 项限定搜索半径,PPO 是在该半径内做随机梯度上升的数值方法。KL 项不是可选的稳定技巧,它改变最优解:去掉它,最优策略退化为奖励模型的 argmax;保留它,最优策略是参考策略按 加权的倾斜分布。这一表述与定义中的目标函数一致,KL 出现在目标函数内部,而不是训练循环的外部约束。
例子与代码
先手算一个成对样本。设奖励模型对两条回复的打分为 、,则 ,
对分数的梯度为
若奖励是特征的线性函数 ,第一对的特征差为 ,则这一对对 的梯度贡献为 。四对样本的完整计算如下表,其中 。
表 4 四对样本的初始损失
| 对 | |||
|---|---|---|---|
| 1 | 0.50 | 0.622459 | 0.4741 |
| 2 | −0.28 | 0.430454 | 0.8431 |
| 3 | 0.32 | 0.579324 | 0.5458 |
| 4 | 0.32 | 0.579324 | 0.5458 |
四项平均为 ,加上 得总损失 。第二对样本的 为负,说明初始奖励模型把较差的一条排在了前面,成对准确率为 。
第一段代码用 NumPy 实现上述计算,并用中心差分核对解析梯度,最后做一步梯度下降。
"""Bradley-Terry 奖励模型:损失、解析梯度、数值梯度与一步更新(numpy 2.x)。"""
import numpy as np
# 三维特征可理解为信息量、结构完整度、简洁度的规则取值
Phi_w = np.array([[2.0, 1.2, 0.3],
[1.5, 1.2, 0.4],
[1.2, 1.2, 0.7],
[0.9, 1.8, 0.7]])
Phi_l = np.array([[0.5, 0.2, 0.3],
[1.2, 0.9, 2.4],
[0.4, 0.6, 0.5],
[0.7, 0.9, 0.2]])
w = np.array([0.2, 0.2, 0.2])
l2 = 1e-2
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z))
def loss_and_grad(w):
delta = Phi_w @ w - Phi_l @ w # 每对的奖励差 Delta_i
p = sigmoid(delta)
loss = -np.mean(np.log(p)) + 0.5 * l2 * (w @ w) # 负对数似然加 L2
# dL/dDelta = -(1-p),而 dDelta/dw = phi_w - phi_l
grad = np.mean(-(1.0 - p)[:, None] * (Phi_w - Phi_l), axis=0) + l2 * w
return loss, grad, delta, p
loss, grad, delta, p = loss_and_grad(w)
print(f"初始 delta: {np.round(delta, 4).tolist()}")
print(f"初始 p: {np.round(p, 6).tolist()}")
print(f"初始损失: {loss:.6f}")
print(f"解析梯度: {np.round(grad, 6).tolist()}")
# 中心差分核对解析梯度
eps = 1e-6
num = np.zeros_like(w)
for i in range(3):
wp, wm = w.copy(), w.copy()
wp[i] += eps
wm[i] -= eps
num[i] = (loss_and_grad(wp)[0] - loss_and_grad(wm)[0]) / (2 * eps)
print(f"数值梯度: {np.round(num, 6).tolist()} 最大偏差: {np.abs(num - grad).max():.2e}")
# 一步梯度下降后重新计算损失与成对准确率
for step in range(1, 6):
loss, grad, delta, p = loss_and_grad(w)
w = w - 1.0 * grad
if step in (1, 5):
cur_loss, _, cur_delta, _ = loss_and_grad(w)
print(f"step {step} 损失 {cur_loss:.6f} 准确率 {np.mean(cur_delta > 0):.2f} "
f"delta {np.round(cur_delta, 4).tolist()}")
# Elo 换算:R_w - R_l = 400 * Delta / ln(10)
for q in (0.6, 0.8, 0.9):
d = np.log(q / (1 - q))
print(f"p={q:.1f} delta={d:.4f} Elo 差={400 * d / np.log(10):.1f}")
预期输出如下。
初始 delta: [0.5, -0.28, 0.32, 0.32]
初始 p: [0.622459, 0.430454, 0.579324, 0.579324]
初始损失: 0.602795
解析梯度: [-0.287463, -0.292855, 0.213155]
数值梯度: [-0.287463, -0.292855, 0.213155] 最大偏差: 1.29e-11
step 1 损失 0.420786 准确率 1.00 delta [1.224, 0.3204, 0.6831, 0.5345]
step 5 损失 0.210273 准确率 1.00 delta [2.7044, 1.4596, 1.4382, 1.0372]
p=0.6 delta=0.4055 Elo 差=70.4
p=0.8 delta=1.3863 Elo 差=240.8
p=0.9 delta=2.1972 Elo 差=381.7
这段代码在做什么:Phi_w 与 Phi_l 是四对样本的特征,loss_and_grad 先算每对的奖励差 ,再用 得到偏好概率,取负对数后与 L2 项相加;梯度按 计算;中心差分用于验证该式;最后用 做五步梯度下降并打印损失与准确率。
为什么这样验证:解析梯度与数值梯度的最大偏差为 ,说明链式法则的实现正确。仅看损失下降不足以说明实现正确,因为梯度符号反了时损失也会在错误方向上变化,数值梯度提供了独立参照。
去掉会怎样:去掉 L2 项,损失变为 ,在可分数据上权重会持续增大,间隔无上界;去掉梯度中的 因子,等价于对所有样本使用相同权重,已正确且间隔大的样本会继续推动权重,训练后期损失下降但留出集准确率下降。准确率在第 1 步即达到 ,这是三维特征线性可分的结果;真实数据上准确率通常缓慢上升并在某一轮后回落,回落点即过拟合起点。
第二段代码计算逐 token KL 塑形奖励与 GAE 优势,用于核对第 5 节的公式。
"""逐 token KL 惩罚与 GAE 优势估计(numpy 2.x)。"""
import numpy as np
beta, gamma, lam = 0.1, 1.0, 0.95
kl = np.array([0.02, 0.05, 0.10, 0.03]) # 每个位置的 log(pi_theta / pi_ref)
r = -beta * kl # 逐 token KL 惩罚
r[-1] += 1.5 # 终止位置加入奖励模型分数
V = np.array([0.90, 1.00, 1.10, 1.20]) # 价值网络给出的状态价值
V_next = np.append(V[1:], 0.0) # 终止状态价值为 0
delta = r + gamma * V_next - V # TD 残差
adv = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))): # 从后向前累计
running = delta[t] + gamma * lam * running
adv[t] = running
ret = np.zeros_like(delta)
running = 0.0
for t in reversed(range(len(delta))): # lambda=1 时的蒙特卡洛回报
running = r[t] + gamma * running
ret[t] = running
print(f"塑形奖励: {r.tolist()}")
print(f"TD 残差: {np.round(delta, 4).tolist()}")
print(f"GAE 优势: {np.round(adv, 4).tolist()}")
print(f"蒙特卡洛回报: {np.round(ret, 4).tolist()}")
print(f"MC 优势减 GAE 优势: {np.round((ret - V) - adv, 4).tolist()}")
预期输出如下。
塑形奖励: [-0.002, -0.005, -0.01, 1.497]
TD 残差: [0.098, 0.095, 0.09, 0.297]
GAE 优势: [0.5241, 0.4485, 0.3722, 0.297]
蒙特卡洛回报: [1.48, 1.482, 1.487, 1.497]
MC 优势减 GAE 优势: [0.0559, 0.0335, 0.0148, 0.0]
这段代码在做什么:kl 是四个位置上策略相对参考策略的对数比,乘以 后成为逐 token 奖励,末位再加 1.5 的终端奖励;delta 按 计算;两个反向循环分别得到 GAE 优势与 的蒙特卡洛优势。
为什么这样看:GAE 优势在越靠近终止的位置越接近蒙特卡洛优势,两者之差从 单调降到 。这正是 的收缩效果:离终端越远, 的幂次越高,自举的成分越多。若 ,该差值在各位置全为零;若 ,优势退化为 TD 残差,此时 远小于 ,信用分配只覆盖一步。
去掉会怎样:若把 KL 惩罚写成 ,塑形奖励全部变号,策略会被推向与参考策略差异更大的方向,KL 单调上升。若终端奖励加在第一个位置而不是最后一个位置,GAE 仍能传播,但优势的时序结构反转,早期 token 获得与因果顺序不符的信用。
第三段是 PPO 损失函数的 PyTorch 片段,包括比值、裁剪、两种优势写法与 KL 惩罚。
"""PPO 裁剪目标与逐 token KL 惩罚(PyTorch 2.x)。"""
import torch
import torch.nn.functional as F
B, T, V = 2, 3, 4
base = torch.arange(B * T * V, dtype=torch.float32).reshape(B, T, V).mul_(0.1)
ref = base + torch.tensor([0.0, 0.3, -0.2, 0.1]) # 参考策略 logits
old = base + torch.tensor([0.1, -0.1, 0.2, 0.0]) # 采样时的策略 logits
new = base + torch.tensor([0.0, 0.5, -0.3, 0.2]) # 当前策略 logits
actions = torch.tensor([[0, 1, 2], [3, 2, 0]])
mask = torch.tensor([[1.0, 1.0, 1.0], [1.0, 0.0, 0.0]]) # padding 位置为 0
adv = torch.tensor([[0.8, -0.4, 1.2], [0.5, 0.0, 0.0]]) # GAE 输出,padding 为 0
def token_logp(logits, act):
return F.log_softmax(logits, dim=-1).gather(-1, act.unsqueeze(-1)).squeeze(-1)
lp_ref = token_logp(ref, actions)
lp_old = token_logp(old, actions)
lp_new = token_logp(new, actions)
ratio = torch.exp(lp_new - lp_old) # 重要性比值
eps, beta = 0.2, 0.1
surr1 = ratio * adv
surr2 = torch.clamp(ratio, 1 - eps, 1 + eps) * adv
pg_loss = -(torch.min(surr1, surr2) * mask).sum() / mask.sum()
log_r = lp_ref - lp_new # log(pi_ref / pi_theta)
kl = torch.exp(log_r) - log_r - 1.0 # k3 估计,逐 token 非负
kl_pen = beta * (kl * mask).sum() / mask.sum()
total = pg_loss + kl_pen
print(f"ratio: {[[round(v, 4) for v in row] for row in ratio.tolist()]}")
print(f"策略损失 {pg_loss:.6f} KL {kl:.6f} KL 惩罚 {kl_pen:.6f} 总损失 {total:.6f}")
预期输出如下。
ratio: [[1.017, 2.048, 0.6817], [1.3728, 0.6817, 1.017]]
策略损失 -0.353118 KL 0.019601 KL 惩罚 0.001960 总损失 -0.351158
这段代码在做什么:token_logp 取对数 softmax 后在动作位置 gather,得到逐 token 对数概率;ratio 是当前策略与采样策略的比值;surr1 与 surr2 分别是不裁剪与裁剪后的替代目标,取逐元素最小值后加负号成为损失;kl 用 k3 估计 ,其中 ,该估计对 无偏且逐样本非负;mask 把 padding 位置从分子与分母中同时移除。
为什么用 k3 而不是直接取 :后者虽然无偏,但单样本可为负,加入奖励后会把负的 KL 当作正收益,放大方差。k3 由 的指数展开得到,恒非负。本例中四个未屏蔽位置的逐 token KL 为 、、、,按未屏蔽位置求均值得 。
裁剪的行为可以直接从比值读出。第 1 行第 2 列比值 超过 ,但该位置优势为 ,属于不利方向, 取未裁剪的 ,裁剪值 较大而不被选中;第 2 行第 1 列比值 超过 ,优势为 ,属于有利方向, 取裁剪后的 ,未裁剪的 被丢弃,收益停止增长;第 1 行第 3 列比值 低于 ,优势为 ,同样属于不利方向, 取未裁剪的 。三处合起来说明:裁剪只在有利方向越界时把替代目标替换为界值,不利方向的偏差始终保留在目标中。
去掉会怎样:去掉裁剪,比值可以任意大,一次更新就可能把策略推离采样分布,后续批次的优势估计失效;去掉 mask,padding 位置的对数概率会进入均值,本例中 padding 位置的 KL 为 ,数值小但方向随机,批内平均被无关位置稀释;把 torch.min 换成 torch.max,目标变为乐观估计,策略会利用被高估的比值,训练早期损失下降更快但随后崩溃。
易错点
以下六条均可在训练日志、梯度检查或显存统计中直接验证。
1. KL 方向与符号写反:目标中是 ,塑形奖励应为 。若写成 ,训练会主动扩大与参考策略的差异,表现为 KL 单调上升而奖励上升。验证方法是打印前 100 步的 KL 估计,正常训练应缓慢上升并稳定在目标附近。
2. 参考模型未冻结:把
ref_model与策略指向同一对象、忘记requires_grad_(False)、或让参考模型停留在训练模式。前两者使 KL 恒为 0,损失退化为纯奖励最大化;后者使 dropout 打开,同一回复两次前向得到不同对数概率,KL 估计带噪声。验证方法是检查参考模型参数的grad全为None,且同一批数据两次前向的 KL 完全相同。3. 奖励归一化改变 :把奖励除以滑动标准差 等价于把 变成 。若不重新调节 ,KL 约束的强度被静默改变。验证方法是记录塑形奖励的均值与标准差,并比较不同归一化方案下的 KL 曲线;两条曲线的 KL 应可比,否则说明有效 不同。
4. 长度偏差未被控制:奖励模型对长度的偏好被策略放大,输出变长而质量不变。评估若不控制长度,胜率会同时反映长度差异。验证方法是同时报告输出长度分布、按长度分桶的奖励准确率、以及长度匹配后的胜率。
5. 优势符号与裁剪方向错误:优势应为回报减价值 。若写成 ,梯度上升会压低高回报动作。裁剪目标中 的作用是在有利方向上取悲观值,换成 会失去下界。验证方法是检查 与 的相关性应接近 。
6. 显存估算只计权重:7B 四个模型的权重为 56 GB,加上两个可训练模型的 Adam 状态与主权重共 224 GB。只按权重规划会在训练开始后因 OOM 中断,且 OOM 出现在第一步优化器状态分配时,而不是模型加载时。
关联笔记
- 前置 指令微调SFT:SFT 提供策略初始化与参考策略,其掩码与模板决定 RLHF 的输入格式;SFT 模型的输出分布同时决定采样探索的起点。
- 前置 预训练-微调-对齐pipeline:该篇给出预训练、SFT、对齐三段的衔接关系,本篇是其第三段的展开。
- 前置 自回归生成与采样:序列概率分解与采样温度决定 rollout 的分布,KL 的逐 token 分解也建立在该分解上。
- 后续 DPO与偏好优化:从本篇的目标函数与闭式解出发,消去奖励模型与在线采样,得到等价的分类损失。
- 对照 模型评估矩阵:对齐阶段需要区分代理奖励、胜率与真实效用三类指标,该篇给出指标选择与混淆矩阵的框架。
达标检测
- [ ] 写出 Bradley–Terry 的负对数似然与 ,并说明为什么 只能被识别到相差一个 。
- [ ] 手算 时的 、 与两个偏导;再算 ,比较两者的梯度权重。
- [ ] 用拉格朗日乘子法推出 ,并验证最优目标值等于 。
- [ ] 证明序列级 KL 可分解为逐 token KL 之和,并说明该分解为什么允许把 KL 写进逐 token 奖励。
- [ ] 在 7B、bf16、Adam 的假设下计算四模型 PPO 的显存下界,并说明 FSDP 与 LoRA 分别削减哪一项。
- [ ] 运行第一段代码,交换第二对样本的
Phi_w与Phi_l,观察初始损失、准确率与梯度符号的变化并解释。 - [ ] 运行第二段代码,把 分别改为 与 ,比较 GAE 优势与蒙特卡洛优势的差值变化。
- [ ] 推导 best-of-n 的 KL 上界,给出 时的数值,并说明该上界与 无关的原因。
参考来源
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的三段流程与四模型配置、第 5 节的 PPO 与 KL 惩罚、第 7 节的奖励模型过优化现象。
- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290, 2023 —— 对应第 4 节闭式最优策略与最优值的推导,以及第 8 节与直接偏好优化的关系。
- Hugging Face TRL 官方文档(
PPOTrainer、RewardTrainer、PPOConfig的配置说明) —— 对应第 3 节的奖励模型训练接口、第 5 节的裁剪与价值损失实现、第 6 节的工程配置。 - 张奇等,《大规模语言模型:从理论到实践》, 2024, 强化学习与人类反馈章节 —— 对应第 2 节的偏好建模、第 3 节的奖励模型训练与第 5 节的策略梯度推导。
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 3 章与第 5 章 —— 对应 KL 散度与期望的定义、最大似然估计的最优解性质。