w wyl123ly 的博客
MD

RL对模型的影响

31 KB 2026.10.22 原文件

RL对模型的影响

定义

RL 对模型的影响指以 SFT 检查点为基线、在同一套评测口径下比较 RL 训练前后的模型所得到的差值集合;这些差值按性质分为三类:能力(同一采样温度下的 pass@k)、行为(输出长度、工具调用率、停止位置、格式合规率)、分布(策略熵、与 SFT 策略的 KL、验证集 bpb)。三类必须同时报告,因为单看任一类都会给出误导性结论。

符号约定如下。

符号含义
RL 检查点与 SFT 检查点的 pass@k 之差
平均输出长度之差, 为解码得到的 token 数
SFT 检查点对应的策略,同时充当「RL 前」的基线
RL 检查点对应的策略
策略的平均逐 token 熵,
前后两个策略在固定提示集上的平均 KL,按 token 求和
单条采样的答对概率,
短答率,答案前 token 数低于某阈值(本例 150)的样本占比
工具调用率,生成文本中出现完整工具调用块(从 python_start 到 python_end)的样本占比
截断率,长度达到 --max-new-tokens 上限的样本占比
比例量的标准误,
两个比例之差除以合并标准误,
bits per byte,验证集上每字节的比特数

术语说明。灾难性遗忘(catastrophic forgetting)指在新分布上更新参数导致旧分布上的能力下降。分布漂移(distribution shift)指策略的输出分布相对基线发生系统性改变,表现为长度、格式、词表使用的变化。奖励黑客(reward hacking)指策略找到奖励函数的高分区域而该区域不对应真实目标。对齐税(alignment tax)指对齐训练导致通用能力下降。熵塌缩(entropy collapse)指策略熵在训练中快速下降、采样趋于同一条回复。长度膨胀指 RL 过程中平均输出长度持续增长。抽检指从固定提示集生成的样本中人工阅读固定数量,用于发现自动指标覆盖不到的行为。锐化(sharpening)指采样分布变尖但众数不变,表现为采样 pass@1 上升而贪心 pass@1 不变。

本篇讨论的是 RL 的后果与度量;机制与实现见 GRPO原理与实现,奖励定义见 GSM8K数学任务,指标口径的一般框架见 如何解读指标 与 模型评估矩阵。

为什么重要

RL 阶段唯一的产出是一次参数更新,判断它是否值得只能靠指标。chat_rl.py 在训练期记录三个量:平均奖励、平均序列长度、pass@1 至 pass@8;这三个量足以回答「训练是否在推进」,但不足以回答「模型是否更好」。原因是平均奖励在训练集上单调上升几乎必然发生,而它同时受「模型变强」「采样变短」「格式投机」三种因素驱动,三者对部署的意义相反。

nanochat 的参考流程不评测 RL 的后果。runs/speedrun.sh 在 SFT 评测后结束,不包含 chat_rl.py;chat_rl.py 自己也只评 GSM8K 的 pass@k,不评 ChatCORE。因此「RL 之后通用能力是否下降」在默认流程里没有答案,必须自行补测。这不是实现缺陷,而是取舍:把 RL 当作可选阶段,就不为它维护完整的回归套件。

本阶段的风险集中在一处:奖励只由最终数字决定,而 KL 与裁剪都被删除。前者使「猜数」「跳过推理」「只写答案」与真正解题在奖励上等价,后者使策略可以无约束地向这些捷径移动。三条删减与三类风险的对应关系是本节的主线;没有这一层分析,容易把「GSM8K 提升」直接读成「模型更会数学」。

在「懂原理 / 能复现 / 懂工程」三条主线中,本篇主要落在懂工程:指标怎么算、样本量够不够、差异是否显著、哪些量必须自建。这些判断可以完全脱离训练细节,用固定提示集与检查点复现。

原理与推导

1 三类可观测变化与因果链

RL 的输入是 与奖励函数,输出是 。两者之间的因果链可以写成

flowchart TD
    R["奖励只看 #### 后的数字"] --> G["组内优势只保留相对差异"]
    G --> U["参数朝提高正确轨迹概率的方向更新"]
    U --> A["能力:pass@k 变化"]
    U --> B["行为:长度 工具调用 停止位置"]
    U --> D["分布:熵 KL 验证 bpb"]
    B --> H["捷径:只写答案 跳过推理"]
    A --> H
    H --> K["奖励上升但真实能力不升"]

三类变化的度量方式不同,噪声量级也不同。能力类指标是比例量,标准误由样本量决定;行为类指标可以由生成文本直接统计,几乎无噪声但定义需要人为约定(例如「短答」的阈值);分布类指标需要额外前向(熵、KL)或额外数据(bpb),成本最高但最能预警漂移。

2 为什么 GSM8K 会提升,以及在什么条件下

由 GRPO原理与实现 第 11 节,nanochat 每步最小化

对某条正确答案的轨迹,,梯度上升提高其每个 token 的对数概率;对错误轨迹,,梯度下降压低其概率。因此单步的效果是「把概率质量从组内错误轨迹移向正确轨迹」。

这个效果有一个硬前提:组内必须至少有一条正确轨迹,否则 。于是可学习的题目集合是

这一个条件推出三条可检验的结论。第一,RL 的收益集中在「已经偶尔能做对」的题目上;完全不会的题不产生梯度,无论训练多久。第二,训练初期的有效步数比例由 决定:、 时约 56% 的步有信号, 时只有 28%。第三,覆盖率的提升有上界:若模型对某题的任何采样都不正确,RL 无法让它学会该题,除非采样温度或策略本身提供了额外的探索。

期望奖励的上升不保证贪心准确率上升。RL 优化的对象是 ,即温度 1.0 采样分布下的期望;贪心解码取的是 路径,两者只在分布单峰且集中时接近。因此在读指标时必须区分三种 pass@1:贪心 pass@1(chat_eval.py 默认 -t 0.0 -n 1)、采样 pass@1(chat_rl.py 用 temperature=1.0)、以及 的 pass@k。三者的差值本身携带信息:采样 pass@1 上升而贪心不变,说明发生的是锐化而不是改进。

3 格式与工具使用的变化

奖励对过程不可见,因此模型在「如何写出正确答案」上有自由度。三种捷径在奖励上与完整解答等价。

第一种是只写答案。若「#### 10」单独出现就能得 1 分,那么一条 3 token 的回复与一条 200 token 的回复奖励相同。在 token 级归一化下,这条短回复的总权重较低,但它的每个 token 的对数概率会被大幅提高(因为它承载了全部优势),因此格式会向「少写推理」漂移。

第二种是跳过工具。python_output 的掩码为 0,意味着模型从不被训练去复现计算结果;它只需要生成表达式,结果由 use_calculator 注入。若模型在 SFT 后已经能心算简单表达式,RL 会把「调用工具」的低概率路径进一步压低,因为调用本身消耗 token 且不影响奖励。可观测的指标是 与「答案正确但表达式错误」的比例。

第三种是格式投机。模型可以输出形如 <<1+1=2>> 的调用但让表达式无意义,只要最终数字正确;也可以直接输出 #### 数字 而不写任何过程。前者在文本上仍然「看起来像解题」,后者则明显。两者都无法从奖励区分。

反向力量同样存在。SFT 在 GSM8K 上做了 4 个 epoch 的过采样,把「先推理、再调用、最后 ####」编码成高概率模式;RL 从很小的学习率起步(矩阵 0.001,嵌入 0.0071),467 步的累计位移有限。因此格式漂移通常是渐进的,在 pass@k 曲线上表现为「前 100 步几乎不变,之后缓慢偏移」。这也解释了为什么短答率的上升往往滞后于 pass@1 的上升。

4 pass@k 曲线的三种形状

把 的 pass@k 画成曲线,形状对应三种机制。

第一种是平移:整条曲线等量上移,pass@1 与 pass@8 同幅上升。这说明模型对每道题的正确率都提高了,属于真实改进。

第二种是抬升:pass@1 上升幅度大于 pass@8,曲线在低 处变陡。这说明概率质量向已有的正确轨迹集中,属于锐化;若贪心 pass@1 不变,则改进仅存在于采样分布中。

第三种是压缩:pass@1 上升而 pass@8 下降。这说明多样性下降,原本偶尔能对的题被单一模板覆盖,另一些题因此失去覆盖。这是熵塌缩的典型形状,也是无 KL 约束时最需要警惕的信号。

由于 pass@k 对 单调不减,任何「pass@4 低于 pass@2」的读数都是实现错误而不是模型现象;chat_rl.py 的循环保证单调,因为它按前缀取 any。

5 输出长度的两种力量

长度受两股方向相反的力量影响,因此不能单独解释。

变长的力量来自「更完整的推理更容易答对」。若长回复的正确率更高,梯度会同时提高「继续生成」的概率,长度随之增长。变短的力量来自「更短的路径同样得分」。若短回复的正确率不低,梯度会压低中间步骤的概率。哪一股占优取决于数据:在 GSM8K 上,难题需要多步计算,简单题一两步即可,因此总体上可能出现「简单题变短、难题变长」的双峰化,而平均值掩盖了这一结构。

度量应至少包含四项:平均长度 、长度分位(、、)、截断率 、以及长度与正确率的联合分布(按长度分桶统计准确率)。只看平均长度会把双峰化读成「整体变长」。

chat_rl.py 已经记录 Average sequence length,它的口径是「完整序列长度,含提示」。由于提示长度在同一数据集上近似固定,该量的变化可以近似当作生成长度的变化;但严格比较时应减去 prefix_length。

6 对 base 能力的影响:遗忘与漂移

RL 的梯度来自 GSM8K 分布,SFT 的 460K 条通用对话不在损失中。参数在单一分布上更新 467 步,且没有 KL 项把策略锚定在 附近,因此旧分布上的行为存在退化风险。机制与 SFT 阶段的遗忘相同:容量被重新分配,原分布上的条件概率下降。

度量这一风险有三个困难。

第一,CORE 不是为 chat 模型设计的。CORE 的 ICL 任务以 few-shot continuation 的形式打分,而 RL 后的模型是对话格式,直接测会把「格式不匹配」与「能力下降」混在一起。若要测,必须在同一格式下比较 SFT 与 RL 两个检查点,并把结论限定为「该格式下的相对变化」。

第二,scripts/base_eval.py 硬编码了 load_model("base", ...),加载目录固定为 base_checkpoints。要评 RL 检查点,只能改这一处 source 字符串,或把 chatrl_checkpoints 的文件复制到 base_checkpoints 的对应 tag 下。两种做法都需要改动仓库,属于「自建评测」而非「运行现成脚本」。

第三,RL 检查点不含优化器状态。chat_rl.py 调用 save_checkpoint(..., None, ...),注释写明「we don't bother to save the optimizer state」,因此 load_optimizer_state("rl") 返回 None,从 RL 检查点续训不可行。这不影响评测,但影响「多轮 RL」的实验设计。

可行的代理指标有三类。其一是 ChatCORE 的五个分项,它们与训练任务部分重叠(GSM8K 就是其中之一),因此只能看非 GSM8K 的四项。其二是固定提示集的人工抽检,覆盖多轮对话、指令跟随、拒答与格式,成本低且能发现自动指标之外的问题。其三是 SFT 验证混合上的 bpb,它对分布漂移最敏感,但需要复用 chat_sft.py 的验证数据生成器,无法直接调用现成脚本。

7 奖励黑客:三类形态与度量

答案投机:模型不理解题目,直接从上下文猜一个数字并写在 #### 后。GSM8K 的答案分布有偏(多为正数、常见整数),猜中的概率非零。度量是「答案正确但推理缺失或与题目无关」的比例,只能人工判断。

跳过推理:模型省略中间步骤,直接给出结果。度量是短答率与「首个 #### 出现位置」的分布;若 #### 出现在前 30 个 token 内,基本可以判定为跳过。

格式投机:模型生成格式完整但内容错误的工具调用,或用无意义表达式凑出正确答案。度量是「表达式与题目关键词的重合度」与「表达式求值结果与 #### 数值不一致的比例」。后者可以在离线复算:把生成文本中的 <<expr=result>> 解析出来,用 use_calculator 重算,比较 result 与最终答案。

三类形态的共同机制是奖励函数的观测面太窄: 只依赖一个字符串。KL 项原本可以在策略偏离 太远时施加惩罚,从而限制这类行为的扩张;nanochat 删除 KL 后,这一约束不存在。因此本阶段的奖励黑客风险高于标准 RLHF,监控不能只依赖奖励曲线。

8 监控协议

表 1 给出一个可执行的监控清单,按成本排序。

表 1 监控项与判据

监控项计算方式频率异常判据
平均奖励chat_rl.py 已记录每步长期不动说明 过低
平均序列长度chat_rl.py 已记录每步单调增长且 pass@1 不涨
pass@1 至 pass@8chat_rl.py 已记录每 60 步曲线形状对应第 4 节三种机制
截断率长度等于 256 的样本占比每 60 步显著上升说明不会停止或长度膨胀
短答率#### 出现在前 30 token 的占比每 60 步上升且 pass@1 上升,提示投机
工具调用率含完整 tool 块的样本占比每 60 步下降说明绕开工具
采样多样性同题 16 条的不同答案数每 60 步下降说明熵塌缩
ChatCORE 四分项chat_eval -i rl(排除 GSM8K)每个检查点相对 SFT 的差值超出 2 倍标准误
验证 bpb复用 SFT 验证混合每个检查点上升说明分布漂移
人工抽检固定 50 条提示,逐条阅读每个检查点出现奖励黑客形态

监控的关键是成对比较:所有指标都必须在同一检查点选择规则、同一温度、同一最大长度下测两次(SFT 与 RL)。跨口径比较(例如用贪心 pass@1 对比采样 pass@1)会产生虚假的「提升」或「下降」。

9 指标对比表的模板与解读

表 2 给出填写完毕的示例,数值仅用于演示读法,不是 nanochat 某次运行的真实记录;实际填写时应按第 8 节的口径重新测量。

表 2 RL 前后指标对比(示例数值)

指标SFTRL标准误读法
GSM8K pass@1(贪心)0.0210.048+0.0270.0071+3.81稳定解题能力提升
GSM8K pass@8(采样)0.1400.265+0.1250.0281+4.45覆盖率提升,不是纯锐化
平均生成长度178214+36不适用不适用需与长度分位同看
工具调用率0.620.55−0.0700.0348−2.01中等证据的绕开工具
短答率0.040.11+0.0700.0185+3.79格式投机信号
ChatCORE0.07800.0810+0.003不适用不适用在噪声内,需分项看
ARC-Easy0.3720.365−0.0070.0188−0.37噪声内
MMLU0.2810.276−0.0050.0175−0.29噪声内
HumanEval0.0430.041−0.0020.0222−0.09噪声内
SFT 验证集 bpb0.8420.851+0.009不适用不适用分布漂移的直接证据

解读分五步。

第一步看两个 pass@k。两者 值都超过 3,说明提升不是采样噪声。但要注意两行的样本量不同(1319 与 400),pass@8 的标准误更大。

第二步看长度与短答率。平均长度增加 36 token,同时短答率从 4% 升到 11%,两者方向相反,说明长度分布发生变化而不是整体变长。这两项合起来是「部分样本变短、部分变长」的证据,需要用长度分位确认。

第三步看工具调用率。 对应约 4% 的双侧显著性,属于「有证据但不强」;若要下结论,需要把评测题数从 400 提高到 1000 以上,或降低对单次评测的依赖。

第四步看通用能力。四个指标的 都小于 0.4,正确结论不是「没有遗忘」,而是「本次测量的样本量不足以检出小于 2 个百分点的变化」。ARC-Easy 的标准误为 0.0188,要检出 1 个百分点的差异需要约 的样本量。

第五步看 bpb。它上升 0.009,方向与「分布漂移」一致;判断幅度需要与 SFT 训练末期 bpb 的波动范围比较,不能只看绝对值。

模板的使用方式:把表 2 的左四列填成实测值,右三列由标准误公式算出;每次改动 chat_rl.py 的超参或删减,都重填一次。表的用途不是给出「RL 好或坏」的结论,而是把「哪一项变化是真实的、哪一项是噪声」分开。

10 nanochat RL 的已知局限

表 3 把当前实现的局限逐条列出,并给出代码位置。

表 3 已知局限

局限证据后果
只训练 GSM8Ktrain_task = GSM8K(subset="main", split="train")能力提升限于数学,通用行为无监督
单一奖励reward 返回 0.0 或 1.0无格式、无过程、无长度信号
无 KLdocstring 第 1 条无锚点,可漂移与熵塌缩
无价值网络组内均值基线逐 token 优势不可用,长序列与多步推理的信用分配粗糙
无比值裁剪docstring 第 2 条(on-policy 单步)无法对同一批数据多轮更新
无梯度裁剪训练循环中无 clip_grad_norm_异常批次可直接推动参数
生成上限 256--max-new-tokens=256长推理被截断,奖励在截断文本上计算
终止符不进损失generate_batch 丢弃 assistant_end停止行为完全由 SFT 决定
不存优化器状态save_checkpoint(..., None, ...)无法从 RL 检查点续训
不评 COREbase_eval.py 固定 load_model("base")遗忘风险无现成度量
不评 ChatCOREchat_rl.py 只算 GSM8K pass@k通用能力回归需手动跑 chat_eval -i rl
不在 speedrun 内runs/speedrun.sh 无 chat_rl参考流程不产生 RL 检查点
fp16 无 GradScalerREADME.md 明说半精度下梯度下溢风险

在 nanochat 中的落地

分类现有实现位置缺口
能力pass@1 至 pass@8,温度 1.0,400 题run_gsm8k_eval + 训练循环无贪心口径、无置信区间
能力5 任务准确率与 ChatCOREchat_eval.py -i rl需手动执行
行为平均序列长度训练循环无长度分位、无短答率、无工具调用率
行为输出文本可回放未保存无固定集的离线分析
分布无无熵、KL、bpb 均未记录
产物chatrl_checkpoints/{tag}save_checkpoint无优化器状态

补测的最小方案是三步。第一步,训练时每 60 步额外保存 16 条采样文本与对应的长度、正确性,写入一个 JSONL;第二步,训练结束后用同一批固定提示对 SFT 与 RL 各跑一次 chat_eval -i sft 与 -i rl,记录五个分项;第三步,按表 2 的口径填表并计算标准误。三步都不需要改模型代码,只需要改日志与评测脚本。

关键直觉

RL 不增加知识,只重加权「已经能以非零概率生成的解」。因此提升的上限由 SFT 的覆盖率决定: 的题永远不产生梯度,pass@8 是 RL 能影响的边界;而风险的上限由奖励的观测面决定:奖励只看一个数字,于是所有能提高该数字的捷径都与解题等价。两句合起来给出一条判据——若 pass@1 上升而 pass@8 不升、同时短答率上升,则观察到的是「重加权加捷径」,不是「学会了新题」。

与定义的关系:定义把影响分成能力、行为、分布三类,正是因为单一类指标无法区分上述两种情形。能力类给出「是否更好」,行为类给出「好在哪里」,分布类给出「是否偏离基线」。三者的联合读法就是本节的关键直觉,而 KL 与 pass@k 的定义分别是分布类与能力类的度量。

例子与代码

第一段把三题各 8 条采样汇总成监控指标,复刻训练期应当记录的字段。

"""从三题的采样记录汇总监控指标:(是否正确, 生成长度)。"""
records = [
    [(0, 256), (0, 240), (1, 132), (0, 256), (0, 231), (1, 118), (0, 256), (0, 144)],
    [(0, 256), (0, 220), (0, 256), (0, 198), (0, 256), (0, 240), (0, 256), (1, 210)],
    [(0, 180), (1, 150), (0, 256), (0, 256), (0, 190), (0, 256), (0, 140), (0, 256)],
]

for k in (1, 2, 4, 8):
    hit = sum(any(c for c, _ in r[:k]) for r in records) / len(records)
    print(f"pass@{k} {hit:.4f}")

lens = [l for r in records for _, l in r]
print(f"mean_len {sum(lens) / len(lens):.3f} max_len {max(lens)}")
print(f"trunc_rate {sum(l >= 256 for l in lens) / len(lens):.4f}")

short = [(c, l) for r in records for c, l in r if l < 150]
print(f"short_n {len(short)} short_acc {sum(c for c, _ in short) / len(short):.4f}")
print(f"correct_n {sum(c for r in records for c, _ in r)}")

预期输出如下。

pass@1 0.0000
pass@2 0.3333
pass@4 0.6667
pass@8 1.0000
mean_len 217.042 max_len 256
trunc_rate 0.4583
short_n 4 short_acc 0.5000
correct_n 4

这段代码在做什么:records 是三题各 8 条采样的判分与长度;四个 pass@k 先对每题按前缀取「至少一条正确」,再对三题取平均,与 chat_rl.py 的 records 循环一致;trunc_rate 统计达到 256 上限的样本;short_acc 统计长度低于 150 的样本的正确率。

为什么这样看:pass@1 为 0 而 pass@8 为 1.0,说明三题都属于「偶尔能对」,因此都在可学习集合内;若 pass@8 也是 0,该题不产生任何梯度。截断率 说明近一半采样没有在 256 token 内停止,而终止符被 generate_batch 丢弃、不进入 RL 损失(见 GSM8K数学任务 第 8 节),因此这一比例不会被训练改善。短答正确率 高于总体 ,是捷径存在的直接证据:短回复的命中率显著高于长回复,而奖励函数对这一差别完全不可见。

第二段按表 2 的口径计算差值与显著性。

"""RL 前后指标差值、合并标准误与 z 值。"""
import math

sft = {"pass@1": (0.021, 1319), "pass@8": (0.140, 400), "长度": (178.0, None),
       "工具率": (0.62, 400), "短答率": (0.04, 400), "ChatCORE": (0.0780, None),
       "ARC-Easy": (0.372, 1319), "MMLU": (0.281, 1319), "HumanEval": (0.043, 164),
       "val_bpb": (0.842, None)}
rl = {"pass@1": (0.048, 1319), "pass@8": (0.265, 400), "长度": (214.0, None),
      "工具率": (0.55, 400), "短答率": (0.11, 400), "ChatCORE": (0.0810, None),
      "ARC-Easy": (0.365, 1319), "MMLU": (0.276, 1319), "HumanEval": (0.041, 164),
      "val_bpb": (0.851, None)}

for key, (a, na) in sft.items():
    b, nb = rl[key]
    d = b - a
    if na is None:
        print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f}")
    else:
        se = math.sqrt(a * (1 - a) / na + b * (1 - b) / nb)
        print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f} se {se:.4f} z {d / se:+.2f}")

预期输出如下。

pass@1     0.0210  0.0480 +0.0270 se 0.0071 z +3.81
pass@8     0.1400  0.2650 +0.1250 se 0.0281 z +4.45
长度        178.0000 214.0000 +36.0000
工具率        0.6200  0.5500 -0.0700 se 0.0348 z -2.01
短答率        0.0400  0.1100 +0.0700 se 0.0185 z +3.79
ChatCORE   0.0780  0.0810 +0.0030
ARC-Easy   0.3720  0.3650 -0.0070 se 0.0188 z -0.37
MMLU       0.2810  0.2760 -0.0050 se 0.0175 z -0.29
HumanEval  0.0430  0.0410 -0.0020 se 0.0222 z -0.09
val_bpb    0.8420  0.8510 +0.0090

这段代码在做什么:对每个比例量计算两比例之差的标准误与 ,对连续量只给差值。ChatCORE、长度与 bpb 不给标准误:前三者是均值或复合指标,其标准误不能由单任务比例公式给出。

为什么这样看: 与 说明两个 pass@k 的提升超出噪声; 的短答率上升与 的工具率下降构成一组「捷径」证据;四个通用能力指标的 只能说明「本次未能检出差异」。把「未能检出」写成「没有影响」是最常见的误读。

第三段是补测命令与一处必须修改的代码。

# 对 SFT 与 RL 两个检查点跑同一套评测
python -m scripts.chat_eval -i sft -a GSM8K -t 0.0 -n 1
python -m scripts.chat_eval -i rl  -a GSM8K -t 0.0 -n 1
# 全任务 ChatCORE
python -m scripts.chat_eval -i rl
# scripts/base_eval.py 第 150 行附近:CORE 只加载 base 检查点
model, tokenizer, meta = load_model("base", device, phase="eval",
                                    model_tag=args.model_tag, step=args.step)
# 要评 RL 检查点只能把 source 改成 "rl",或把 chatrl_checkpoints 的文件
# 复制到 base_checkpoints 的对应 tag 目录下;两种做法都改变了评测口径。

-t 0.0 是 chat_eval.py 的默认值,显式写出是为了标明这是贪心口径;-n 1 同理,因为 run_generative_eval 用 any(outcomes) 汇总,-n 大于 1 时报的是 pass@n 而不是 pass@1。

易错点

以下七条均可在评测日志或对比表中定位。

1. 用平均奖励代替能力评估。奖励在训练集上几乎必然上升,且受长度与格式影响;它只能说明优化在进行,不能说明模型更好。

2. 跨口径比较 pass@1。chat_rl.py 用 temperature=1.0,chat_eval.py 默认 temperature=0.0;两者相差的可能是锐化而不是能力。

3. 把 chat_eval -n 4 当作 pass@1 的重复测量。run_generative_eval 用 any(outcomes) 汇总,-n 4 报的是 pass@4。

4. 用 chat 模型直接跑 base_eval.py 的 CORE 并解释为「能力下降」。CORE 的 ICL 任务以 continuation 形式打分,格式不匹配会同时压低分数;结论最多是「该格式下的相对变化」。

5. 在 400 题上比较 1 至 2 个百分点的差异。比例量的标准误约 0.018 至 0.028,1 个百分点远小于 1 个标准误;需要扩大样本或多次重复。

6. 把长度上升读成「推理更完整」、或把长度下降读成「更高效」。长度受两股相反力量影响,必须与短答率、长度分位、正确率联合解读。

7. 以为 RL 检查点可以续训。save_checkpoint(..., None, ...) 不保存优化器状态,load_optimizer_state("rl") 返回 None;继续训练只能从 SFT 重新开始或修改保存逻辑。

8. 以为 runs/speedrun.sh 会产出 RL 检查点。该脚本在 SFT 评测后结束,chatrl_checkpoints 需要手动运行 chat_rl.py 才会出现。

关联笔记

  • 前置 GRPO原理与实现:零梯度退化、token 级归一化与掩码共同决定了本篇所述的能力边界与捷径倾向。
  • 前置 GSM8K数学任务:奖励的观测面(只认 #### 后的数字)是奖励黑客分析的起点;pass@k 的口径差异在本篇被用于区分锐化与改进。
  • 前置 有监督微调SFT:SFT 的 460K 通用对话与 GSM8K 四次过采样共同构成 RL 的起点分布,遗忘的方向由它决定。
  • 后续 如何解读指标:centered accuracy、统计不确定性与指标选择的通用框架,本篇只给出 RL 场景的具体读法。
  • 对照 CORE指标:CORE 的 ICL 打分形式与 chat 格式的差异,是「不能直接用 CORE 评估 RL」的原因。
  • 跨库 幻觉与缓解:RL 后模型为拿分而编造步骤的行为与幻觉有共同机制,该篇给出更一般的分类。

达标检测

  • [ ] 说明能力、行为、分布三类指标各回答什么问题,并各给出一个只用该类指标会误判的例子。
  • [ ] 证明 RL 的可学习题目集合是 ,并计算 、 时无信号步的比例。
  • [ ] 画出 pass@k 的三种曲线形状,说明每种形状对应的机制与所需证据。
  • [ ] 给出三种奖励黑客形态的度量方式,并说明哪一项必须人工判断。
  • [ ] 用第一段代码的数据手算 pass@4、平均长度与截断率,与程序输出核对。
  • [ ] 说明为什么 ChatCORE 的差值不能直接用单任务比例公式算标准误,并给出一种可行的近似。
  • [ ] 计算 ARC-Easy 在 时的标准误,说明要把检出下限降到 1 个百分点需要多少题。
  • [ ] 列出 nanochat RL 的五项局限,各指出一个可在代码中定位的位置。
  • [ ] 说明为什么「RL 检查点续训」在当前实现中不可行,以及需要改动哪一行。

参考来源

  • Karpathy, nanochat(commit 92d63d4),scripts/chat_rl.py、scripts/chat_eval.py、scripts/base_eval.py、runs/speedrun.sh、README.md —— 对应全部现有指标、检查点行为、CORE 加载路径与 fp16 限制。
  • DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 对应第 3 节与第 5 节:规则奖励下 RL 过程中回复长度增长与格式行为的观察,与本篇「长度受两股力量影响」的讨论对照。
  • Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— 对应第 4 节的熵塌缩与 pass@k 曲线压缩形态、第 8 节的长度与截断监控。
  • Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的对齐税与通用能力回归问题,以及奖励过优化的现象。
  • Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— 对应第 2 节「只有可解样本产生信号」的机制与第 7 节奖励设计对行为的影响。
  • Karpathy, nanochat(commit 92d63d4),dev/LOG.md 与 dev/LEADERBOARD.md —— 对应第 6 节关于「仓库未记录 RL 前后对照数字」这一事实的核对依据。