RL对模型的影响
定义
RL 对模型的影响指以 SFT 检查点为基线、在同一套评测口径下比较 RL 训练前后的模型所得到的差值集合;这些差值按性质分为三类:能力(同一采样温度下的 pass@k)、行为(输出长度、工具调用率、停止位置、格式合规率)、分布(策略熵、与 SFT 策略的 KL、验证集 bpb)。三类必须同时报告,因为单看任一类都会给出误导性结论。
符号约定如下。
| 符号 | 含义 |
|---|---|
| RL 检查点与 SFT 检查点的 pass@k 之差 | |
| 平均输出长度之差, 为解码得到的 token 数 | |
| SFT 检查点对应的策略,同时充当「RL 前」的基线 | |
| RL 检查点对应的策略 | |
| 策略的平均逐 token 熵, | |
| 前后两个策略在固定提示集上的平均 KL,按 token 求和 | |
| 单条采样的答对概率, | |
| 短答率,答案前 token 数低于某阈值(本例 150)的样本占比 | |
| 工具调用率,生成文本中出现完整工具调用块(从 python_start 到 python_end)的样本占比 | |
截断率,长度达到 --max-new-tokens 上限的样本占比 | |
| 比例量的标准误, | |
| 两个比例之差除以合并标准误, | |
| bits per byte,验证集上每字节的比特数 |
术语说明。灾难性遗忘(catastrophic forgetting)指在新分布上更新参数导致旧分布上的能力下降。分布漂移(distribution shift)指策略的输出分布相对基线发生系统性改变,表现为长度、格式、词表使用的变化。奖励黑客(reward hacking)指策略找到奖励函数的高分区域而该区域不对应真实目标。对齐税(alignment tax)指对齐训练导致通用能力下降。熵塌缩(entropy collapse)指策略熵在训练中快速下降、采样趋于同一条回复。长度膨胀指 RL 过程中平均输出长度持续增长。抽检指从固定提示集生成的样本中人工阅读固定数量,用于发现自动指标覆盖不到的行为。锐化(sharpening)指采样分布变尖但众数不变,表现为采样 pass@1 上升而贪心 pass@1 不变。
本篇讨论的是 RL 的后果与度量;机制与实现见 GRPO原理与实现,奖励定义见 GSM8K数学任务,指标口径的一般框架见 如何解读指标 与 模型评估矩阵。
为什么重要
RL 阶段唯一的产出是一次参数更新,判断它是否值得只能靠指标。chat_rl.py 在训练期记录三个量:平均奖励、平均序列长度、pass@1 至 pass@8;这三个量足以回答「训练是否在推进」,但不足以回答「模型是否更好」。原因是平均奖励在训练集上单调上升几乎必然发生,而它同时受「模型变强」「采样变短」「格式投机」三种因素驱动,三者对部署的意义相反。
nanochat 的参考流程不评测 RL 的后果。runs/speedrun.sh 在 SFT 评测后结束,不包含 chat_rl.py;chat_rl.py 自己也只评 GSM8K 的 pass@k,不评 ChatCORE。因此「RL 之后通用能力是否下降」在默认流程里没有答案,必须自行补测。这不是实现缺陷,而是取舍:把 RL 当作可选阶段,就不为它维护完整的回归套件。
本阶段的风险集中在一处:奖励只由最终数字决定,而 KL 与裁剪都被删除。前者使「猜数」「跳过推理」「只写答案」与真正解题在奖励上等价,后者使策略可以无约束地向这些捷径移动。三条删减与三类风险的对应关系是本节的主线;没有这一层分析,容易把「GSM8K 提升」直接读成「模型更会数学」。
在「懂原理 / 能复现 / 懂工程」三条主线中,本篇主要落在懂工程:指标怎么算、样本量够不够、差异是否显著、哪些量必须自建。这些判断可以完全脱离训练细节,用固定提示集与检查点复现。
原理与推导
1 三类可观测变化与因果链
RL 的输入是 与奖励函数,输出是 。两者之间的因果链可以写成
flowchart TD
R["奖励只看 #### 后的数字"] --> G["组内优势只保留相对差异"]
G --> U["参数朝提高正确轨迹概率的方向更新"]
U --> A["能力:pass@k 变化"]
U --> B["行为:长度 工具调用 停止位置"]
U --> D["分布:熵 KL 验证 bpb"]
B --> H["捷径:只写答案 跳过推理"]
A --> H
H --> K["奖励上升但真实能力不升"]
三类变化的度量方式不同,噪声量级也不同。能力类指标是比例量,标准误由样本量决定;行为类指标可以由生成文本直接统计,几乎无噪声但定义需要人为约定(例如「短答」的阈值);分布类指标需要额外前向(熵、KL)或额外数据(bpb),成本最高但最能预警漂移。
2 为什么 GSM8K 会提升,以及在什么条件下
由 GRPO原理与实现 第 11 节,nanochat 每步最小化
对某条正确答案的轨迹,,梯度上升提高其每个 token 的对数概率;对错误轨迹,,梯度下降压低其概率。因此单步的效果是「把概率质量从组内错误轨迹移向正确轨迹」。
这个效果有一个硬前提:组内必须至少有一条正确轨迹,否则 。于是可学习的题目集合是
这一个条件推出三条可检验的结论。第一,RL 的收益集中在「已经偶尔能做对」的题目上;完全不会的题不产生梯度,无论训练多久。第二,训练初期的有效步数比例由 决定:、 时约 56% 的步有信号, 时只有 28%。第三,覆盖率的提升有上界:若模型对某题的任何采样都不正确,RL 无法让它学会该题,除非采样温度或策略本身提供了额外的探索。
期望奖励的上升不保证贪心准确率上升。RL 优化的对象是 ,即温度 1.0 采样分布下的期望;贪心解码取的是 路径,两者只在分布单峰且集中时接近。因此在读指标时必须区分三种 pass@1:贪心 pass@1(chat_eval.py 默认 -t 0.0 -n 1)、采样 pass@1(chat_rl.py 用 temperature=1.0)、以及 的 pass@k。三者的差值本身携带信息:采样 pass@1 上升而贪心不变,说明发生的是锐化而不是改进。
3 格式与工具使用的变化
奖励对过程不可见,因此模型在「如何写出正确答案」上有自由度。三种捷径在奖励上与完整解答等价。
第一种是只写答案。若「#### 10」单独出现就能得 1 分,那么一条 3 token 的回复与一条 200 token 的回复奖励相同。在 token 级归一化下,这条短回复的总权重较低,但它的每个 token 的对数概率会被大幅提高(因为它承载了全部优势),因此格式会向「少写推理」漂移。
第二种是跳过工具。python_output 的掩码为 0,意味着模型从不被训练去复现计算结果;它只需要生成表达式,结果由 use_calculator 注入。若模型在 SFT 后已经能心算简单表达式,RL 会把「调用工具」的低概率路径进一步压低,因为调用本身消耗 token 且不影响奖励。可观测的指标是 与「答案正确但表达式错误」的比例。
第三种是格式投机。模型可以输出形如 <<1+1=2>> 的调用但让表达式无意义,只要最终数字正确;也可以直接输出 #### 数字 而不写任何过程。前者在文本上仍然「看起来像解题」,后者则明显。两者都无法从奖励区分。
反向力量同样存在。SFT 在 GSM8K 上做了 4 个 epoch 的过采样,把「先推理、再调用、最后 ####」编码成高概率模式;RL 从很小的学习率起步(矩阵 0.001,嵌入 0.0071),467 步的累计位移有限。因此格式漂移通常是渐进的,在 pass@k 曲线上表现为「前 100 步几乎不变,之后缓慢偏移」。这也解释了为什么短答率的上升往往滞后于 pass@1 的上升。
4 pass@k 曲线的三种形状
把 的 pass@k 画成曲线,形状对应三种机制。
第一种是平移:整条曲线等量上移,pass@1 与 pass@8 同幅上升。这说明模型对每道题的正确率都提高了,属于真实改进。
第二种是抬升:pass@1 上升幅度大于 pass@8,曲线在低 处变陡。这说明概率质量向已有的正确轨迹集中,属于锐化;若贪心 pass@1 不变,则改进仅存在于采样分布中。
第三种是压缩:pass@1 上升而 pass@8 下降。这说明多样性下降,原本偶尔能对的题被单一模板覆盖,另一些题因此失去覆盖。这是熵塌缩的典型形状,也是无 KL 约束时最需要警惕的信号。
由于 pass@k 对 单调不减,任何「pass@4 低于 pass@2」的读数都是实现错误而不是模型现象;chat_rl.py 的循环保证单调,因为它按前缀取 any。
5 输出长度的两种力量
长度受两股方向相反的力量影响,因此不能单独解释。
变长的力量来自「更完整的推理更容易答对」。若长回复的正确率更高,梯度会同时提高「继续生成」的概率,长度随之增长。变短的力量来自「更短的路径同样得分」。若短回复的正确率不低,梯度会压低中间步骤的概率。哪一股占优取决于数据:在 GSM8K 上,难题需要多步计算,简单题一两步即可,因此总体上可能出现「简单题变短、难题变长」的双峰化,而平均值掩盖了这一结构。
度量应至少包含四项:平均长度 、长度分位(、、)、截断率 、以及长度与正确率的联合分布(按长度分桶统计准确率)。只看平均长度会把双峰化读成「整体变长」。
chat_rl.py 已经记录 Average sequence length,它的口径是「完整序列长度,含提示」。由于提示长度在同一数据集上近似固定,该量的变化可以近似当作生成长度的变化;但严格比较时应减去 prefix_length。
6 对 base 能力的影响:遗忘与漂移
RL 的梯度来自 GSM8K 分布,SFT 的 460K 条通用对话不在损失中。参数在单一分布上更新 467 步,且没有 KL 项把策略锚定在 附近,因此旧分布上的行为存在退化风险。机制与 SFT 阶段的遗忘相同:容量被重新分配,原分布上的条件概率下降。
度量这一风险有三个困难。
第一,CORE 不是为 chat 模型设计的。CORE 的 ICL 任务以 few-shot continuation 的形式打分,而 RL 后的模型是对话格式,直接测会把「格式不匹配」与「能力下降」混在一起。若要测,必须在同一格式下比较 SFT 与 RL 两个检查点,并把结论限定为「该格式下的相对变化」。
第二,scripts/base_eval.py 硬编码了 load_model("base", ...),加载目录固定为 base_checkpoints。要评 RL 检查点,只能改这一处 source 字符串,或把 chatrl_checkpoints 的文件复制到 base_checkpoints 的对应 tag 下。两种做法都需要改动仓库,属于「自建评测」而非「运行现成脚本」。
第三,RL 检查点不含优化器状态。chat_rl.py 调用 save_checkpoint(..., None, ...),注释写明「we don't bother to save the optimizer state」,因此 load_optimizer_state("rl") 返回 None,从 RL 检查点续训不可行。这不影响评测,但影响「多轮 RL」的实验设计。
可行的代理指标有三类。其一是 ChatCORE 的五个分项,它们与训练任务部分重叠(GSM8K 就是其中之一),因此只能看非 GSM8K 的四项。其二是固定提示集的人工抽检,覆盖多轮对话、指令跟随、拒答与格式,成本低且能发现自动指标之外的问题。其三是 SFT 验证混合上的 bpb,它对分布漂移最敏感,但需要复用 chat_sft.py 的验证数据生成器,无法直接调用现成脚本。
7 奖励黑客:三类形态与度量
答案投机:模型不理解题目,直接从上下文猜一个数字并写在 #### 后。GSM8K 的答案分布有偏(多为正数、常见整数),猜中的概率非零。度量是「答案正确但推理缺失或与题目无关」的比例,只能人工判断。
跳过推理:模型省略中间步骤,直接给出结果。度量是短答率与「首个 #### 出现位置」的分布;若 #### 出现在前 30 个 token 内,基本可以判定为跳过。
格式投机:模型生成格式完整但内容错误的工具调用,或用无意义表达式凑出正确答案。度量是「表达式与题目关键词的重合度」与「表达式求值结果与 #### 数值不一致的比例」。后者可以在离线复算:把生成文本中的 <<expr=result>> 解析出来,用 use_calculator 重算,比较 result 与最终答案。
三类形态的共同机制是奖励函数的观测面太窄: 只依赖一个字符串。KL 项原本可以在策略偏离 太远时施加惩罚,从而限制这类行为的扩张;nanochat 删除 KL 后,这一约束不存在。因此本阶段的奖励黑客风险高于标准 RLHF,监控不能只依赖奖励曲线。
8 监控协议
表 1 给出一个可执行的监控清单,按成本排序。
表 1 监控项与判据
| 监控项 | 计算方式 | 频率 | 异常判据 |
|---|---|---|---|
| 平均奖励 | chat_rl.py 已记录 | 每步 | 长期不动说明 过低 |
| 平均序列长度 | chat_rl.py 已记录 | 每步 | 单调增长且 pass@1 不涨 |
| pass@1 至 pass@8 | chat_rl.py 已记录 | 每 60 步 | 曲线形状对应第 4 节三种机制 |
| 截断率 | 长度等于 256 的样本占比 | 每 60 步 | 显著上升说明不会停止或长度膨胀 |
| 短答率 | #### 出现在前 30 token 的占比 | 每 60 步 | 上升且 pass@1 上升,提示投机 |
| 工具调用率 | 含完整 tool 块的样本占比 | 每 60 步 | 下降说明绕开工具 |
| 采样多样性 | 同题 16 条的不同答案数 | 每 60 步 | 下降说明熵塌缩 |
| ChatCORE 四分项 | chat_eval -i rl(排除 GSM8K) | 每个检查点 | 相对 SFT 的差值超出 2 倍标准误 |
| 验证 bpb | 复用 SFT 验证混合 | 每个检查点 | 上升说明分布漂移 |
| 人工抽检 | 固定 50 条提示,逐条阅读 | 每个检查点 | 出现奖励黑客形态 |
监控的关键是成对比较:所有指标都必须在同一检查点选择规则、同一温度、同一最大长度下测两次(SFT 与 RL)。跨口径比较(例如用贪心 pass@1 对比采样 pass@1)会产生虚假的「提升」或「下降」。
9 指标对比表的模板与解读
表 2 给出填写完毕的示例,数值仅用于演示读法,不是 nanochat 某次运行的真实记录;实际填写时应按第 8 节的口径重新测量。
表 2 RL 前后指标对比(示例数值)
| 指标 | SFT | RL | 标准误 | 读法 | ||
|---|---|---|---|---|---|---|
| GSM8K pass@1(贪心) | 0.021 | 0.048 | +0.027 | 0.0071 | +3.81 | 稳定解题能力提升 |
| GSM8K pass@8(采样) | 0.140 | 0.265 | +0.125 | 0.0281 | +4.45 | 覆盖率提升,不是纯锐化 |
| 平均生成长度 | 178 | 214 | +36 | 不适用 | 不适用 | 需与长度分位同看 |
| 工具调用率 | 0.62 | 0.55 | −0.070 | 0.0348 | −2.01 | 中等证据的绕开工具 |
| 短答率 | 0.04 | 0.11 | +0.070 | 0.0185 | +3.79 | 格式投机信号 |
| ChatCORE | 0.0780 | 0.0810 | +0.003 | 不适用 | 不适用 | 在噪声内,需分项看 |
| ARC-Easy | 0.372 | 0.365 | −0.007 | 0.0188 | −0.37 | 噪声内 |
| MMLU | 0.281 | 0.276 | −0.005 | 0.0175 | −0.29 | 噪声内 |
| HumanEval | 0.043 | 0.041 | −0.002 | 0.0222 | −0.09 | 噪声内 |
| SFT 验证集 bpb | 0.842 | 0.851 | +0.009 | 不适用 | 不适用 | 分布漂移的直接证据 |
解读分五步。
第一步看两个 pass@k。两者 值都超过 3,说明提升不是采样噪声。但要注意两行的样本量不同(1319 与 400),pass@8 的标准误更大。
第二步看长度与短答率。平均长度增加 36 token,同时短答率从 4% 升到 11%,两者方向相反,说明长度分布发生变化而不是整体变长。这两项合起来是「部分样本变短、部分变长」的证据,需要用长度分位确认。
第三步看工具调用率。 对应约 4% 的双侧显著性,属于「有证据但不强」;若要下结论,需要把评测题数从 400 提高到 1000 以上,或降低对单次评测的依赖。
第四步看通用能力。四个指标的 都小于 0.4,正确结论不是「没有遗忘」,而是「本次测量的样本量不足以检出小于 2 个百分点的变化」。ARC-Easy 的标准误为 0.0188,要检出 1 个百分点的差异需要约 的样本量。
第五步看 bpb。它上升 0.009,方向与「分布漂移」一致;判断幅度需要与 SFT 训练末期 bpb 的波动范围比较,不能只看绝对值。
模板的使用方式:把表 2 的左四列填成实测值,右三列由标准误公式算出;每次改动 chat_rl.py 的超参或删减,都重填一次。表的用途不是给出「RL 好或坏」的结论,而是把「哪一项变化是真实的、哪一项是噪声」分开。
10 nanochat RL 的已知局限
表 3 把当前实现的局限逐条列出,并给出代码位置。
表 3 已知局限
| 局限 | 证据 | 后果 |
|---|---|---|
| 只训练 GSM8K | train_task = GSM8K(subset="main", split="train") | 能力提升限于数学,通用行为无监督 |
| 单一奖励 | reward 返回 0.0 或 1.0 | 无格式、无过程、无长度信号 |
| 无 KL | docstring 第 1 条 | 无锚点,可漂移与熵塌缩 |
| 无价值网络 | 组内均值基线 | 逐 token 优势不可用,长序列与多步推理的信用分配粗糙 |
| 无比值裁剪 | docstring 第 2 条(on-policy 单步) | 无法对同一批数据多轮更新 |
| 无梯度裁剪 | 训练循环中无 clip_grad_norm_ | 异常批次可直接推动参数 |
| 生成上限 256 | --max-new-tokens=256 | 长推理被截断,奖励在截断文本上计算 |
| 终止符不进损失 | generate_batch 丢弃 assistant_end | 停止行为完全由 SFT 决定 |
| 不存优化器状态 | save_checkpoint(..., None, ...) | 无法从 RL 检查点续训 |
| 不评 CORE | base_eval.py 固定 load_model("base") | 遗忘风险无现成度量 |
| 不评 ChatCORE | chat_rl.py 只算 GSM8K pass@k | 通用能力回归需手动跑 chat_eval -i rl |
| 不在 speedrun 内 | runs/speedrun.sh 无 chat_rl | 参考流程不产生 RL 检查点 |
| fp16 无 GradScaler | README.md 明说 | 半精度下梯度下溢风险 |
在 nanochat 中的落地
| 分类 | 现有实现 | 位置 | 缺口 |
|---|---|---|---|
| 能力 | pass@1 至 pass@8,温度 1.0,400 题 | run_gsm8k_eval + 训练循环 | 无贪心口径、无置信区间 |
| 能力 | 5 任务准确率与 ChatCORE | chat_eval.py -i rl | 需手动执行 |
| 行为 | 平均序列长度 | 训练循环 | 无长度分位、无短答率、无工具调用率 |
| 行为 | 输出文本可回放 | 未保存 | 无固定集的离线分析 |
| 分布 | 无 | 无 | 熵、KL、bpb 均未记录 |
| 产物 | chatrl_checkpoints/{tag} | save_checkpoint | 无优化器状态 |
补测的最小方案是三步。第一步,训练时每 60 步额外保存 16 条采样文本与对应的长度、正确性,写入一个 JSONL;第二步,训练结束后用同一批固定提示对 SFT 与 RL 各跑一次 chat_eval -i sft 与 -i rl,记录五个分项;第三步,按表 2 的口径填表并计算标准误。三步都不需要改模型代码,只需要改日志与评测脚本。
关键直觉
RL 不增加知识,只重加权「已经能以非零概率生成的解」。因此提升的上限由 SFT 的覆盖率决定: 的题永远不产生梯度,pass@8 是 RL 能影响的边界;而风险的上限由奖励的观测面决定:奖励只看一个数字,于是所有能提高该数字的捷径都与解题等价。两句合起来给出一条判据——若 pass@1 上升而 pass@8 不升、同时短答率上升,则观察到的是「重加权加捷径」,不是「学会了新题」。
与定义的关系:定义把影响分成能力、行为、分布三类,正是因为单一类指标无法区分上述两种情形。能力类给出「是否更好」,行为类给出「好在哪里」,分布类给出「是否偏离基线」。三者的联合读法就是本节的关键直觉,而 KL 与 pass@k 的定义分别是分布类与能力类的度量。
例子与代码
第一段把三题各 8 条采样汇总成监控指标,复刻训练期应当记录的字段。
"""从三题的采样记录汇总监控指标:(是否正确, 生成长度)。"""
records = [
[(0, 256), (0, 240), (1, 132), (0, 256), (0, 231), (1, 118), (0, 256), (0, 144)],
[(0, 256), (0, 220), (0, 256), (0, 198), (0, 256), (0, 240), (0, 256), (1, 210)],
[(0, 180), (1, 150), (0, 256), (0, 256), (0, 190), (0, 256), (0, 140), (0, 256)],
]
for k in (1, 2, 4, 8):
hit = sum(any(c for c, _ in r[:k]) for r in records) / len(records)
print(f"pass@{k} {hit:.4f}")
lens = [l for r in records for _, l in r]
print(f"mean_len {sum(lens) / len(lens):.3f} max_len {max(lens)}")
print(f"trunc_rate {sum(l >= 256 for l in lens) / len(lens):.4f}")
short = [(c, l) for r in records for c, l in r if l < 150]
print(f"short_n {len(short)} short_acc {sum(c for c, _ in short) / len(short):.4f}")
print(f"correct_n {sum(c for r in records for c, _ in r)}")
预期输出如下。
pass@1 0.0000
pass@2 0.3333
pass@4 0.6667
pass@8 1.0000
mean_len 217.042 max_len 256
trunc_rate 0.4583
short_n 4 short_acc 0.5000
correct_n 4
这段代码在做什么:records 是三题各 8 条采样的判分与长度;四个 pass@k 先对每题按前缀取「至少一条正确」,再对三题取平均,与 chat_rl.py 的 records 循环一致;trunc_rate 统计达到 256 上限的样本;short_acc 统计长度低于 150 的样本的正确率。
为什么这样看:pass@1 为 0 而 pass@8 为 1.0,说明三题都属于「偶尔能对」,因此都在可学习集合内;若 pass@8 也是 0,该题不产生任何梯度。截断率 说明近一半采样没有在 256 token 内停止,而终止符被 generate_batch 丢弃、不进入 RL 损失(见 GSM8K数学任务 第 8 节),因此这一比例不会被训练改善。短答正确率 高于总体 ,是捷径存在的直接证据:短回复的命中率显著高于长回复,而奖励函数对这一差别完全不可见。
第二段按表 2 的口径计算差值与显著性。
"""RL 前后指标差值、合并标准误与 z 值。"""
import math
sft = {"pass@1": (0.021, 1319), "pass@8": (0.140, 400), "长度": (178.0, None),
"工具率": (0.62, 400), "短答率": (0.04, 400), "ChatCORE": (0.0780, None),
"ARC-Easy": (0.372, 1319), "MMLU": (0.281, 1319), "HumanEval": (0.043, 164),
"val_bpb": (0.842, None)}
rl = {"pass@1": (0.048, 1319), "pass@8": (0.265, 400), "长度": (214.0, None),
"工具率": (0.55, 400), "短答率": (0.11, 400), "ChatCORE": (0.0810, None),
"ARC-Easy": (0.365, 1319), "MMLU": (0.276, 1319), "HumanEval": (0.041, 164),
"val_bpb": (0.851, None)}
for key, (a, na) in sft.items():
b, nb = rl[key]
d = b - a
if na is None:
print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f}")
else:
se = math.sqrt(a * (1 - a) / na + b * (1 - b) / nb)
print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f} se {se:.4f} z {d / se:+.2f}")
预期输出如下。
pass@1 0.0210 0.0480 +0.0270 se 0.0071 z +3.81
pass@8 0.1400 0.2650 +0.1250 se 0.0281 z +4.45
长度 178.0000 214.0000 +36.0000
工具率 0.6200 0.5500 -0.0700 se 0.0348 z -2.01
短答率 0.0400 0.1100 +0.0700 se 0.0185 z +3.79
ChatCORE 0.0780 0.0810 +0.0030
ARC-Easy 0.3720 0.3650 -0.0070 se 0.0188 z -0.37
MMLU 0.2810 0.2760 -0.0050 se 0.0175 z -0.29
HumanEval 0.0430 0.0410 -0.0020 se 0.0222 z -0.09
val_bpb 0.8420 0.8510 +0.0090
这段代码在做什么:对每个比例量计算两比例之差的标准误与 ,对连续量只给差值。ChatCORE、长度与 bpb 不给标准误:前三者是均值或复合指标,其标准误不能由单任务比例公式给出。
为什么这样看: 与 说明两个 pass@k 的提升超出噪声; 的短答率上升与 的工具率下降构成一组「捷径」证据;四个通用能力指标的 只能说明「本次未能检出差异」。把「未能检出」写成「没有影响」是最常见的误读。
第三段是补测命令与一处必须修改的代码。
# 对 SFT 与 RL 两个检查点跑同一套评测
python -m scripts.chat_eval -i sft -a GSM8K -t 0.0 -n 1
python -m scripts.chat_eval -i rl -a GSM8K -t 0.0 -n 1
# 全任务 ChatCORE
python -m scripts.chat_eval -i rl
# scripts/base_eval.py 第 150 行附近:CORE 只加载 base 检查点
model, tokenizer, meta = load_model("base", device, phase="eval",
model_tag=args.model_tag, step=args.step)
# 要评 RL 检查点只能把 source 改成 "rl",或把 chatrl_checkpoints 的文件
# 复制到 base_checkpoints 的对应 tag 目录下;两种做法都改变了评测口径。
-t 0.0 是 chat_eval.py 的默认值,显式写出是为了标明这是贪心口径;-n 1 同理,因为 run_generative_eval 用 any(outcomes) 汇总,-n 大于 1 时报的是 pass@n 而不是 pass@1。
易错点
以下七条均可在评测日志或对比表中定位。
1. 用平均奖励代替能力评估。奖励在训练集上几乎必然上升,且受长度与格式影响;它只能说明优化在进行,不能说明模型更好。
2. 跨口径比较 pass@1。
chat_rl.py用temperature=1.0,chat_eval.py默认temperature=0.0;两者相差的可能是锐化而不是能力。3. 把
chat_eval -n 4当作 pass@1 的重复测量。run_generative_eval用any(outcomes)汇总,-n 4报的是 pass@4。4. 用 chat 模型直接跑
base_eval.py的 CORE 并解释为「能力下降」。CORE 的 ICL 任务以 continuation 形式打分,格式不匹配会同时压低分数;结论最多是「该格式下的相对变化」。5. 在 400 题上比较 1 至 2 个百分点的差异。比例量的标准误约 0.018 至 0.028,1 个百分点远小于 1 个标准误;需要扩大样本或多次重复。
6. 把长度上升读成「推理更完整」、或把长度下降读成「更高效」。长度受两股相反力量影响,必须与短答率、长度分位、正确率联合解读。
7. 以为 RL 检查点可以续训。
save_checkpoint(..., None, ...)不保存优化器状态,load_optimizer_state("rl")返回None;继续训练只能从 SFT 重新开始或修改保存逻辑。8. 以为
runs/speedrun.sh会产出 RL 检查点。该脚本在 SFT 评测后结束,chatrl_checkpoints需要手动运行chat_rl.py才会出现。
关联笔记
- 前置 GRPO原理与实现:零梯度退化、token 级归一化与掩码共同决定了本篇所述的能力边界与捷径倾向。
- 前置 GSM8K数学任务:奖励的观测面(只认
####后的数字)是奖励黑客分析的起点;pass@k 的口径差异在本篇被用于区分锐化与改进。 - 前置 有监督微调SFT:SFT 的 460K 通用对话与 GSM8K 四次过采样共同构成 RL 的起点分布,遗忘的方向由它决定。
- 后续 如何解读指标:centered accuracy、统计不确定性与指标选择的通用框架,本篇只给出 RL 场景的具体读法。
- 对照 CORE指标:CORE 的 ICL 打分形式与 chat 格式的差异,是「不能直接用 CORE 评估 RL」的原因。
- 跨库 幻觉与缓解:RL 后模型为拿分而编造步骤的行为与幻觉有共同机制,该篇给出更一般的分类。
达标检测
- [ ] 说明能力、行为、分布三类指标各回答什么问题,并各给出一个只用该类指标会误判的例子。
- [ ] 证明 RL 的可学习题目集合是 ,并计算 、 时无信号步的比例。
- [ ] 画出 pass@k 的三种曲线形状,说明每种形状对应的机制与所需证据。
- [ ] 给出三种奖励黑客形态的度量方式,并说明哪一项必须人工判断。
- [ ] 用第一段代码的数据手算 pass@4、平均长度与截断率,与程序输出核对。
- [ ] 说明为什么 ChatCORE 的差值不能直接用单任务比例公式算标准误,并给出一种可行的近似。
- [ ] 计算 ARC-Easy 在 时的标准误,说明要把检出下限降到 1 个百分点需要多少题。
- [ ] 列出 nanochat RL 的五项局限,各指出一个可在代码中定位的位置。
- [ ] 说明为什么「RL 检查点续训」在当前实现中不可行,以及需要改动哪一行。
参考来源
- Karpathy, nanochat(commit 92d63d4),
scripts/chat_rl.py、scripts/chat_eval.py、scripts/base_eval.py、runs/speedrun.sh、README.md—— 对应全部现有指标、检查点行为、CORE 加载路径与 fp16 限制。 - DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 对应第 3 节与第 5 节:规则奖励下 RL 过程中回复长度增长与格式行为的观察,与本篇「长度受两股力量影响」的讨论对照。
- Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— 对应第 4 节的熵塌缩与 pass@k 曲线压缩形态、第 8 节的长度与截断监控。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的对齐税与通用能力回归问题,以及奖励过优化的现象。
- Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— 对应第 2 节「只有可解样本产生信号」的机制与第 7 节奖励设计对行为的影响。
- Karpathy, nanochat(commit 92d63d4),
dev/LOG.md与dev/LEADERBOARD.md—— 对应第 6 节关于「仓库未记录 RL 前后对照数字」这一事实的核对依据。