---
tags: [nanochat, rl, 评测]
阶段: 07-强化学习对齐RL
难度: ★★★
created: 2026-10-22
related: "[[GRPO原理与实现]], [[GSM8K数学任务]], [[有监督微调SFT]], [[如何解读指标]]"
---

# RL对模型的影响

## 定义

**RL 对模型的影响**指以 SFT 检查点为基线、在同一套评测口径下比较 RL 训练前后的模型所得到的差值集合；这些差值按性质分为三类：**能力**（同一采样温度下的 pass@k）、**行为**（输出长度、工具调用率、停止位置、格式合规率）、**分布**（策略熵、与 SFT 策略的 KL、验证集 bpb）。三类必须同时报告，因为单看任一类都会给出误导性结论。

符号约定如下。

| 符号 | 含义 |
|---|---|
| $\Delta\mathrm{pass@}k$ | RL 检查点与 SFT 检查点的 pass@k 之差 |
| $\Delta\bar T$ | 平均输出长度之差，$\bar T$ 为解码得到的 token 数 |
| $\pi_{\mathrm{SFT}}$ | SFT 检查点对应的策略，同时充当「RL 前」的基线 |
| $\pi_{\mathrm{RL}}$ | RL 检查点对应的策略 |
| $H(\pi)$ | 策略的平均逐 token 熵，$H=-\frac{1}{T}\sum_t\sum_v\pi\log\pi$ |
| $\mathrm{KL}(\pi_{\mathrm{RL}}\lVert\pi_{\mathrm{SFT}})$ | 前后两个策略在固定提示集上的平均 KL，按 token 求和 |
| $p$ | 单条采样的答对概率，$p=\mathbb E[R]$ |
| $r_{\text{short}}$ | 短答率，答案前 token 数低于某阈值（本例 150）的样本占比 |
| $r_{\text{tool}}$ | 工具调用率，生成文本中出现完整工具调用块（从 python_start 到 python_end）的样本占比 |
| $\tau$ | 截断率，长度达到 `--max-new-tokens` 上限的样本占比 |
| $\hat\sigma$ | 比例量的标准误，$\hat\sigma=\sqrt{p(1-p)/N}$ |
| $z$ | 两个比例之差除以合并标准误，$z=\Delta/\sqrt{p_1(1-p_1)/N_1+p_2(1-p_2)/N_2}$ |
| $\mathrm{bpb}$ | bits per byte，验证集上每字节的比特数 |

术语说明。**灾难性遗忘**（catastrophic forgetting）指在新分布上更新参数导致旧分布上的能力下降。**分布漂移**（distribution shift）指策略的输出分布相对基线发生系统性改变，表现为长度、格式、词表使用的变化。**奖励黑客**（reward hacking）指策略找到奖励函数的高分区域而该区域不对应真实目标。**对齐税**（alignment tax）指对齐训练导致通用能力下降。**熵塌缩**（entropy collapse）指策略熵在训练中快速下降、采样趋于同一条回复。**长度膨胀**指 RL 过程中平均输出长度持续增长。**抽检**指从固定提示集生成的样本中人工阅读固定数量，用于发现自动指标覆盖不到的行为。**锐化**（sharpening）指采样分布变尖但众数不变，表现为采样 pass@1 上升而贪心 pass@1 不变。

本篇讨论的是 RL 的后果与度量；机制与实现见 [[GRPO原理与实现]]，奖励定义见 [[GSM8K数学任务]]，指标口径的一般框架见 [[如何解读指标]] 与 [[模型评估矩阵]]。

## 为什么重要

RL 阶段唯一的产出是一次参数更新，判断它是否值得只能靠指标。`chat_rl.py` 在训练期记录三个量：平均奖励、平均序列长度、pass@1 至 pass@8；这三个量足以回答「训练是否在推进」，但不足以回答「模型是否更好」。原因是平均奖励在训练集上单调上升几乎必然发生，而它同时受「模型变强」「采样变短」「格式投机」三种因素驱动，三者对部署的意义相反。

nanochat 的参考流程不评测 RL 的后果。`runs/speedrun.sh` 在 SFT 评测后结束，不包含 `chat_rl.py`；`chat_rl.py` 自己也只评 GSM8K 的 pass@k，不评 ChatCORE。因此「RL 之后通用能力是否下降」在默认流程里没有答案，必须自行补测。这不是实现缺陷，而是取舍：把 RL 当作可选阶段，就不为它维护完整的回归套件。

本阶段的风险集中在一处：奖励只由最终数字决定，而 KL 与裁剪都被删除。前者使「猜数」「跳过推理」「只写答案」与真正解题在奖励上等价，后者使策略可以无约束地向这些捷径移动。三条删减与三类风险的对应关系是本节的主线；没有这一层分析，容易把「GSM8K 提升」直接读成「模型更会数学」。

在「懂原理 / 能复现 / 懂工程」三条主线中，本篇主要落在懂工程：指标怎么算、样本量够不够、差异是否显著、哪些量必须自建。这些判断可以完全脱离训练细节，用固定提示集与检查点复现。

## 原理与推导

### 1 三类可观测变化与因果链

RL 的输入是 $\pi_{\mathrm{SFT}}$ 与奖励函数，输出是 $\pi_{\mathrm{RL}}$。两者之间的因果链可以写成

```mermaid
flowchart TD
    R["奖励只看 #### 后的数字"] --> G["组内优势只保留相对差异"]
    G --> U["参数朝提高正确轨迹概率的方向更新"]
    U --> A["能力：pass@k 变化"]
    U --> B["行为：长度 工具调用 停止位置"]
    U --> D["分布：熵 KL 验证 bpb"]
    B --> H["捷径：只写答案 跳过推理"]
    A --> H
    H --> K["奖励上升但真实能力不升"]
```

三类变化的度量方式不同，噪声量级也不同。能力类指标是比例量，标准误由样本量决定；行为类指标可以由生成文本直接统计，几乎无噪声但定义需要人为约定（例如「短答」的阈值）；分布类指标需要额外前向（熵、KL）或额外数据（bpb），成本最高但最能预警漂移。

### 2 为什么 GSM8K 会提升，以及在什么条件下

由 [[GRPO原理与实现]] 第 11 节，nanochat 每步最小化

$$
\mathcal L=-\frac{1}{N_{\text{pass}}N_{\text{ex}}}\sum_p\frac{1}{T_p}\sum_{i\in p}\sum_t m_{i,t}\log\pi_\theta(y_{i,t}\mid\cdot)\,A_i .
$$

对某条正确答案的轨迹，$A_i>0$，梯度上升提高其每个 token 的对数概率；对错误轨迹，$A_i<0$，梯度下降压低其概率。因此单步的效果是「把概率质量从组内错误轨迹移向正确轨迹」。

这个效果有一个硬前提：组内必须至少有一条正确轨迹，否则 $A_i\equiv0$。于是可学习的题目集合是

$$
\{x:\ c(x)>0\},\qquad c(x)=\text{该题 }G\text{ 条采样中答对的条数}.
$$

这一个条件推出三条可检验的结论。第一，RL 的收益集中在「已经偶尔能做对」的题目上；完全不会的题不产生梯度，无论训练多久。第二，训练初期的有效步数比例由 $p$ 决定：$p=0.05$、$G=16$ 时约 56% 的步有信号，$p=0.02$ 时只有 28%。第三，覆盖率的提升有上界：若模型对某题的任何采样都不正确，RL 无法让它学会该题，除非采样温度或策略本身提供了额外的探索。

期望奖励的上升不保证贪心准确率上升。RL 优化的对象是 $\mathbb E_{y\sim\pi_\theta}[R]$，即温度 1.0 采样分布下的期望；贪心解码取的是 $\arg\max$ 路径，两者只在分布单峰且集中时接近。因此在读指标时必须区分三种 pass@1：贪心 pass@1（`chat_eval.py` 默认 `-t 0.0 -n 1`）、采样 pass@1（`chat_rl.py` 用 `temperature=1.0`）、以及 $k>1$ 的 pass@k。三者的差值本身携带信息：采样 pass@1 上升而贪心不变，说明发生的是锐化而不是改进。

### 3 格式与工具使用的变化

奖励对过程不可见，因此模型在「如何写出正确答案」上有自由度。三种捷径在奖励上与完整解答等价。

第一种是只写答案。若「`#### 10`」单独出现就能得 1 分，那么一条 3 token 的回复与一条 200 token 的回复奖励相同。在 token 级归一化下，这条短回复的总权重较低，但它的每个 token 的对数概率会被大幅提高（因为它承载了全部优势），因此格式会向「少写推理」漂移。

第二种是跳过工具。`python_output` 的掩码为 0，意味着模型从不被训练去复现计算结果；它只需要生成表达式，结果由 `use_calculator` 注入。若模型在 SFT 后已经能心算简单表达式，RL 会把「调用工具」的低概率路径进一步压低，因为调用本身消耗 token 且不影响奖励。可观测的指标是 $\tau_{\text{tool}}$ 与「答案正确但表达式错误」的比例。

第三种是格式投机。模型可以输出形如 `<<1+1=2>>` 的调用但让表达式无意义，只要最终数字正确；也可以直接输出 `#### 数字` 而不写任何过程。前者在文本上仍然「看起来像解题」，后者则明显。两者都无法从奖励区分。

反向力量同样存在。SFT 在 GSM8K 上做了 4 个 epoch 的过采样，把「先推理、再调用、最后 `####`」编码成高概率模式；RL 从很小的学习率起步（矩阵 0.001，嵌入 0.0071），467 步的累计位移有限。因此格式漂移通常是渐进的，在 pass@k 曲线上表现为「前 100 步几乎不变，之后缓慢偏移」。这也解释了为什么短答率的上升往往滞后于 pass@1 的上升。

### 4 pass@k 曲线的三种形状

把 $k=1,\dots,8$ 的 pass@k 画成曲线，形状对应三种机制。

第一种是平移：整条曲线等量上移，pass@1 与 pass@8 同幅上升。这说明模型对每道题的正确率都提高了，属于真实改进。

第二种是抬升：pass@1 上升幅度大于 pass@8，曲线在低 $k$ 处变陡。这说明概率质量向已有的正确轨迹集中，属于锐化；若贪心 pass@1 不变，则改进仅存在于采样分布中。

第三种是压缩：pass@1 上升而 pass@8 下降。这说明多样性下降，原本偶尔能对的题被单一模板覆盖，另一些题因此失去覆盖。这是熵塌缩的典型形状，也是无 KL 约束时最需要警惕的信号。

由于 pass@k 对 $k$ 单调不减，任何「pass@4 低于 pass@2」的读数都是实现错误而不是模型现象；`chat_rl.py` 的循环保证单调，因为它按前缀取 `any`。

### 5 输出长度的两种力量

长度受两股方向相反的力量影响，因此不能单独解释。

变长的力量来自「更完整的推理更容易答对」。若长回复的正确率更高，梯度会同时提高「继续生成」的概率，长度随之增长。变短的力量来自「更短的路径同样得分」。若短回复的正确率不低，梯度会压低中间步骤的概率。哪一股占优取决于数据：在 GSM8K 上，难题需要多步计算，简单题一两步即可，因此总体上可能出现「简单题变短、难题变长」的双峰化，而平均值掩盖了这一结构。

度量应至少包含四项：平均长度 $\bar T$、长度分位（$p_{10}$、$p_{50}$、$p_{90}$）、截断率 $\tau$、以及长度与正确率的联合分布（按长度分桶统计准确率）。只看平均长度会把双峰化读成「整体变长」。

`chat_rl.py` 已经记录 `Average sequence length`，它的口径是「完整序列长度，含提示」。由于提示长度在同一数据集上近似固定，该量的变化可以近似当作生成长度的变化；但严格比较时应减去 `prefix_length`。

### 6 对 base 能力的影响：遗忘与漂移

RL 的梯度来自 GSM8K 分布，SFT 的 460K 条通用对话不在损失中。参数在单一分布上更新 467 步，且没有 KL 项把策略锚定在 $\pi_{\mathrm{SFT}}$ 附近，因此旧分布上的行为存在退化风险。机制与 SFT 阶段的遗忘相同：容量被重新分配，原分布上的条件概率下降。

度量这一风险有三个困难。

第一，CORE 不是为 chat 模型设计的。CORE 的 ICL 任务以 few-shot continuation 的形式打分，而 RL 后的模型是对话格式，直接测会把「格式不匹配」与「能力下降」混在一起。若要测，必须在同一格式下比较 SFT 与 RL 两个检查点，并把结论限定为「该格式下的相对变化」。

第二，`scripts/base_eval.py` 硬编码了 `load_model("base", ...)`，加载目录固定为 `base_checkpoints`。要评 RL 检查点，只能改这一处 source 字符串，或把 `chatrl_checkpoints` 的文件复制到 `base_checkpoints` 的对应 tag 下。两种做法都需要改动仓库，属于「自建评测」而非「运行现成脚本」。

第三，RL 检查点不含优化器状态。`chat_rl.py` 调用 `save_checkpoint(..., None, ...)`，注释写明「we don't bother to save the optimizer state」，因此 `load_optimizer_state("rl")` 返回 `None`，从 RL 检查点续训不可行。这不影响评测，但影响「多轮 RL」的实验设计。

可行的代理指标有三类。其一是 ChatCORE 的五个分项，它们与训练任务部分重叠（GSM8K 就是其中之一），因此只能看非 GSM8K 的四项。其二是固定提示集的人工抽检，覆盖多轮对话、指令跟随、拒答与格式，成本低且能发现自动指标之外的问题。其三是 SFT 验证混合上的 bpb，它对分布漂移最敏感，但需要复用 `chat_sft.py` 的验证数据生成器，无法直接调用现成脚本。

### 7 奖励黑客：三类形态与度量

**答案投机**：模型不理解题目，直接从上下文猜一个数字并写在 `####` 后。GSM8K 的答案分布有偏（多为正数、常见整数），猜中的概率非零。度量是「答案正确但推理缺失或与题目无关」的比例，只能人工判断。

**跳过推理**：模型省略中间步骤，直接给出结果。度量是短答率与「首个 `####` 出现位置」的分布；若 `####` 出现在前 30 个 token 内，基本可以判定为跳过。

**格式投机**：模型生成格式完整但内容错误的工具调用，或用无意义表达式凑出正确答案。度量是「表达式与题目关键词的重合度」与「表达式求值结果与 `####` 数值不一致的比例」。后者可以在离线复算：把生成文本中的 `<<expr=result>>` 解析出来，用 `use_calculator` 重算，比较 result 与最终答案。

三类形态的共同机制是奖励函数的观测面太窄：$R$ 只依赖一个字符串。KL 项原本可以在策略偏离 $\pi_{\mathrm{SFT}}$ 太远时施加惩罚，从而限制这类行为的扩张；nanochat 删除 KL 后，这一约束不存在。因此本阶段的奖励黑客风险高于标准 RLHF，监控不能只依赖奖励曲线。

### 8 监控协议

表 1 给出一个可执行的监控清单，按成本排序。

表 1 监控项与判据

| 监控项 | 计算方式 | 频率 | 异常判据 |
|---|---|---|---|
| 平均奖励 | `chat_rl.py` 已记录 | 每步 | 长期不动说明 $p$ 过低 |
| 平均序列长度 | `chat_rl.py` 已记录 | 每步 | 单调增长且 pass@1 不涨 |
| pass@1 至 pass@8 | `chat_rl.py` 已记录 | 每 60 步 | 曲线形状对应第 4 节三种机制 |
| 截断率 | 长度等于 256 的样本占比 | 每 60 步 | 显著上升说明不会停止或长度膨胀 |
| 短答率 | `####` 出现在前 30 token 的占比 | 每 60 步 | 上升且 pass@1 上升，提示投机 |
| 工具调用率 | 含完整 tool 块的样本占比 | 每 60 步 | 下降说明绕开工具 |
| 采样多样性 | 同题 16 条的不同答案数 | 每 60 步 | 下降说明熵塌缩 |
| ChatCORE 四分项 | `chat_eval -i rl`（排除 GSM8K） | 每个检查点 | 相对 SFT 的差值超出 2 倍标准误 |
| 验证 bpb | 复用 SFT 验证混合 | 每个检查点 | 上升说明分布漂移 |
| 人工抽检 | 固定 50 条提示，逐条阅读 | 每个检查点 | 出现奖励黑客形态 |

监控的关键是**成对**比较：所有指标都必须在同一检查点选择规则、同一温度、同一最大长度下测两次（SFT 与 RL）。跨口径比较（例如用贪心 pass@1 对比采样 pass@1）会产生虚假的「提升」或「下降」。

### 9 指标对比表的模板与解读

表 2 给出填写完毕的示例，数值仅用于演示读法，不是 nanochat 某次运行的真实记录；实际填写时应按第 8 节的口径重新测量。

表 2 RL 前后指标对比（示例数值）

| 指标 | SFT | RL | $\Delta$ | 标准误 | $z$ | 读法 |
|---|---|---|---|---|---|---|
| GSM8K pass@1（贪心） | 0.021 | 0.048 | +0.027 | 0.0071 | +3.81 | 稳定解题能力提升 |
| GSM8K pass@8（采样） | 0.140 | 0.265 | +0.125 | 0.0281 | +4.45 | 覆盖率提升，不是纯锐化 |
| 平均生成长度 | 178 | 214 | +36 | 不适用 | 不适用 | 需与长度分位同看 |
| 工具调用率 | 0.62 | 0.55 | −0.070 | 0.0348 | −2.01 | 中等证据的绕开工具 |
| 短答率 | 0.04 | 0.11 | +0.070 | 0.0185 | +3.79 | 格式投机信号 |
| ChatCORE | 0.0780 | 0.0810 | +0.003 | 不适用 | 不适用 | 在噪声内，需分项看 |
| ARC-Easy | 0.372 | 0.365 | −0.007 | 0.0188 | −0.37 | 噪声内 |
| MMLU | 0.281 | 0.276 | −0.005 | 0.0175 | −0.29 | 噪声内 |
| HumanEval | 0.043 | 0.041 | −0.002 | 0.0222 | −0.09 | 噪声内 |
| SFT 验证集 bpb | 0.842 | 0.851 | +0.009 | 不适用 | 不适用 | 分布漂移的直接证据 |

解读分五步。

第一步看两个 pass@k。两者 $z$ 值都超过 3，说明提升不是采样噪声。但要注意两行的样本量不同（1319 与 400），pass@8 的标准误更大。

第二步看长度与短答率。平均长度增加 36 token，同时短答率从 4% 升到 11%，两者方向相反，说明长度分布发生变化而不是整体变长。这两项合起来是「部分样本变短、部分变长」的证据，需要用长度分位确认。

第三步看工具调用率。$z=-2.01$ 对应约 4% 的双侧显著性，属于「有证据但不强」；若要下结论，需要把评测题数从 400 提高到 1000 以上，或降低对单次评测的依赖。

第四步看通用能力。四个指标的 $|z|$ 都小于 0.4，正确结论不是「没有遗忘」，而是「本次测量的样本量不足以检出小于 2 个百分点的变化」。ARC-Easy 的标准误为 0.0188，要检出 1 个百分点的差异需要约 $4\times$ 的样本量。

第五步看 bpb。它上升 0.009，方向与「分布漂移」一致；判断幅度需要与 SFT 训练末期 bpb 的波动范围比较，不能只看绝对值。

模板的使用方式：把表 2 的左四列填成实测值，右三列由标准误公式算出；每次改动 `chat_rl.py` 的超参或删减，都重填一次。表的用途不是给出「RL 好或坏」的结论，而是把「哪一项变化是真实的、哪一项是噪声」分开。

### 10 nanochat RL 的已知局限

表 3 把当前实现的局限逐条列出，并给出代码位置。

表 3 已知局限

| 局限 | 证据 | 后果 |
|---|---|---|
| 只训练 GSM8K | `train_task = GSM8K(subset="main", split="train")` | 能力提升限于数学，通用行为无监督 |
| 单一奖励 | `reward` 返回 0.0 或 1.0 | 无格式、无过程、无长度信号 |
| 无 KL | docstring 第 1 条 | 无锚点，可漂移与熵塌缩 |
| 无价值网络 | 组内均值基线 | 逐 token 优势不可用，长序列与多步推理的信用分配粗糙 |
| 无比值裁剪 | docstring 第 2 条（on-policy 单步） | 无法对同一批数据多轮更新 |
| 无梯度裁剪 | 训练循环中无 `clip_grad_norm_` | 异常批次可直接推动参数 |
| 生成上限 256 | `--max-new-tokens=256` | 长推理被截断，奖励在截断文本上计算 |
| 终止符不进损失 | `generate_batch` 丢弃 `assistant_end` | 停止行为完全由 SFT 决定 |
| 不存优化器状态 | `save_checkpoint(..., None, ...)` | 无法从 RL 检查点续训 |
| 不评 CORE | `base_eval.py` 固定 `load_model("base")` | 遗忘风险无现成度量 |
| 不评 ChatCORE | `chat_rl.py` 只算 GSM8K pass@k | 通用能力回归需手动跑 `chat_eval -i rl` |
| 不在 speedrun 内 | `runs/speedrun.sh` 无 `chat_rl` | 参考流程不产生 RL 检查点 |
| fp16 无 GradScaler | `README.md` 明说 | 半精度下梯度下溢风险 |

### 在 nanochat 中的落地

| 分类 | 现有实现 | 位置 | 缺口 |
|---|---|---|---|
| 能力 | pass@1 至 pass@8，温度 1.0，400 题 | `run_gsm8k_eval` + 训练循环 | 无贪心口径、无置信区间 |
| 能力 | 5 任务准确率与 ChatCORE | `chat_eval.py -i rl` | 需手动执行 |
| 行为 | 平均序列长度 | 训练循环 | 无长度分位、无短答率、无工具调用率 |
| 行为 | 输出文本可回放 | 未保存 | 无固定集的离线分析 |
| 分布 | 无 | 无 | 熵、KL、bpb 均未记录 |
| 产物 | `chatrl_checkpoints/{tag}` | `save_checkpoint` | 无优化器状态 |

补测的最小方案是三步。第一步，训练时每 60 步额外保存 16 条采样文本与对应的长度、正确性，写入一个 JSONL；第二步，训练结束后用同一批固定提示对 SFT 与 RL 各跑一次 `chat_eval -i sft` 与 `-i rl`，记录五个分项；第三步，按表 2 的口径填表并计算标准误。三步都不需要改模型代码，只需要改日志与评测脚本。

## 关键直觉

> [!tip] RL 不增加知识，只重加权「已经能以非零概率生成的解」。因此提升的上限由 SFT 的覆盖率决定：$c(x)=0$ 的题永远不产生梯度，pass@8 是 RL 能影响的边界；而风险的上限由奖励的观测面决定：奖励只看一个数字，于是所有能提高该数字的捷径都与解题等价。两句合起来给出一条判据——若 pass@1 上升而 pass@8 不升、同时短答率上升，则观察到的是「重加权加捷径」，不是「学会了新题」。
>
> 与定义的关系：定义把影响分成能力、行为、分布三类，正是因为单一类指标无法区分上述两种情形。能力类给出「是否更好」，行为类给出「好在哪里」，分布类给出「是否偏离基线」。三者的联合读法就是本节的关键直觉，而 KL 与 pass@k 的定义分别是分布类与能力类的度量。

## 例子与代码

第一段把三题各 8 条采样汇总成监控指标，复刻训练期应当记录的字段。

```python
"""从三题的采样记录汇总监控指标：(是否正确, 生成长度)。"""
records = [
    [(0, 256), (0, 240), (1, 132), (0, 256), (0, 231), (1, 118), (0, 256), (0, 144)],
    [(0, 256), (0, 220), (0, 256), (0, 198), (0, 256), (0, 240), (0, 256), (1, 210)],
    [(0, 180), (1, 150), (0, 256), (0, 256), (0, 190), (0, 256), (0, 140), (0, 256)],
]

for k in (1, 2, 4, 8):
    hit = sum(any(c for c, _ in r[:k]) for r in records) / len(records)
    print(f"pass@{k} {hit:.4f}")

lens = [l for r in records for _, l in r]
print(f"mean_len {sum(lens) / len(lens):.3f} max_len {max(lens)}")
print(f"trunc_rate {sum(l >= 256 for l in lens) / len(lens):.4f}")

short = [(c, l) for r in records for c, l in r if l < 150]
print(f"short_n {len(short)} short_acc {sum(c for c, _ in short) / len(short):.4f}")
print(f"correct_n {sum(c for r in records for c, _ in r)}")
```

预期输出如下。

```text
pass@1 0.0000
pass@2 0.3333
pass@4 0.6667
pass@8 1.0000
mean_len 217.042 max_len 256
trunc_rate 0.4583
short_n 4 short_acc 0.5000
correct_n 4
```

这段代码在做什么：`records` 是三题各 8 条采样的判分与长度；四个 pass@k 先对每题按前缀取「至少一条正确」，再对三题取平均，与 `chat_rl.py` 的 `records` 循环一致；`trunc_rate` 统计达到 256 上限的样本；`short_acc` 统计长度低于 150 的样本的正确率。

为什么这样看：pass@1 为 0 而 pass@8 为 1.0，说明三题都属于「偶尔能对」，因此都在可学习集合内；若 pass@8 也是 0，该题不产生任何梯度。截断率 $45.8\%$ 说明近一半采样没有在 256 token 内停止，而终止符被 `generate_batch` 丢弃、不进入 RL 损失（见 [[GSM8K数学任务]] 第 8 节），因此这一比例不会被训练改善。短答正确率 $0.5$ 高于总体 $4/24=0.167$，是捷径存在的直接证据：短回复的命中率显著高于长回复，而奖励函数对这一差别完全不可见。

第二段按表 2 的口径计算差值与显著性。

```python
"""RL 前后指标差值、合并标准误与 z 值。"""
import math

sft = {"pass@1": (0.021, 1319), "pass@8": (0.140, 400), "长度": (178.0, None),
       "工具率": (0.62, 400), "短答率": (0.04, 400), "ChatCORE": (0.0780, None),
       "ARC-Easy": (0.372, 1319), "MMLU": (0.281, 1319), "HumanEval": (0.043, 164),
       "val_bpb": (0.842, None)}
rl = {"pass@1": (0.048, 1319), "pass@8": (0.265, 400), "长度": (214.0, None),
      "工具率": (0.55, 400), "短答率": (0.11, 400), "ChatCORE": (0.0810, None),
      "ARC-Easy": (0.365, 1319), "MMLU": (0.276, 1319), "HumanEval": (0.041, 164),
      "val_bpb": (0.851, None)}

for key, (a, na) in sft.items():
    b, nb = rl[key]
    d = b - a
    if na is None:
        print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f}")
    else:
        se = math.sqrt(a * (1 - a) / na + b * (1 - b) / nb)
        print(f"{key:9s} {a:7.4f} {b:7.4f} {d:+7.4f} se {se:.4f} z {d / se:+.2f}")
```

预期输出如下。

```text
pass@1     0.0210  0.0480 +0.0270 se 0.0071 z +3.81
pass@8     0.1400  0.2650 +0.1250 se 0.0281 z +4.45
长度        178.0000 214.0000 +36.0000
工具率        0.6200  0.5500 -0.0700 se 0.0348 z -2.01
短答率        0.0400  0.1100 +0.0700 se 0.0185 z +3.79
ChatCORE   0.0780  0.0810 +0.0030
ARC-Easy   0.3720  0.3650 -0.0070 se 0.0188 z -0.37
MMLU       0.2810  0.2760 -0.0050 se 0.0175 z -0.29
HumanEval  0.0430  0.0410 -0.0020 se 0.0222 z -0.09
val_bpb    0.8420  0.8510 +0.0090
```

这段代码在做什么：对每个比例量计算两比例之差的标准误与 $z$，对连续量只给差值。ChatCORE、长度与 bpb 不给标准误：前三者是均值或复合指标，其标准误不能由单任务比例公式给出。

为什么这样看：$z=3.81$ 与 $z=4.45$ 说明两个 pass@k 的提升超出噪声；$z=3.79$ 的短答率上升与 $z=-2.01$ 的工具率下降构成一组「捷径」证据；四个通用能力指标的 $|z|<0.4$ 只能说明「本次未能检出差异」。把「未能检出」写成「没有影响」是最常见的误读。

第三段是补测命令与一处必须修改的代码。

```bash
# 对 SFT 与 RL 两个检查点跑同一套评测
python -m scripts.chat_eval -i sft -a GSM8K -t 0.0 -n 1
python -m scripts.chat_eval -i rl  -a GSM8K -t 0.0 -n 1
# 全任务 ChatCORE
python -m scripts.chat_eval -i rl
```

```python
# scripts/base_eval.py 第 150 行附近：CORE 只加载 base 检查点
model, tokenizer, meta = load_model("base", device, phase="eval",
                                    model_tag=args.model_tag, step=args.step)
# 要评 RL 检查点只能把 source 改成 "rl"，或把 chatrl_checkpoints 的文件
# 复制到 base_checkpoints 的对应 tag 目录下；两种做法都改变了评测口径。
```

`-t 0.0` 是 `chat_eval.py` 的默认值，显式写出是为了标明这是贪心口径；`-n 1` 同理，因为 `run_generative_eval` 用 `any(outcomes)` 汇总，`-n` 大于 1 时报的是 pass@n 而不是 pass@1。

## 易错点

> [!warning] 以下七条均可在评测日志或对比表中定位。
> 1. 用平均奖励代替能力评估。奖励在训练集上几乎必然上升，且受长度与格式影响；它只能说明优化在进行，不能说明模型更好。
> 2. 跨口径比较 pass@1。`chat_rl.py` 用 `temperature=1.0`，`chat_eval.py` 默认 `temperature=0.0`；两者相差的可能是锐化而不是能力。
> 3. 把 `chat_eval -n 4` 当作 pass@1 的重复测量。`run_generative_eval` 用 `any(outcomes)` 汇总，`-n 4` 报的是 pass@4。
> 4. 用 chat 模型直接跑 `base_eval.py` 的 CORE 并解释为「能力下降」。CORE 的 ICL 任务以 continuation 形式打分，格式不匹配会同时压低分数；结论最多是「该格式下的相对变化」。
> 5. 在 400 题上比较 1 至 2 个百分点的差异。比例量的标准误约 0.018 至 0.028，1 个百分点远小于 1 个标准误；需要扩大样本或多次重复。
> 6. 把长度上升读成「推理更完整」、或把长度下降读成「更高效」。长度受两股相反力量影响，必须与短答率、长度分位、正确率联合解读。
> 7. 以为 RL 检查点可以续训。`save_checkpoint(..., None, ...)` 不保存优化器状态，`load_optimizer_state("rl")` 返回 `None`；继续训练只能从 SFT 重新开始或修改保存逻辑。
> 8. 以为 `runs/speedrun.sh` 会产出 RL 检查点。该脚本在 SFT 评测后结束，`chatrl_checkpoints` 需要手动运行 `chat_rl.py` 才会出现。

## 关联笔记

- 前置 [[GRPO原理与实现]]：零梯度退化、token 级归一化与掩码共同决定了本篇所述的能力边界与捷径倾向。
- 前置 [[GSM8K数学任务]]：奖励的观测面（只认 `####` 后的数字）是奖励黑客分析的起点；pass@k 的口径差异在本篇被用于区分锐化与改进。
- 前置 [[有监督微调SFT]]：SFT 的 460K 通用对话与 GSM8K 四次过采样共同构成 RL 的起点分布，遗忘的方向由它决定。
- 后续 [[如何解读指标]]：centered accuracy、统计不确定性与指标选择的通用框架，本篇只给出 RL 场景的具体读法。
- 对照 [[CORE指标]]：CORE 的 ICL 打分形式与 chat 格式的差异，是「不能直接用 CORE 评估 RL」的原因。
- 跨库 [[幻觉与缓解]]：RL 后模型为拿分而编造步骤的行为与幻觉有共同机制，该篇给出更一般的分类。

## 达标检测

- [ ] 说明能力、行为、分布三类指标各回答什么问题，并各给出一个只用该类指标会误判的例子。
- [ ] 证明 RL 的可学习题目集合是 $\{x:c(x)>0\}$，并计算 $p=0.03$、$G=16$ 时无信号步的比例。
- [ ] 画出 pass@k 的三种曲线形状，说明每种形状对应的机制与所需证据。
- [ ] 给出三种奖励黑客形态的度量方式，并说明哪一项必须人工判断。
- [ ] 用第一段代码的数据手算 pass@4、平均长度与截断率，与程序输出核对。
- [ ] 说明为什么 ChatCORE 的差值不能直接用单任务比例公式算标准误，并给出一种可行的近似。
- [ ] 计算 ARC-Easy 在 $p=0.37$ 时的标准误，说明要把检出下限降到 1 个百分点需要多少题。
- [ ] 列出 nanochat RL 的五项局限，各指出一个可在代码中定位的位置。
- [ ] 说明为什么「RL 检查点续训」在当前实现中不可行，以及需要改动哪一行。

## 参考来源

- Karpathy, *nanochat*（commit 92d63d4），`scripts/chat_rl.py`、`scripts/chat_eval.py`、`scripts/base_eval.py`、`runs/speedrun.sh`、`README.md` —— 对应全部现有指标、检查点行为、CORE 加载路径与 fp16 限制。
- DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 对应第 3 节与第 5 节：规则奖励下 RL 过程中回复长度增长与格式行为的观察，与本篇「长度受两股力量影响」的讨论对照。
- Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— 对应第 4 节的熵塌缩与 pass@k 曲线压缩形态、第 8 节的长度与截断监控。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 6 节的对齐税与通用能力回归问题，以及奖励过优化的现象。
- Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— 对应第 2 节「只有可解样本产生信号」的机制与第 7 节奖励设计对行为的影响。
- Karpathy, *nanochat*（commit 92d63d4），`dev/LOG.md` 与 `dev/LEADERBOARD.md` —— 对应第 6 节关于「仓库未记录 RL 前后对照数字」这一事实的核对依据。
