---
tags: [nanochat, MOC, rl]
阶段: 07-强化学习对齐RL
难度: ★★★
created: 2026-10-22
related: "[[RLHF与GRPO概览]], [[GRPO原理与实现]], [[GSM8K数学任务]], [[RL对模型的影响]]"
---

# MOC · 强化学习对齐RL

> [!summary] 本阶段地图
> 06 阶段结束时的产物是一个会对话、会调工具、会在 `<|assistant_end|>` 处停止的 SFT 模型。它能模仿训练数据里的解题格式，但不能利用「这条回复算对了」这一事实。本阶段回答一个问题：如何把 GSM8K 的 0/1 判分变成参数更新方向，以及这样做的代价是什么。
>
> 四篇按「定位—机制—任务—后果」组织。[[RLHF与GRPO概览]] 说明为什么 SFT 之后还要 RL、RLHF 三阶段与 GRPO 在其中的位置；[[GRPO原理与实现]] 给出策略梯度、组内基线、归一化与掩码的完整推导，并逐行对照 `scripts/chat_rl.py`；[[GSM8K数学任务]] 定义奖励与 pass@k 的口径；[[RL对模型的影响]] 讨论提升、捷径、遗忘与监控。四篇共同回答：一个只含 326 行的 RL 脚本为什么能工作，以及它在哪些条件下会失效。
>
> 本阶段不覆盖：PPO 与 Bradley–Terry 的完整推导（见跨库 [[对齐-RLHF]]）、DPO（见 [[DPO与偏好优化]]）、评测方法论与成绩单（08 阶段）、工具沙箱的隔离边界（09 阶段）。本阶段只在必要处给出双链与关键结论。
>
> 完成本阶段的判据不是「跑完脚本」，而是能用三个数字说明训练发生了什么：GSM8K 的 pass@1 与 pass@8 是否同向上升、平均序列长度是否漂移、SFT 验证集 bpb 是否上升。三者合起来才能区分「模型更会做题」与「模型更会拿分」。

```mermaid
flowchart LR
    S["06 有监督微调SFT<br/>chat checkpoint 与掩码约定"] --> O["RLHF与GRPO概览<br/>三阶段 组基线 对比表"]
    O --> G["GRPO原理与实现<br/>策略梯度 归一化 掩码"]
    T["GSM8K数学任务<br/>奖励与 pass@k"] --> G
    G --> I["RL对模型的影响<br/>提升 捷径 遗忘 监控"]
    I --> E["08 评测<br/>ChatCORE 与指标口径"]
    G --> K["09 推理Engine<br/>generate_batch 与工具状态机"]
    T --> H["08 GSM8K与HumanEval<br/>生成式评测"]
```

图中的实线是阅读依赖。`RLHF与GRPO概览` 是入口，它建立「预训练—SFT—RL」的因果位置并给出 PPO/GRPO/nanochat 的三级简化；`GRPO原理与实现` 是主体，消费概览的符号与 GSM8K 的奖励定义；`GSM8K数学任务` 可以独立先读，它只依赖 06 阶段的工具调用协议；`RL对模型的影响` 是收束，它同时使用前三篇的结论。指向阶段外的两条边是使用关系：08 阶段消费本阶段的 pass@k 口径与「RL 检查点如何评测」，09 阶段消费 `Engine.generate_batch` 的采样与掩码语义。

## 学习顺序与理由

### 第一步：RLHF与GRPO概览

先读定位篇，因为它决定后面三篇的读法。这一篇建立四个前置事实：SFT 的最优解是示范分布，因此只模仿不编码偏好；RLHF 的三阶段各自的数据、目标与产物；策略梯度的骨架 $\mathbb E[(r-b)\sum_t\nabla\log\pi]$；nanochat 删掉了哪四项、每项的代价是什么。

对应小节是第 1 至 6 节与「在 nanochat 中的落地」。第 3 节的推导要点值得逐行抄写，它是后一篇全篇推导的缩写；第 5 节的对比表需要记住五行：基线来源、参考模型、采样数、裁剪、显存副本。

跳过这一步的代价是具体的：不知道 GRPO 删的是价值网络而不是奖励模型，就会误以为它天然没有奖励黑客；不知道 RLHF 的第三阶段需要四个模型，就无法解释为什么「删掉 KL 与参考模型」是工程上的关键决定；不知道 nanochat 的 `chat_rl.py` 是 on-policy 单步更新，就会在读到「不需要 ratio/clip」时以为这是省略而非等价。

先修自检：能否写出 SFT 的最优解并说明它为什么不编码偏好；能否默写策略梯度的五步推导；能否说出 PPO、GRPO 与 nanochat 在「基线」上的三级差别。

### 第二步：GRPO原理与实现

这一篇是本阶段的主体，也是全库中公式密度最高的两篇之一。它把概览的骨架展开成可以手算的形式：策略梯度定理、基线的无偏性与 $(G-1)/G$ 因子、z-score 的尺度问题、含比值的通用目标、on-policy 时比值恒为 1 的证明、token 级与序列级归一化的权重差异、KL 的闭式解与删除后果、掩码的右移对齐、全对全错的退化门限。

对应小节是第 1 至 11 节与落地表。读法建议：先读第 1、2 节建立 MDP 与策略梯度；再读第 3 至 6 节，这四节是「组基线为什么可用、什么时候不必裁剪」的核心；然后读第 7 至 9 节，它们对应 `chat_rl.py` 的三处实现细节（归一化、KL、掩码）；第 10 节的门限表要在纸上重算一遍；第 11 节把全部算术合成一个损失式。

跳过这一步的代价最重：不理解 $(G-1)/G$ 因子，会把「梯度偏小」误判为学习率不合适；不理解 token 级归一化的权重，会在长回复上找不到「为什么短回复学得更快」；不理解 `ignore_index=-1` 与右移对齐，会在自建 RL 代码时把提示词与工具输出一起训练，症状是奖励上升而工具调用率下降。

先修自检：能否证明组均值基线的期望是 $\frac{G-1}{G}\nabla J$；能否说明为什么一批只更新一次时 $\rho\equiv1$；能否写出 $G=16$、$p=0.05$ 时无梯度步的比例。

### 第三步：GSM8K数学任务

第三篇可以与此前的阅读并行，它只依赖 06 阶段的工具调用协议。核心是三件事：`####` 后的数值如何被抽取与归一化；`<<expr=result>>` 如何被拆成 `python` 与 `python_output` 两个分片并分配掩码；pass@k 的组合数公式与 `chat_rl.py` 的前缀估计为什么同期望。

对应小节是第 1 至 9 节。第 2、3 节的正则与拆分必须在解释器里跑一遍；第 7 节的 pass@k 表建议记住 $c=1$ 与 $c=2$ 两行，它们是读训练日志的参照；第 8 节的八步流程把「一条样本」到「一个标量损失」的路径固定下来，排错时按它从右往左走。

跳过这一步的代价是：无法解释「奖励 1.0 但答案错误」的日志（两侧都没匹配到 `####`，`None == None` 判为真）；无法判断「pass@1 上升」是贪心还是采样口径；无法解释为什么 RL 不改善停止行为（终止符被 `generate_batch` 丢弃，不进入损失）。

先修自检：能否手算一条样本的分片数、渲染条目数与监督条目数；能否写出 pass@k 的组合数公式；能否说出 `chat_rl.py` 与 `chat_eval.py` 在温度与 $n$ 上的三处差异。

### 第四步：RL对模型的影响

最后读后果篇。它把前三篇的机制转成可观测的量：能力（pass@k 的三种曲线形状）、行为（长度、工具调用率、短答率、截断率）、分布（熵、KL、验证 bpb）。这一篇同时是本阶段的收束与 08 阶段的入口。

对应小节是第 1 至 10 节与两张表。第 9 节的对比表模板必须亲手填一次；第 10 节的局限表用来回答「为什么不能直接引用论文里的提升幅度」——nanochat 只训 GSM8K、只有一个 0/1 奖励、没有 KL。

跳过这一步的代价是：把「GSM8K 提升」读成「模型更会数学」；把 400 题上的 1 至 2 个百分点差异当作结论；或者反过来，把「未能检出遗忘」写成「没有遗忘」。

先修自检：能否说明为什么 RL 的可学习题目集合是 $\{x:c(x)>0\}$；能否区分锐化与改进；能否说出为什么 CORE 不能直接用来评估 RL 检查点。

### 顺序的灵活性

若只有半天，优先读第二步的第 2、3、6、9 节与第三步的第 2、7 节：它们覆盖了「梯度从哪来」「为什么不必裁剪」「哪些 token 参与损失」「pass@k 怎么算」四个最常被问到的问题。第一步与第四步可以在跑完一次 RL 之后再读，那时日志里的 `Average reward`、`Average sequence length` 与 `Pass@k` 都有了具体数值。

若目标是复现而非理解，顺序可以改为「先跑 60 步，再读落地表」：`chat_rl.py` 每 60 步评测一次 pass@k，60 步足以看到第一次评测点。先看到日志，再回头解释每条打印的来源。这种做法省时间，但出现异常（例如 pass@k 恒为零）时会缺少定位手段。

### 学习节奏

| 段落 | 阅读 | 动手 | 通过标志 |
|---|---|---|---|
| 第一段 | 概览全部 | 手算 SFT 最优解与策略梯度五步 | 能默写 PPO/GRPO/nanochat 对比表 |
| 第二段 | GRPO 第 1 至 6 节 | 跑 bandit 例子，核对 $(G-1)/G$ | 能手算一组优势与梯度方向 |
| 第三段 | GRPO 第 7 至 11 节 | 跑归一化与掩码例子 | 能解释 `num_valid` 与 `ignore_index` |
| 第四段 | GSM8K 全部 | 跑分片与 pass@k 例子 | 能手算分片数与 pass@k |
| 第五段 | 影响全部 | 填一次对比表模板 | 能区分锐化、改进与噪声 |

### 与其他阶段的分工

| 问题 | 本阶段回答 | 其他阶段回答 |
|---|---|---|
| 为什么 SFT 之后还要 RL | 目标函数从似然换成期望奖励 | 01 阶段：LLM 训练流程的整体位置 |
| 策略梯度如何推导 | 从 $J$ 到逐 token 形式的五步 | 跨库：PPO 与 GAE 的完整版本 |
| 奖励模型如何训练 | 只说明它在三阶段中的位置 | 跨库：Bradley–Terry 与偏好数据 |
| GRPO 如何实现 | 逐行对照 `chat_rl.py` | 无 |
| 工具调用如何编码 | `<<expr=result>>` 的分片与掩码 | 06 阶段：`render_conversation`；09 阶段：`use_calculator` 与沙箱 |
| 采样为何能并行 | 只说明一次 prefill 复制 KV | 09 阶段：KV Cache 的显存与形状 |
| pass@k 如何解读 | 组合数公式与前缀估计 | 08 阶段：统计不确定性与成绩单 |
| RL 后通用能力如何 | 给出监控协议与已知局限 | 08 阶段：ChatCORE 与 CORE 的口径 |

## 笔记索引

| 笔记 | 核心问题 | 关键实现 | 前置 | 读完应能 |
|---|---|---|---|---|
| [[RLHF与GRPO概览]] | 为什么 SFT 之后还要 RL，GRPO 处在哪一段 | `chat_rl.py` docstring、RLHF 三阶段、PPO/GRPO 对比 | [[有监督微调SFT]] | 默写三级简化与四项删减 |
| [[GRPO原理与实现]] | 优势、归一化、掩码与损失如何合成一次更新 | `get_batch`、`generate_batch`、`pg_obj`、`num_valid` | 第一篇、[[GSM8K数学任务]] | 手推 $(G-1)/G$ 并手算一次更新 |
| [[GSM8K数学任务]] | 一条样本如何变成 0/1 奖励与 pass@k | `get_example`、`extract_answer`、`evaluate`、`run_gsm8k_eval` | [[多选与工具使用数据]] | 手算分片、掩码与 pass@k |
| [[RL对模型的影响]] | RL 改变了什么，如何测量与识别捷径 | `chat_eval -i rl`、长度与通过率统计、对比表 | 前三篇 | 填对比表并区分锐化与改进 |

四篇各自的位置如下。

[[RLHF与GRPO概览]] 是定位篇，重点在「目标函数换了什么」。它刻意不展开归一化与掩码，那属于第二篇；也不讨论 RL 的失败模式，那属于第四篇。第 5 节的对比表与第 6 节的 docstring 原文是本阶段最常被引用的两处。

[[GRPO原理与实现]] 是机制篇，重点在「哪些量进入梯度」。它是全库中唯一需要同时对照 `chat_rl.py`、`engine.py`、`gpt.py` 三份源码的一篇。第 3 节的 $(G-1)/G$ 推导与第 6 节的 $\rho\equiv1$ 证明是两处必须能独立复现的论证；第 10 节的门限表是唯一的定量失败判据。

[[GSM8K数学任务]] 是任务篇，重点在「奖励的口径」。它把判分、掩码与 pass@k 三件事绑定在同一条样本上，第 8 节的八步流程是全阶段排错的主干。

[[RL对模型的影响]] 是后果篇，重点在「指标联合读法」。它给出本阶段唯一的实验模板与唯一的监控清单，其余三篇的结论在这一篇被转成可检验的量。

### 各篇的关键手算点

| 笔记 | 必须能独立完成 | 可执行校验 | 对应小节 |
|---|---|---|---|
| [[RLHF与GRPO概览]] | 写出 PPO 与 nanochat 的目标式，指出差在哪一项 | 跑 bandit 方差例子，核对 $7/8$ 与标准差比 | 第 3、5 节与例子第一段 |
| [[GRPO原理与实现]] | 手算 6 条采样的优势与梯度方向；算 $p=0.05$ 的空步比例 | 跑 bandit 枚举，核对 $(-0.20833,0.20833)$ | 第 3、10 节与例子第一段 |
| [[GSM8K数学任务]] | 手算分片数、渲染条目数、监督条目数与 pass@k | 跑分片脚本，核对 5/7/15/9 与 pass@k 表 | 第 2、3、7 节 |
| [[RL对模型的影响]] | 填一张对比表并给每个差值算标准误 | 跑汇总脚本，核对 pass@8 与截断率 | 第 8、9 节与例子第二段 |

手算点不是练习题，而是排错工具。训练日志异常时，第一步是回到对应的手算点，用最小例子确认自己理解的机制与代码一致；机制理解正确而结果异常，问题一定在数据或配置。

## 符号约定与关键事实

| 事实 | 取值 | 可核对位置 |
|---|---|---|
| 每提示采样数 $G$ | 16 | `--num-samples=16` |
| 每次前向的采样行数 | 8 | `--device-batch-size=8` |
| 每步的提示数 | 16 | `--examples-per-step=16` |
| 每步 rollout 条数 | 256 | `examples_per_step * num_samples` |
| 采样温度 / top-k | 1.0 / 50 | `--temperature`、`--top-k` |
| 最大生成长度 | 256 token | `--max-new-tokens=256` |
| 一轮步数 | 467 | `len(train_task) // examples_per_step` |
| 一轮 rollout 总数 | 119,552 | $467\times256$ |
| 初始学习率比例 | 0.05 | `--init-lr-frac=0.05` |
| 矩阵 / 嵌入 / 反嵌入学习率 | 0.02 / 0.2 / 0.004 | `--matrix-lr`、`--embedding-lr`、`--unembedding-lr` |
| 权重衰减 | 0.0 | `--weight-decay=0.0` |
| 学习率调度 | 线性降到 0 | `get_lr_multiplier` |
| 评测间隔 / 题数 | 60 步 / 400 题 | `--eval-every`、`--eval-examples` |
| pass@k 的 $k$ | 1 至 8 | `args.device_batch_size` |
| 奖励 | 0.0 或 1.0 | `GSM8K.reward` |
| 优势 | $r_i-\bar r$ | `advantages = rewards - mu` |
| GSM8K 训练 / 测试规模 | 约 7.5K / 约 1.32K | `chat_sft.py` 注释 |
| 检查点目录 | `chatrl_checkpoints/{tag}` | `save_checkpoint` 调用处 |
| 保存内容 | 仅模型权重 | `save_checkpoint(..., None, ...)` |

符号沿用各篇：$\theta$ 为策略参数，$G$ 为组大小，$r_i$ 为第 $i$ 条采样的奖励，$A_i=r_i-\bar r$ 为组内优势，$m_t$ 为损失掩码，$T_p$ 为一个前向批次的有效 token 数。跨篇引用时不再重复定义。

### 一次更新的数据流

```mermaid
flowchart TD
    C["GSM8K 一行<br/>question 与 answer"] --> P["get_example<br/>拆成 text python python_output"]
    P --> R["render_for_completion<br/>删助手消息并加 assistant_start"]
    R --> E["generate_batch 16 条<br/>掩码：采样 1 强制 0"]
    E --> D["decode 生成段<br/>extract_answer 比较"]
    D --> A["组内均值<br/>advantages = r - mu"]
    A --> M["targets[mask=0] = -1<br/>inputs 与 targets 错一位"]
    M --> L["logp 与 pg_obj<br/>除以有效 token 数"]
    L --> U["loss = -pg_obj<br/>反传后一次 step"]
```

这张图与开头的阶段图不同：阶段图给出四篇之间的依赖，这张图给出一条样本在 RL 循环内的八次变换。排错时按图从右往左走，先确认损失是否非零，再确认优势是否非零，再确认掩码是否正确。

### 阶段产物与命令

| 命令 | 产物 | 说明 |
|---|---|---|
| `python -m scripts.chat_rl --run=dummy` | `chatrl_checkpoints/d{depth}` | 单卡入口，`dummy` 关闭 wandb |
| `torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl -- --run=rl` | 同上 | 8 卡，每 rank 2 个提示 |
| `python -m scripts.chat_eval -i rl` | 5 任务准确率与 ChatCORE | 加载 `chatrl_checkpoints` |
| `python -m scripts.chat_eval -i rl -a GSM8K -t 0.0 -n 1` | 贪心 pass@1 | 与训练期采样口径区分 |
| `python -m scripts.chat_eval -i sft` | SFT 基线 | 与 RL 检查点成对比较 |

`runs/speedrun.sh` 不包含 `chat_rl.py`，RL 检查点需要手动运行产生。这一点在 [[训练脚本与speedrun]] 中也有说明。

### 训练日志逐字段解读

`chat_rl.py` 的打印分三类：启动期的算术、评测期的 pass@k、训练期的损失与统计。逐字段读法如下。

| 日志字段 | 来源 | 读法 |
|---|---|---|
| `Calculated number of steps: 467` | `num_steps` | 一轮总步数；`--num-epochs` 或提示数变化时同步变化 |
| `Total sequences per step: 256` | `examples_per_step × num_samples` | 每步 rollout 总量，是时间与显存的线性项 |
| `Calculated examples per rank: 2` | `examples_per_step ÷ world_size` | 8 卡为 2、单卡为 16；决定每步反传次数 |
| `Step 0` 的 `Pass@1` 至 `Pass@8` | `run_gsm8k_eval` | 每 60 步一次；第 0 步是 SFT 基线 |
| `loss: -0.013742` | $-\text{pg\_obj}$ | 负值正常；正值说明符号或优势有问题 |
| `Average reward: 0.1875` | 该提示 16 条采样的均值 | 对应 $p$；长期不动说明 $p$ 过低 |
| `Average sequence length: 214.36` | 完整序列长度 | 含提示；漂移说明长度分布变化 |
| `lrm: 1.00` | $1-\text{it}/\text{num\_steps}$ | 线性退火，最后一步接近 0 |

三处容易被忽略的细节。第一，`Total sequences per step` 是全局量（乘以了 `world_size` 的效果），单卡与 8 卡的该行相同，但 `examples per rank` 不同。第二，`loss` 的绝对值没有意义，它的量级由 `num_valid` 与优势决定，只有符号与相对趋势可比。第三，评测行的 pass@k 用 `temperature=1.0`，与 `chat_eval` 默认的贪心口径不同。

### 阶段前置检查

在启动 RL 之前，逐项确认下表；任一项不满足时，训练会静默退化而不是报错。

| 检查项 | 命令或位置 | 判据 |
|---|---|---|
| SFT 检查点存在 | `chatsft_checkpoints/{tag}/` | 有 `model_*.pt` 与 `meta_*.json` |
| SFT 已有非零 pass@k | `chat_eval -i sft -a GSM8K -n 8` | $Gp\gtrsim1$，否则组内优势恒为零 |
| 分词器与模型匹配 | 加载时的 assert | 词表大小一致 |
| 生成上限足够 | `--max-new-tokens=256` | 截断率不能过高，否则奖励在残缺文本上计算 |
| 精度路径 | `NANOCHAT_DTYPE` | 不用 fp16（RL 无 GradScaler） |
| 提示数可整除 | `examples_per_step % world_size == 0` | 否则脚本启动即断言失败 |
| 产物目录分离 | `chatrl_checkpoints/` | 与 `base`、`chatsft` 分开，避免覆盖 |

## 常见失败模式

| 现象 | 可能原因 | 检查位置 |
|---|---|---|
| 奖励恒为 1.0 | 参考答案留在提示里，采样退化为复述 | `render_for_completion` 是否删除最后一条助手消息 |
| 损失恒为 0、参数不动 | 组内全对或全错，优势为零 | `p` 与 $G$ 的门限表 |
| 损失为正且上升 | `logp` 少写了负号 | `logp = -model(...)` |
| 奖励上升但 pass@k 不动 | 模型学会只写答案或格式投机 | 短答率、`####` 位置分布 |
| pass@1 涨而 pass@8 平 | 锐化而非改进 | pass@k 曲线形状 |
| pass@8 下降 | 熵塌缩，采样趋同 | 同题 16 条的不同答案数 |
| 训练后期长度持续增长 | 无长度惩罚，长回复更易命中 | 平均长度与截断率 |
| 工具调用率下降 | `python_output` 掩码为 0，调用不带来奖励 | 生成文本中的 tool 块比例 |
| 从 RL 检查点续训失败 | 未保存优化器状态 | `save_checkpoint(..., None, ...)` |
| fp16 下梯度下溢 | RL 无 GradScaler | `README.md` 精度一节 |
| pass@k 打印 `k` 不足 8 | `device_batch_size` 小于 8 | `run_gsm8k_eval` 的 assert |

## 常见误读

- 把「GRPO」理解为「不需要奖励模型的 PPO」。删掉的是价值网络；奖励模型（或规则奖励）仍然必需。
- 把「组均值基线」理解为有偏估计。它的期望是 $\frac{G-1}{G}\nabla J$，方向不变。
- 把「KL 是稳定技巧」理解为可选。它改变最优解，去掉后最优策略是奖励的 argmax。
- 把 pass@k 当作能力的不变度量。它随 $k$ 单调上升，且与温度耦合。
- 把「on-policy」理解为「永远不需要旧概率」。同批多轮更新时必须显式实现比值与裁剪。
- 把「RL 后 GSM8K 提升」理解为「模型更会数学」。奖励只看最终数字，过程正确性不可观测。
- 把「未能检出遗忘」写成「没有遗忘」。400 题的 standard error 约为 0.018，1 个百分点的差异不可分辨。
- 把「工具调用是模型能力」理解为「工具调用会被 RL 强化」。返回值被掩码，调用本身不带来奖励。

### 建议的三组实验

本阶段的实验成本低（一轮 467 步，单卡可跑短程），适合用控制变量验证机制。三组实验各自对应本篇的一个公式。

| 实验 | 变量 | 观察指标 | 预期与判据 |
|---|---|---|---|
| 学习率比例 | `--init-lr-frac` 取 0.02 / 0.05 / 0.1 | pass@k 曲线、长度、截断率 | 过大时长度先涨后跌且 pass@8 压缩，说明无 KL 时步长失控 |
| 组大小 | `--num-samples` 取 8 / 16 / 32 | 空步比例、pass@k 提升速度 | $G$ 增大提高信号比例（$1-(1-p)^G$），成本线性增长 |
| 采样温度 | `--temperature` 取 0.8 / 1.0 / 1.2 | pass@8、同题不同答案数、组内方差 | 温度过低使组内全对/全错比例上升，梯度趋零 |

三组实验的共同前提是固定其他项，并且每 60 步记录一次评测，否则观测点太少。判据必须写成「若机制成立则应观察到什么」，而不是「看哪组分数高」：在 400 题的评测上，两组相差 1 至 2 个百分点无法区分。

## 达标清单

- [ ] 能写出 SFT 的目标函数与最优解，并说明它为什么不能编码「哪条回复更好」。
- [ ] 能默写 RLHF 三阶段的数据、目标与产物，指出第二阶段奖励的常数不定性。
- [ ] 能独立推出 $\nabla_\theta J=\mathbb E[(r-b)\sum_t\nabla_\theta\log\pi_\theta]$ 并证明基线无偏。
- [ ] 能推出组均值基线的期望为 $\frac{G-1}{G}\nabla_\theta J$，并解释它与留一基线的差别。
- [ ] 能说明为什么一批只更新一次时 $\rho\equiv1$、裁剪退化为恒等映射。
- [ ] 能写出序列级与 token 级归一化，并推导 token 级等价于权重 $\lvert o_i\rvert/\sum_j\lvert o_j\rvert$。
- [ ] 能列出删除 KL 后的三条后果，并各给出一个可观测指标。
- [ ] 能解释 `targets[mask_ids[:, 1:] == 0] = -1` 的右移对齐，指出哪三类 token 被排除。
- [ ] 能用 $G=16$ 的门限表计算 $p=0.05$ 时的空步比例，并给出提高信号比例的手段。
- [ ] 能手算一条 GSM8K 样本的分片数、渲染条目数与监督条目数。
- [ ] 能写出 pass@k 的组合数公式，并解释前缀估计与它同期望。
- [ ] 能说明贪心 pass@1 与采样 pass@1 的差别，并用它区分锐化与改进。
- [ ] 能设计一个 RL 前后对照实验，写明指标、样本量、温度与显著性判据。
- [ ] 能说明为什么不能用 `base_eval.py` 直接评估 RL 检查点并解释为「能力下降」。

## 参考来源

- Karpathy, *nanochat*（commit 92d63d4），`scripts/chat_rl.py`、`tasks/gsm8k.py`、`nanochat/engine.py`、`nanochat/tokenizer.py`、`scripts/chat_eval.py`、`scripts/base_eval.py`、`runs/speedrun.sh`、`README.md` —— 本阶段全部事实、默认值、命令与代码位置的基准。
- Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— GRPO 的原始目标、组内标准化优势与「去掉价值网络」的动机。
- Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— token 级归一化、熵塌缩与长度奖励塑形，对应第二篇第 7 节与第四篇第 4 节。
- DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 规则奖励、纯 RL 训练与行为变化的外部证据，对应第一篇第 4 节与第四篇第 3、5 节。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— RLHF 三阶段、四模型显存结构与对齐税，对应第一篇第 2 节与第四篇第 6 节。
- Cobbe et al., "Training Verifiers to Solve Math Word Problems", arXiv:2110.14168, 2021 —— GSM8K 的数据集定义、规模与 `####` 答案格式。
