---
tags: [nanochat, rl, grpo, rlhf]
阶段: 07-强化学习对齐RL
难度: ★★★
created: 2026-10-22
related: "[[GRPO原理与实现]], [[GSM8K数学任务]], [[有监督微调SFT]], [[对齐-RLHF]]"
---

# RLHF与GRPO概览

## 定义

**基于人类反馈的强化学习**（reinforcement learning from human feedback，RLHF）指先用示范数据做监督微调、再用成对比较训练奖励模型、最后以奖励模型的标量为目标在 KL 约束下用策略梯度优化语言模型的三段式流程；**组相对策略优化**（group relative policy optimization，GRPO）是其中第三段的一种实现，它用同一提示下 $G$ 条采样的平均奖励代替价值网络作为基线，因而不需要第二个可训练模型。

符号约定如下。$x$ 为提示，$y=(y_1,\dots,y_T)$ 为回复，$r$ 为标量奖励。

| 符号 | 含义 |
|---|---|
| $\pi_\theta(y\mid x)$ | 策略，参数为 $\theta$ 的语言模型，$\pi_\theta(y\mid x)=\prod_t\pi_\theta(y_t\mid x,y_{<t})$ |
| $\pi_{\mathrm{ref}}$ | 参考策略，SFT 模型复制并冻结，KL 项的锚点 |
| $r_\phi(x,y)$ | 奖励模型，参数为 $\phi$，输出实数 |
| $r_i$ | 第 $i$ 条采样的奖励；nanochat 中 $r_i\in\{0,1\}$ |
| $G$ | 每个提示的采样条数，GRPO 论文常用 4 至 64，nanochat 用 16 |
| $b$ | 基线，只依赖提示或由组内采样估计，与动作独立时无偏 |
| $A_i$ | 优势，$A_i=r_i-b$；GRPO 与 nanochat 取 $b=\bar r$ |
| $\bar r$ | 组内奖励均值，$\bar r=\frac{1}{G}\sum_{j=1}^{G}r_j$ |
| $\sigma_r$ | 组内奖励标准差，z-score 归一化的分母 |
| $\rho_t$ | 重要性比值，$\rho_t=\pi_\theta(y_t\mid\cdot)/\pi_{\theta_{\text{old}}}(y_t\mid\cdot)$ |
| $\varepsilon$ | 裁剪半径，常用 $0.2$ |
| $\beta$ | KL 惩罚系数，单位为 nat |
| $V_\psi(s)$ | 价值网络，参数为 $\psi$，估计状态期望回报 |
| $\mathcal D_{\text{pref}}$ | 成对偏好数据集，元素为 $(x,y_w,y_l)$ |
| $\sigma(z)$ | logistic 函数，$\sigma(z)=1/(1+e^{-z})$ |

术语说明。**目标错位**指训练目标与真实目标不一致：预训练与 SFT 最大化数据分布上的对数似然，部署要求的是效用。**奖励模型**把回复映射为标量，充当人类偏好的代理。**奖励黑客**指策略找到奖励的高分区域而该区域不对应真实目标。**优势**是回报减基线，衡量一条动作相对基线的优劣。**信任域**指对策略更新幅度的约束，在 RLHF 中由 KL 项实现。**可验证奖励**指由确定性程序给出、不含可学习参数的奖励，GSM8K 的答案精确匹配是其中最简单的一种。**rollout** 指用当前策略完整生成一条回复。**on-policy** 指用于计算梯度的轨迹由当前参数采样且采样后参数未更新。**对齐税**（alignment tax）指对齐训练导致通用能力下降。**best-of-n** 指推理时采样 $n$ 条并按奖励取最优。

通用 PPO、Bradley–Terry 与 DPO 的完整推导见 [[对齐-RLHF]] 与 [[DPO与偏好优化]]，本篇只讲它们在 nanochat 中的取舍与位置；本阶段的核心推导在 [[GRPO原理与实现]]。

## 为什么重要

SFT 之后模型的行为由示范数据的表面统计决定。给定一条提示，模型输出的是与训练集中相似回复的加权组合，而不是「在若干候选回复中挑最好的那条」。这带来三个具体限制。第一，它拟合频次而不编码偏好：同一提示下的好回复与差回复按数据中的比例分配概率，模型无法表达前者优于后者。第二，它从不用自己的输出训练：推理时产生的错误分布从未进入损失函数，因此错误不会被针对性压低。第三，它不能利用可自动判分的任务：模型可以生成一条思路正确但末位算错的回复，SFT 无法区分「思路对」与「答案对」。

RLHF 把监督信号从「像不像示范」换成「奖励高不高」。奖励可以来自人类比较（昂贵的奖励模型），也可以来自程序判分（几乎免费）。前者是一般对齐的手段，后者是数学与代码任务的手段。两者的共同点是：优化对象从 $p_D(y\mid x)$ 变成 $\mathbb E_{\pi_\theta}[r]$，从而第一次让「模型自己的采样」进入训练回路。

GRPO 在这一框架中的位置是把 RLHF 第三段的成本压下来。PPO 需要一个与策略同规模的价值网络、一个冻结的参考模型与一个奖励模型，四个模型同时驻留显存；GRPO 用组内均值替代价值网络，参考模型只在 KL 项需要时保留，奖励若为规则函数则不需要模型。nanochat 再把 KL 与比值裁剪删掉，最终只需要一份模型，使 RL 从「多机多卡的对齐工程」变成单文件、可在一台 8×H100 节点上跑的脚本章节。

在「懂原理 / 能复现 / 懂工程」三条主线中，本篇承担框架定位：后续 [[GRPO原理与实现]] 给出目标函数与实现，[[GSM8K数学任务]] 给出奖励与评测，[[RL对模型的影响]] 给出后果与风险。没有这一层的定位，容易把 GRPO 当作「不需要奖励模型的 PPO」，从而误以为它天然规避了奖励黑客与分布漂移。

## 原理与推导

### 1 模仿学习的目标与其边界

设示范数据服从 $p_D(y\mid x)$，SFT 求解

$$
\max_{\pi}\ \mathbb E_{x}\ \mathbb E_{y\sim p_D(\cdot\mid x)}\bigl[\log\pi(y\mid x)\bigr].
$$

对每个 $x$ 单独看，这是交叉熵最小化。由 Gibbs 不等式

$$
\mathbb E_{p_D}[\log\pi]=\mathbb E_{p_D}[\log p_D]-\mathrm{KL}(p_D\lVert\pi),
$$

右端第一项与 $\pi$ 无关，故最优解为 $\pi=p_D$，任何偏离都会使目标下降 $\mathrm{KL}(p_D\lVert\pi)$。这个结论界定了 SFT 的能力边界：模型学会的是标注者写作分布的近似，而不是「什么算好」。

部署时要求的是

$$
\max_{\pi}\ \mathbb E_{x}\ \mathbb E_{y\sim\pi(\cdot\mid x)}\bigl[U(x,y)\bigr],
$$

其中 $U$ 是效用。两个目标的差别不只是估计误差：前者的期望取在 $p_D$ 上，后者取在 $\pi$ 上。前者不惩罚模型自身高概率输出的错误，后者会。把后者直接作为优化对象不可行，因为 $U$ 没有解析形式；可行的替代是用一个可计算的标量替代 $U$，再用采样估计梯度。

替代有两种。其一是用人类比较训练奖励模型 $r_\phi$，这是 RLHF 的一般形式。其二是用程序判分，数学题的答案精确匹配属于此类，不需要任何可学习参数。nanochat 属于第二种，这是它能把 RL 压到一个文件的前提。

### 2 RLHF 三阶段

表 1 列出三段的目标、数据与失败模式。

表 1 RLHF 三阶段

| 阶段 | 数据 | 目标函数 | 产物 | 主要失败模式 |
|---|---|---|---|---|
| 1 SFT | 示范对话 $(x,y)$ | $-\sum_t\log\pi_\theta(y_t\mid x,y_{<t})$，只在助手侧计损失 | $\pi_{\mathrm{SFT}}$ | 只模仿、不区分好坏 |
| 2 奖励建模 | 成对比较 $(x,y_w,y_l)$ | $-\log\sigma\bigl(r_\phi(x,y_w)-r_\phi(x,y_l)\bigr)$ | $r_\phi$ | 长度偏差、标注噪声、过拟合 |
| 3 PPO | 提示 $x$ 与在线采样 | $\mathbb E[\min(\rho A,\mathrm{clip}(\rho)A)]-\beta\mathrm{KL}$，另训 $V_\psi$ | $\pi_{\mathrm{RL}}$ | 发散、奖励过优化、显存高 |

第二阶段的损失来自 Bradley–Terry 模型：偏好概率只依赖分数差，$P(y_w\succ y_l)=\sigma(r_w-r_l)$。该模型在同一提示内只能把奖励识别到相差一个常数，因此奖励的绝对数值没有意义，只有差值有意义。这一性质在 [[DPO与偏好优化]] 中被用来消去配分函数。

第三阶段把奖励模型当作环境奖励，并加 KL 约束：

$$
\max_{\pi_\theta}\ \mathbb E_{x}\Bigl[\mathbb E_{y\sim\pi_\theta}\,r_\phi(x,y)-\beta\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid x)\lVert\pi_{\mathrm{ref}}(\cdot\mid x)\bigr)\Bigr].
$$

KL 项改变最优解：闭式解为 $\pi^\star\propto\pi_{\mathrm{ref}}\exp(r_\phi/\beta)$，$\beta\to0$ 时退化为奖励模型的 argmax。该项同时是「防止奖励模型被外推滥用」与「防止熵塌缩」的唯一机制。完整推导见 [[对齐-RLHF]]。

### 3 策略梯度目标与推导要点

三段流程共用的骨架是策略梯度。目标是

$$
J(\theta)=\mathbb E_{x\sim\mathcal D}\ \mathbb E_{y\sim\pi_\theta(\cdot\mid x)}\bigl[r(x,y)\bigr],
$$

其中 $r$ 可以是奖励模型，也可以是程序判分。推导分五步。

第一步，$J$ 只通过 $\pi_\theta$ 依赖 $\theta$，$r$ 不含参数。第二步，把梯度移进求和并用对数导数技巧：

$$
\nabla_\theta J=\sum_y r(x,y)\nabla_\theta\pi_\theta(y\mid x)
=\sum_y\pi_\theta(y\mid x)\,r(x,y)\,\nabla_\theta\log\pi_\theta(y\mid x).
$$

第三步，把联合概率拆成条件概率之积，得到逐 token 形式：

$$
\nabla_\theta\log\pi_\theta(y\mid x)=\sum_{t=1}^{T}\nabla_\theta\log\pi_\theta(y_t\mid x,y_{<t}).
$$

第四步，减去与动作独立的基线 $b(x)$。由 $\sum_y\nabla_\theta\pi_\theta(y\mid x)=\nabla_\theta1=0$，有 $\mathbb E[b\,\nabla_\theta\log\pi_\theta]=0$，故基线不改变期望、只改变方差。第五步，用采样估计期望，得到可直接实现的形式：

$$
\nabla_\theta J=\mathbb E_{x}\ \mathbb E_{y\sim\pi_\theta}\left[\bigl(r(x,y)-b(x)\bigr)\sum_{t=1}^{T}\nabla_\theta\log\pi_\theta(y_t\mid x,y_{<t})\right].
$$

这一式子是全篇的中心：PPO 用 $b=V_\psi(s_t)$ 逐位置给出基线并加裁剪与 KL；GRPO 用 $b=\bar r$ 每条轨迹一个基线；nanochat 用 $b=\bar r$ 且不加任何约束。三者的差别只在 $b$ 的估计方式与约束项，骨架完全相同。基线的无偏性与 $(G-1)/G$ 因子的完整证明见 [[GRPO原理与实现]] 第 3 节。

### 4 GRPO：用组均值替代价值网络

PPO 的基线由价值网络 $V_\psi$ 给出，逐 token 估计并配合 GAE 做偏差方差折中。价值网络带来两个成本：一份与策略同规模的参数与优化器状态；每个 token 一次额外前向。GRPO 的观察是，当奖励只在序列末给出时，状态价值的作用主要是「这条轨迹到目前为止预计能得多少分」，而同一提示下多条采样的平均奖励就是该量的一个无参数估计。

于是 GRPO 对每个提示采样 $G$ 条回复，计算组内优势

$$
\hat A_i=\frac{r_i-\bar r}{\sigma_r+\epsilon}\quad\text{或}\quad\hat A_i=r_i-\bar r,
$$

并代入带比值、裁剪与 KL 的目标：

$$
J_{\text{GRPO}}(\theta)=\mathbb E\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{\lvert o_i\rvert}\sum_{t=1}^{\lvert o_i\rvert}\min\bigl(\rho_{i,t}\hat A_i,\ \mathrm{clip}(\rho_{i,t},1-\varepsilon,1+\varepsilon)\hat A_i\bigr)-\beta\,D_{i,t}\right].
$$

与 PPO 相比，这个目标有三处结构性差异。第一，基线不是学出来的，而是同组采样的经验均值，因此没有价值网络、没有自举、没有 GAE 的 $\lambda$。第二，优势在一条轨迹内是常数，逐 token 的差异只来自 $\rho$ 与 KL，这使实现从「逐位置优势」简化为「逐序列优势」。第三，它要求每个提示采样 $G$ 条，采样成本上升，但省掉了价值网络的前向与训练。

组均值的方差性质需要单独说明。它是提示难度的蒙特卡洛估计：简单题 $\bar r=1$、难题 $\bar r=0$，组内优势都为零，梯度被自动屏蔽；只有「同题内部分对部分错」的样本产生梯度。这既是优点（自动聚焦在能力边界上），也是缺点（能力边界之外的题不产生信号，见 [[GRPO原理与实现]] 第 10 节的门限分析）。

### 5 PPO 与 GRPO 的逐项对比

表 2 列出两者的差异与 nanochat 的实际取值。

表 2 PPO、GRPO 与 nanochat 实现

| 维度 | PPO | GRPO | nanochat 的取值 |
|---|---|---|---|
| 基线来源 | 价值网络 $V_\psi$ 加 GAE | 组内均值，可除标准差 | 组内均值，不除标准差 |
| 额外可训练模型 | 价值网络，与策略同规模 | 无 | 无 |
| 参考模型 | 需要，KL 项 | 需要，KL 项 | 不需要 |
| 奖励来源 | 奖励模型 | 奖励模型或规则函数 | 规则函数：答案精确匹配 |
| 每提示采样数 | 通常 1 条 | $G$ 条，常用 4 至 64 | 16 条 |
| 同批数据更新轮数 | 多轮 inner epochs | 通常 1 至 2 轮 | 1 轮 |
| 比值与裁剪 | 必需 | 需要 | 不需要（on-policy 单步） |
| 每 token 额外前向 | 价值网络一次、KL 一次 | KL 一次 | 无 |
| 显存中的模型副本 | 4 份（策略/价值/参考/奖励） | 2 份（策略/参考） | 1 份（策略） |
| 实现规模 | 依赖训练框架 | 中等 | 单文件 326 行 |

显存一栏可以量化。d24 的总参数为 1,384,122,122（由 `GPT.num_scaling_params()` 给出，见 [[缩放定律与模型深度]]），bf16 权重每份约 2.77 GB。四份副本为 11.07 GB，两份为 5.54 GB，一份为 2.77 GB；这不含优化器状态与激活，但足以说明「删掉价值网络与参考模型」不是微小的节省。

### 6 nanochat 的「GRPO」为何更接近 REINFORCE

`scripts/chat_rl.py` 的模块 docstring 把差异逐条写明：

```python
"""
Reinforcement learning on GSM8K via "GRPO".

I put GRPO in quotes because we actually end up with something a lot
simpler and more similar to just REINFORCE:

1) Delete trust region, so there is no KL regularization to a reference model
2) We are on policy, so there's no need for PPO ratio+clip.
3) We use DAPO style normalization that is token-level, not sequence-level.
4) Instead of z-score normalization (r - mu)/sigma, only use (r - mu) as the advantage.
"""
```

以上为节选，原 docstring 在这四条之后还有单卡与 8 卡的运行命令。四条逐条解释。

第一条删掉信任域。KL 项被整项移除，$\beta$ 不再存在，参考模型不再加载。后果是最优解从「参考策略的指数倾斜」退化为「奖励的 argmax」，策略可以无约束地漂移到判分器的高分区域，且没有任何回拉机制。代价是显存与一次参考前向，收益是代码里少一个模型、少一次前向、少一个超参。

第二条说明不需要比值与裁剪。nanochat 每个 rollout 批次只做一次参数更新，采样与反传之间 $\theta$ 未变，故 $\rho\equiv1$，裁剪算子作用于常数的两侧相等，梯度与未裁剪时相同。这一条把 PPO 的实现依赖（保存旧对数概率、多轮更新、KL 控制器）全部去掉，剩下的是纯策略梯度。

第三条改归一化口径。序列级除以 $\lvert o_i\rvert$，token 级除以批次内有效 token 总数；后者等价于给第 $i$ 条回复权重 $\lvert o_i\rvert/\sum_j\lvert o_j\rvert$。DAPO 这样改的理由是避免长序列的逐 token 贡献被长度稀释。

第四条去掉 z-score。优势只用 $r_i-\bar r$，不除 $\sigma_r$。理由在 0/1 奖励下 $\sigma_r=\sqrt{\hat p(1-\hat p)}$，$\hat p$ 小时除法会把梯度放大约 $1/\sigma_r$ 倍，且全对全错时 $\sigma_r=0$ 需要 $\epsilon$ 兜底。

四条合起来，nanochat 实际优化的目标是

$$
J_{\text{nanochat}}(\theta)=\mathbb E\left[\frac{1}{\sum_t m_t}\sum_{t}m_t\,\log\pi_\theta(y_t\mid x,y_{<t})\,A_i\right],\qquad A_i=r_i-\bar r,
$$

其中 $m_t$ 是掩码，只有策略自己采样的 token 计入。这正是「带组内基线的 REINFORCE 加掩码」，与 PPO 的共同点只剩「用对数概率乘优势」这一骨架。

关于「三处还是四处」的计数：若按优化目标中的项计，删减是三项（KL、比值裁剪、z-score）；若把归一化口径也算作对目标的修改，则是四项。`00-MOC` 的达标清单写「三处差别」，本篇按 docstring 列四条，两者数的是不同对象，不矛盾。

### 7 与 DPO 的位置关系

DPO 从 KL 正则目标的闭式解出发，把奖励反解为策略与参考策略的对数比，代回 Bradley–Terry 损失，从而消去显式奖励模型与在线采样，得到一个在成对数据上的分类损失。它需要的是一次性偏好数据与一次监督式训练，不需要 rollout。

nanochat 不实现 DPO，原因是任务形态不同：GSM8K 有程序判分，不需要人类偏好；而 DPO 的收益主要在「无法自动判分、只有成对比较」的场景。这一取舍决定了本阶段的全部特征：单一 reward、无 KL、无价值网络。DPO 的推导与工程细节见 [[DPO与偏好优化]]。

### 在 nanochat 中的落地

| 衔接点 | 位置 | 语句或默认值 | 说明 |
|---|---|---|---|
| 策略初值 | `chat_rl.py` | `load_model("sft", device, phase="eval")` | 没有 SFT 检查点就没有 RL |
| rollout 引擎 | 同上 | `engine = Engine(model, tokenizer)` | 一次 prefill 复制 KV 后并行采样 8 条 |
| 训练数据 | 同上 | `GSM8K(subset="main", split="train")` | 约 7.5K 行，一轮 467 步 |
| 奖励 | 同上 | `train_task.reward(conversation, generated_text)` | 0/1，答案精确匹配 |
| 优势 | 同上 | `mu = rewards.mean(); advantages = rewards - mu` | 组内均值基线 |
| 更新 | 同上 | `loss = -pg_obj` | 见 [[GRPO原理与实现]] |
| 产物 | 同上 | `chatrl_checkpoints/{model_tag 或 d{depth}}` | 只存模型权重，不含优化器状态 |
| 评测 | `chat_eval.py` | `load_model("rl", ...)`，即 `-i rl` | 5 个任务与 ChatCORE |
| 训练期指标 | `chat_rl.py` | `run_gsm8k_eval`，每 60 步，400 题，pass@1 至 pass@8 | temperature 1.0 的采样准确率 |
| 参考流程 | `runs/speedrun.sh` | 只到 SFT 与 `chat_eval -i sft` | RL 需要手动追加命令 |

规模可以估算。一轮 467 步，每步 16 个提示、每个 16 条采样，共 $467\times256=119{,}552$ 条 rollout；按每条完整序列 214 token 计约 $2.6\times10^7$ token（含提示，生成部分受 `--max-new-tokens=256` 上限约束）。`runs/speedrun.sh` 不包含 RL 步骤，这一点常被误读：README 的流水线图把 RL 列为可选阶段，参考脚本在 SFT 评测后结束。

## 关键直觉

> [!tip] RLHF、GRPO 与 nanochat 的实现是同一个目标的三级简化，而不是三种不同方法。共同骨架是 $\mathbb E[(r-b)\sum_t\nabla_\theta\log\pi_\theta]$；RLHF 的 $b$ 由价值网络给出并附加 KL 与裁剪，GRPO 的 $b$ 由组内均值给出但仍保留 KL 与裁剪，nanochat 的 $b$ 由组内均值给出且把 KL 与裁剪都删掉。每降一级，少一份模型副本、少一次额外前向、少一个超参，同时少一个约束。
>
> 与严格定义的关系：定义中的 $b$ 是「与动作独立的基线」，三种实现都满足这一条，因此梯度期望的方向相同；差别在方差与可行域。KL 与裁剪约束的是可行域（最优解与单步步长），基线选择影响的是方差。判断一次改动属于哪一类，只需问：它改变最优解，还是只改变到达最优解的路径。删 KL 改变最优解，换基线只改变方差。

## 例子与代码

第一段量化基线的方差收益。4 臂 bandit，各臂答对概率为 $(0.2,0.5,0.6,0.9)$，策略为均匀 softmax，每组采样 $G=8$ 条，重复 50,000 组，比较无基线、组均值、留一均值与 z-score 四种估计器的均值与标准差。

```python
"""四种优势估计器的均值与标准差（numpy 2.x）。"""
import numpy as np

rng = np.random.default_rng(0)
q = np.array([0.2, 0.5, 0.6, 0.9])       # 各臂答对概率
theta = np.zeros(4)                       # 均匀策略
G, N = 8, 50000
p = np.exp(theta) / np.exp(theta).sum()

def grad_logpi(a):
    e = np.zeros(4)
    e[a] = 1.0
    return e - p                          # softmax 对数概率对 logits 的梯度

none = np.zeros((N, 4)); mean = np.zeros((N, 4))
loo = np.zeros((N, 4)); zsc = np.zeros((N, 4))
for t in range(N):
    acts = rng.choice(4, size=G, p=p)
    r = (rng.random(G) < q[acts]).astype(float)
    mu, sd = r.mean(), r.std()
    for i, a in enumerate(acts):
        g = grad_logpi(a)
        none[t] += g * r[i] / G
        mean[t] += g * (r[i] - mu) / G
        loo[t] += g * (r[i] - np.delete(r, i).mean()) / G
        zsc[t] += g * ((r[i] - mu) / (sd + 1e-6)) / G

Jbar = float((p * q).sum())
print("true gradJ", np.round(p * (q - Jbar), 4).tolist())
for name, arr in [("none", none), ("mean", mean), ("loo", loo), ("zscore", zsc)]:
    print(f"{name:6s} mean {np.round(arr.mean(0), 4).tolist()} "
          f"std {np.round(arr.std(0), 4).tolist()}")
print("std ratio none/mean", np.round(none.std(0) / mean.std(0), 3).tolist())
```

预期输出如下。

```text
true gradJ [-0.0875, -0.0125, 0.0125, 0.0875]
none   mean [-0.0874, -0.0123, 0.0127, 0.087] std [0.0804, 0.1099, 0.1166, 0.1314]
mean   mean [-0.0763, -0.0109, 0.0109, 0.0764] std [0.0698, 0.0713, 0.0704, 0.0632]
loo    mean [-0.0872, -0.0125, 0.0124, 0.0873] std [0.0798, 0.0815, 0.0805, 0.0722]
zscore mean [-0.1624, -0.0233, 0.0232, 0.1625] std [0.148, 0.1526, 0.1504, 0.1322]
std ratio none/mean [1.152, 1.542, 1.656, 2.08]
```

这段代码在做什么：每个回合按均匀策略抽 8 个动作，按各臂概率得到 0/1 奖励，再分别用四种方式构造优势并累加 $\nabla\log\pi_\theta(a)$；`true gradJ` 是解析梯度 $\partial J/\partial\theta_j=p_j(q_j-\sum_a p_aq_a)$。

为什么这样看：组均值估计的均值是真梯度的 $0.873$ 倍（$7/8$，与 $(G-1)/G$ 一致），标准差比无基线小 $13\%$ 至 $52\%$；留一估计的均值与真梯度一致，标准差略大于组均值；z-score 的均值与标准差同时被放大约 $1.86$ 倍与 $1.8$ 倍。三个结论分别对应第 3 节的 $(G-1)/G$ 因子、第 4 节的留一无偏性、第 6 节「z-score 只改尺度不改方向」。

第二段核对 on-policy 时比值恒为 1 与裁剪的两种截断方向。

```python
"""on-policy 时 ratio 恒为 1；偏离后 clip 在有利与不利方向各截断一次。"""
import numpy as np

def logp(z, a):
    z = z - z.max()
    return z[a] - np.log(np.exp(z).sum())

old = np.array([0.3, -0.2, 1.1, 0.0, -0.7])
same = old.copy()
pert = np.array([0.9, -0.2, 0.6, 0.0, -0.7])
acts = np.array([0, 2, 4])
adv = np.array([0.8, -0.4, 1.2])
eps = 0.2

lp_old = np.array([logp(old, a) for a in acts])
ratio_same = np.exp(np.array([logp(same, a) for a in acts]) - lp_old)
ratio_pert = np.exp(np.array([logp(pert, a) for a in acts]) - lp_old)

sur1 = ratio_pert * adv
sur2 = np.clip(ratio_pert, 1 - eps, 1 + eps) * adv
print("ratio same", ratio_same.tolist())
print("ratio pert", np.round(ratio_pert, 4).tolist())
print("unclipped ", np.round(sur1, 4).tolist())
print("clipped   ", np.round(sur2, 4).tolist())
print("min       ", np.round(np.minimum(sur1, sur2), 4).tolist())
```

预期输出如下。

```text
ratio same [1.0, 1.0, 1.0]
ratio pert [1.8421, 0.6132, 1.011]
unclipped  [1.4737, -0.2453, 1.2132]
clipped    [0.96, -0.32, 1.2132]
min        [0.96, -0.32, 1.2132]
```

这段代码在做什么：`logp` 计算给定 logits 与动作的对数概率；`ratio_same` 用同一组 logits，`ratio_pert` 用扰动后的 logits；`sur1`、`sur2` 分别是未裁剪与裁剪后的替代目标，`min` 是 PPO 的目标值。

为什么这样看：同一组 logits 下三个比值精确等于 1，`min` 两侧相等，梯度与未裁剪时相同，这是 `chat_rl.py` 注释第二条的数值依据。扰动后第一个 token 的优势为正、比值 $1.8421>1.2$，`min` 取裁剪值 $0.96$，该 token 的梯度为零（策略已在该动作上更自信）；第二个 token 的优势为负、比值 $0.6132<0.8$，`min` 取裁剪值 $-0.32$，梯度同样为零；只有第三个 token 落在区间内，梯度保留。裁剪在两种方向上都是「越界即停」，不是「只奖励有利方向」。

第三段计算三份模型副本的显存下界。

```python
"""d24 的 bf16 权重副本（十进制 GB，不含优化器状态与激活）。"""
P = 1_384_122_122                    # GPT.num_scaling_params() 的总参数
per_copy = 2 * P / 1e9
print(f"单份权重 {per_copy:.3f} GB")
for name, copies in [("PPO-RLHF 策略/价值/参考/奖励", 4),
                     ("GRPO 策略/参考", 2),
                     ("nanochat 仅策略", 1)]:
    print(f"{name}: {copies} 份 = {copies * per_copy:.2f} GB")
```

预期输出如下。

```text
单份权重 2.768 GB
PPO-RLHF 策略/价值/参考/奖励: 4 份 = 11.07 GB
GRPO 策略/参考: 2 份 = 5.54 GB
nanochat 仅策略: 1 份 = 2.77 GB
```

这段代码在做什么：把参数量乘 2 字节得到单份 bf16 权重，再乘以副本数。它不含 fp32 主权重、Muon 动量、AdamW 的一二阶矩与激活，因此是下界而非完整占用。

为什么这样看：11.07 GB 与 2.77 GB 的差别只是权重，若计入两个可训练模型的优化器状态，差距会进一步扩大。这解释了为什么 GRPO 的论文动机首先是工程动机：去掉价值网络让 RL 能在更小的集群上跑。nanochat 再把参考模型也去掉，把这一项压到一份。

第四段是运行入口。

```bash
# RL：单卡
python -m scripts.chat_rl --run=dummy
# RL：8 卡，每个 rank 处理 2 个提示
torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl -- --run=default
# 用 RL 检查点评测 5 个任务与 ChatCORE
python -m scripts.chat_eval -i rl
```

## 易错点

> [!warning] 以下六条分别对应概念、符号与工程三类错误。
> 1. 把 GRPO 理解为「不需要奖励模型的 PPO」。GRPO 删掉的是价值网络，奖励模型（或规则奖励）仍然必需；nanochat 能删掉奖励模型，是因为 GSM8K 有程序判分，不是因为 GRPO 本身不需要奖励。
> 2. 认为组均值基线引入偏差。它的期望是 $\frac{G-1}{G}\nabla_\theta J$，方向不变；真正的偏差来自「用同一批采样估计基线又用它计算梯度」之外的近似，例如把 KL 写成不含自身梯度的常数。
> 3. 把 KL 当作可选的正则技巧。它改变最优解：去掉后最优策略是奖励的 argmax，而不是参考策略的倾斜分布。判断标准是「是否有闭式最优解变化」，不是「训练是否更稳定」。
> 4. 把 `pass@k` 当作模型能力的不变度量。它随 $k$ 单调上升，且与采样温度耦合；温度 1.0 的 pass@1 与贪心 pass@1 不是同一个量。报告时必须写明 $k$、温度与采样数。
> 5. 把「on-policy」理解为「不需要保存旧概率」。当前实现确实不需要，因为它一批只更新一次；一旦改成同批多轮更新，就必须保存 $\log\pi_{\theta_{\text{old}}}$ 并实现比值与裁剪。
> 6. 把三条删减记成「GRPO 的定义」。它们是 nanochat 的实现取舍，教科书 GRPO 仍带 KL 与裁剪；引用结论时须注明是哪一个版本。

## 关联笔记

- 前置 [[有监督微调SFT]]：SFT 提供策略初值与参考策略，其检查点是 RL 的唯一输入；SFT 的 GSM8K 过采样决定初始答对率是否越过信号门限。
- 前置 [[从生成式到对话式]]：`render_for_completion` 的拼接顺序与停止符约定，是 rollout 能对齐训练格式的前提。
- 后续 [[GRPO原理与实现]]：本篇只给出骨架与位置，目标函数、组基线证明、归一化与掩码在该篇展开。
- 后续 [[GSM8K数学任务]]：奖励函数、判分正则与 pass@k 的计算在该篇展开。
- 后续 [[RL对模型的影响]]：本篇列出的三项删减在该篇转化为可观测的失败模式与监控协议。
- 跨库 [[对齐-RLHF]]：PPO、Bradley–Terry 与 KL 正则的完整推导；跨库 [[DPO与偏好优化]] 给出不使用在线采样的替代路径。

## 达标检测

- [ ] 写出 SFT 的最优解并证明它等于示范分布，说明这一结论为什么意味着「只模仿、不编码偏好」。
- [ ] 写出 RLHF 三阶段各自的数据、目标与产物，指出第二阶段的奖励只能被识别到相差一个常数。
- [ ] 独立推出 $\nabla_\theta J=\mathbb E[(r-b)\sum_t\nabla_\theta\log\pi_\theta]$，并说明基线无偏的条件。
- [ ] 说明 GRPO 用什么替代价值网络，替代之后损失了什么（逐 token 的优势分辨率）。
- [ ] 默写 PPO 与 GRPO 的对比表，至少包含基线、参考模型、采样数、裁剪、显存五项。
- [ ] 复述 `chat_rl.py` docstring 的四条删减，各给出一条可观察的后果。
- [ ] 计算 d24 在三种配置下的 bf16 权重副本，并说明该数字为什么是下界。
- [ ] 运行第二段代码，把 `adv` 的第一个元素改为 $-0.8$，重新判断 `min` 在哪个分支取值并解释。

## 参考来源

- Karpathy, *nanochat*（commit 92d63d4），`scripts/chat_rl.py` 模块 docstring 与训练循环、`scripts/chat_eval.py`、`runs/speedrun.sh`、`README.md` —— 对应第 6 节的四条删减原文、第 7 节的落地表与「speedrun 不含 RL」这一事实。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 2 节的 RLHF 三阶段、第 3 节的 PPO 与 KL 惩罚、第 5 节的四模型显存结构。
- Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— 对应第 4 节的 GRPO 目标、组内标准化优势与「去掉价值网络」的动机。
- Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— 对应第 6 节第三条的 token 级归一化来源。
- DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 对应第 4 节与第 6 节：以规则奖励配合 GRPO 的训练形态与 nanochat 的取舍同源，可作为「无奖励模型也能做 RL」的外部证据。
- Goodfellow, Bengio, Courville, *Deep Learning*, 2016 —— 对应第 3 节策略梯度与对数导数技巧的经典表述。
