w wyl123ly 的博客
MD

RLHF与GRPO概览

29 KB 2026.10.22 原文件

RLHF与GRPO概览

定义

基于人类反馈的强化学习(reinforcement learning from human feedback,RLHF)指先用示范数据做监督微调、再用成对比较训练奖励模型、最后以奖励模型的标量为目标在 KL 约束下用策略梯度优化语言模型的三段式流程;组相对策略优化(group relative policy optimization,GRPO)是其中第三段的一种实现,它用同一提示下 条采样的平均奖励代替价值网络作为基线,因而不需要第二个可训练模型。

符号约定如下。 为提示, 为回复, 为标量奖励。

符号含义
策略,参数为 的语言模型,
参考策略,SFT 模型复制并冻结,KL 项的锚点
奖励模型,参数为 ,输出实数
第 条采样的奖励;nanochat 中
每个提示的采样条数,GRPO 论文常用 4 至 64,nanochat 用 16
基线,只依赖提示或由组内采样估计,与动作独立时无偏
优势,;GRPO 与 nanochat 取
组内奖励均值,
组内奖励标准差,z-score 归一化的分母
重要性比值,
裁剪半径,常用
KL 惩罚系数,单位为 nat
价值网络,参数为 ,估计状态期望回报
成对偏好数据集,元素为
logistic 函数,

术语说明。目标错位指训练目标与真实目标不一致:预训练与 SFT 最大化数据分布上的对数似然,部署要求的是效用。奖励模型把回复映射为标量,充当人类偏好的代理。奖励黑客指策略找到奖励的高分区域而该区域不对应真实目标。优势是回报减基线,衡量一条动作相对基线的优劣。信任域指对策略更新幅度的约束,在 RLHF 中由 KL 项实现。可验证奖励指由确定性程序给出、不含可学习参数的奖励,GSM8K 的答案精确匹配是其中最简单的一种。rollout 指用当前策略完整生成一条回复。on-policy 指用于计算梯度的轨迹由当前参数采样且采样后参数未更新。对齐税(alignment tax)指对齐训练导致通用能力下降。best-of-n 指推理时采样 条并按奖励取最优。

通用 PPO、Bradley–Terry 与 DPO 的完整推导见 对齐-RLHF 与 DPO与偏好优化,本篇只讲它们在 nanochat 中的取舍与位置;本阶段的核心推导在 GRPO原理与实现。

为什么重要

SFT 之后模型的行为由示范数据的表面统计决定。给定一条提示,模型输出的是与训练集中相似回复的加权组合,而不是「在若干候选回复中挑最好的那条」。这带来三个具体限制。第一,它拟合频次而不编码偏好:同一提示下的好回复与差回复按数据中的比例分配概率,模型无法表达前者优于后者。第二,它从不用自己的输出训练:推理时产生的错误分布从未进入损失函数,因此错误不会被针对性压低。第三,它不能利用可自动判分的任务:模型可以生成一条思路正确但末位算错的回复,SFT 无法区分「思路对」与「答案对」。

RLHF 把监督信号从「像不像示范」换成「奖励高不高」。奖励可以来自人类比较(昂贵的奖励模型),也可以来自程序判分(几乎免费)。前者是一般对齐的手段,后者是数学与代码任务的手段。两者的共同点是:优化对象从 变成 ,从而第一次让「模型自己的采样」进入训练回路。

GRPO 在这一框架中的位置是把 RLHF 第三段的成本压下来。PPO 需要一个与策略同规模的价值网络、一个冻结的参考模型与一个奖励模型,四个模型同时驻留显存;GRPO 用组内均值替代价值网络,参考模型只在 KL 项需要时保留,奖励若为规则函数则不需要模型。nanochat 再把 KL 与比值裁剪删掉,最终只需要一份模型,使 RL 从「多机多卡的对齐工程」变成单文件、可在一台 8×H100 节点上跑的脚本章节。

在「懂原理 / 能复现 / 懂工程」三条主线中,本篇承担框架定位:后续 GRPO原理与实现 给出目标函数与实现,GSM8K数学任务 给出奖励与评测,RL对模型的影响 给出后果与风险。没有这一层的定位,容易把 GRPO 当作「不需要奖励模型的 PPO」,从而误以为它天然规避了奖励黑客与分布漂移。

原理与推导

1 模仿学习的目标与其边界

设示范数据服从 ,SFT 求解

对每个 单独看,这是交叉熵最小化。由 Gibbs 不等式

右端第一项与 无关,故最优解为 ,任何偏离都会使目标下降 。这个结论界定了 SFT 的能力边界:模型学会的是标注者写作分布的近似,而不是「什么算好」。

部署时要求的是

其中 是效用。两个目标的差别不只是估计误差:前者的期望取在 上,后者取在 上。前者不惩罚模型自身高概率输出的错误,后者会。把后者直接作为优化对象不可行,因为 没有解析形式;可行的替代是用一个可计算的标量替代 ,再用采样估计梯度。

替代有两种。其一是用人类比较训练奖励模型 ,这是 RLHF 的一般形式。其二是用程序判分,数学题的答案精确匹配属于此类,不需要任何可学习参数。nanochat 属于第二种,这是它能把 RL 压到一个文件的前提。

2 RLHF 三阶段

表 1 列出三段的目标、数据与失败模式。

表 1 RLHF 三阶段

阶段数据目标函数产物主要失败模式
1 SFT示范对话 ,只在助手侧计损失只模仿、不区分好坏
2 奖励建模成对比较 长度偏差、标注噪声、过拟合
3 PPO提示 与在线采样,另训 发散、奖励过优化、显存高

第二阶段的损失来自 Bradley–Terry 模型:偏好概率只依赖分数差,。该模型在同一提示内只能把奖励识别到相差一个常数,因此奖励的绝对数值没有意义,只有差值有意义。这一性质在 DPO与偏好优化 中被用来消去配分函数。

第三阶段把奖励模型当作环境奖励,并加 KL 约束:

KL 项改变最优解:闭式解为 , 时退化为奖励模型的 argmax。该项同时是「防止奖励模型被外推滥用」与「防止熵塌缩」的唯一机制。完整推导见 对齐-RLHF。

3 策略梯度目标与推导要点

三段流程共用的骨架是策略梯度。目标是

其中 可以是奖励模型,也可以是程序判分。推导分五步。

第一步, 只通过 依赖 , 不含参数。第二步,把梯度移进求和并用对数导数技巧:

第三步,把联合概率拆成条件概率之积,得到逐 token 形式:

第四步,减去与动作独立的基线 。由 ,有 ,故基线不改变期望、只改变方差。第五步,用采样估计期望,得到可直接实现的形式:

这一式子是全篇的中心:PPO 用 逐位置给出基线并加裁剪与 KL;GRPO 用 每条轨迹一个基线;nanochat 用 且不加任何约束。三者的差别只在 的估计方式与约束项,骨架完全相同。基线的无偏性与 因子的完整证明见 GRPO原理与实现 第 3 节。

4 GRPO:用组均值替代价值网络

PPO 的基线由价值网络 给出,逐 token 估计并配合 GAE 做偏差方差折中。价值网络带来两个成本:一份与策略同规模的参数与优化器状态;每个 token 一次额外前向。GRPO 的观察是,当奖励只在序列末给出时,状态价值的作用主要是「这条轨迹到目前为止预计能得多少分」,而同一提示下多条采样的平均奖励就是该量的一个无参数估计。

于是 GRPO 对每个提示采样 条回复,计算组内优势

并代入带比值、裁剪与 KL 的目标:

与 PPO 相比,这个目标有三处结构性差异。第一,基线不是学出来的,而是同组采样的经验均值,因此没有价值网络、没有自举、没有 GAE 的 。第二,优势在一条轨迹内是常数,逐 token 的差异只来自 与 KL,这使实现从「逐位置优势」简化为「逐序列优势」。第三,它要求每个提示采样 条,采样成本上升,但省掉了价值网络的前向与训练。

组均值的方差性质需要单独说明。它是提示难度的蒙特卡洛估计:简单题 、难题 ,组内优势都为零,梯度被自动屏蔽;只有「同题内部分对部分错」的样本产生梯度。这既是优点(自动聚焦在能力边界上),也是缺点(能力边界之外的题不产生信号,见 GRPO原理与实现 第 10 节的门限分析)。

5 PPO 与 GRPO 的逐项对比

表 2 列出两者的差异与 nanochat 的实际取值。

表 2 PPO、GRPO 与 nanochat 实现

维度PPOGRPOnanochat 的取值
基线来源价值网络 加 GAE组内均值,可除标准差组内均值,不除标准差
额外可训练模型价值网络,与策略同规模无无
参考模型需要,KL 项需要,KL 项不需要
奖励来源奖励模型奖励模型或规则函数规则函数:答案精确匹配
每提示采样数通常 1 条 条,常用 4 至 6416 条
同批数据更新轮数多轮 inner epochs通常 1 至 2 轮1 轮
比值与裁剪必需需要不需要(on-policy 单步)
每 token 额外前向价值网络一次、KL 一次KL 一次无
显存中的模型副本4 份(策略/价值/参考/奖励)2 份(策略/参考)1 份(策略)
实现规模依赖训练框架中等单文件 326 行

显存一栏可以量化。d24 的总参数为 1,384,122,122(由 GPT.num_scaling_params() 给出,见 缩放定律与模型深度),bf16 权重每份约 2.77 GB。四份副本为 11.07 GB,两份为 5.54 GB,一份为 2.77 GB;这不含优化器状态与激活,但足以说明「删掉价值网络与参考模型」不是微小的节省。

6 nanochat 的「GRPO」为何更接近 REINFORCE

scripts/chat_rl.py 的模块 docstring 把差异逐条写明:

"""
Reinforcement learning on GSM8K via "GRPO".

I put GRPO in quotes because we actually end up with something a lot
simpler and more similar to just REINFORCE:

1) Delete trust region, so there is no KL regularization to a reference model
2) We are on policy, so there's no need for PPO ratio+clip.
3) We use DAPO style normalization that is token-level, not sequence-level.
4) Instead of z-score normalization (r - mu)/sigma, only use (r - mu) as the advantage.
"""

以上为节选,原 docstring 在这四条之后还有单卡与 8 卡的运行命令。四条逐条解释。

第一条删掉信任域。KL 项被整项移除, 不再存在,参考模型不再加载。后果是最优解从「参考策略的指数倾斜」退化为「奖励的 argmax」,策略可以无约束地漂移到判分器的高分区域,且没有任何回拉机制。代价是显存与一次参考前向,收益是代码里少一个模型、少一次前向、少一个超参。

第二条说明不需要比值与裁剪。nanochat 每个 rollout 批次只做一次参数更新,采样与反传之间 未变,故 ,裁剪算子作用于常数的两侧相等,梯度与未裁剪时相同。这一条把 PPO 的实现依赖(保存旧对数概率、多轮更新、KL 控制器)全部去掉,剩下的是纯策略梯度。

第三条改归一化口径。序列级除以 ,token 级除以批次内有效 token 总数;后者等价于给第 条回复权重 。DAPO 这样改的理由是避免长序列的逐 token 贡献被长度稀释。

第四条去掉 z-score。优势只用 ,不除 。理由在 0/1 奖励下 , 小时除法会把梯度放大约 倍,且全对全错时 需要 兜底。

四条合起来,nanochat 实际优化的目标是

其中 是掩码,只有策略自己采样的 token 计入。这正是「带组内基线的 REINFORCE 加掩码」,与 PPO 的共同点只剩「用对数概率乘优势」这一骨架。

关于「三处还是四处」的计数:若按优化目标中的项计,删减是三项(KL、比值裁剪、z-score);若把归一化口径也算作对目标的修改,则是四项。00-MOC 的达标清单写「三处差别」,本篇按 docstring 列四条,两者数的是不同对象,不矛盾。

7 与 DPO 的位置关系

DPO 从 KL 正则目标的闭式解出发,把奖励反解为策略与参考策略的对数比,代回 Bradley–Terry 损失,从而消去显式奖励模型与在线采样,得到一个在成对数据上的分类损失。它需要的是一次性偏好数据与一次监督式训练,不需要 rollout。

nanochat 不实现 DPO,原因是任务形态不同:GSM8K 有程序判分,不需要人类偏好;而 DPO 的收益主要在「无法自动判分、只有成对比较」的场景。这一取舍决定了本阶段的全部特征:单一 reward、无 KL、无价值网络。DPO 的推导与工程细节见 DPO与偏好优化。

在 nanochat 中的落地

衔接点位置语句或默认值说明
策略初值chat_rl.pyload_model("sft", device, phase="eval")没有 SFT 检查点就没有 RL
rollout 引擎同上engine = Engine(model, tokenizer)一次 prefill 复制 KV 后并行采样 8 条
训练数据同上GSM8K(subset="main", split="train")约 7.5K 行,一轮 467 步
奖励同上train_task.reward(conversation, generated_text)0/1,答案精确匹配
优势同上mu = rewards.mean(); advantages = rewards - mu组内均值基线
更新同上loss = -pg_obj见 [[GRPO原理与实现]]
产物同上chatrl_checkpoints/{model_tag 或 d{depth}}只存模型权重,不含优化器状态
评测chat_eval.pyload_model("rl", ...),即 -i rl5 个任务与 ChatCORE
训练期指标chat_rl.pyrun_gsm8k_eval,每 60 步,400 题,pass@1 至 pass@8temperature 1.0 的采样准确率
参考流程runs/speedrun.sh只到 SFT 与 chat_eval -i sftRL 需要手动追加命令

规模可以估算。一轮 467 步,每步 16 个提示、每个 16 条采样,共 条 rollout;按每条完整序列 214 token 计约 token(含提示,生成部分受 --max-new-tokens=256 上限约束)。runs/speedrun.sh 不包含 RL 步骤,这一点常被误读:README 的流水线图把 RL 列为可选阶段,参考脚本在 SFT 评测后结束。

关键直觉

RLHF、GRPO 与 nanochat 的实现是同一个目标的三级简化,而不是三种不同方法。共同骨架是 ;RLHF 的 由价值网络给出并附加 KL 与裁剪,GRPO 的 由组内均值给出但仍保留 KL 与裁剪,nanochat 的 由组内均值给出且把 KL 与裁剪都删掉。每降一级,少一份模型副本、少一次额外前向、少一个超参,同时少一个约束。

与严格定义的关系:定义中的 是「与动作独立的基线」,三种实现都满足这一条,因此梯度期望的方向相同;差别在方差与可行域。KL 与裁剪约束的是可行域(最优解与单步步长),基线选择影响的是方差。判断一次改动属于哪一类,只需问:它改变最优解,还是只改变到达最优解的路径。删 KL 改变最优解,换基线只改变方差。

例子与代码

第一段量化基线的方差收益。4 臂 bandit,各臂答对概率为 ,策略为均匀 softmax,每组采样 条,重复 50,000 组,比较无基线、组均值、留一均值与 z-score 四种估计器的均值与标准差。

"""四种优势估计器的均值与标准差(numpy 2.x)。"""
import numpy as np

rng = np.random.default_rng(0)
q = np.array([0.2, 0.5, 0.6, 0.9])       # 各臂答对概率
theta = np.zeros(4)                       # 均匀策略
G, N = 8, 50000
p = np.exp(theta) / np.exp(theta).sum()

def grad_logpi(a):
    e = np.zeros(4)
    e[a] = 1.0
    return e - p                          # softmax 对数概率对 logits 的梯度

none = np.zeros((N, 4)); mean = np.zeros((N, 4))
loo = np.zeros((N, 4)); zsc = np.zeros((N, 4))
for t in range(N):
    acts = rng.choice(4, size=G, p=p)
    r = (rng.random(G) < q[acts]).astype(float)
    mu, sd = r.mean(), r.std()
    for i, a in enumerate(acts):
        g = grad_logpi(a)
        none[t] += g * r[i] / G
        mean[t] += g * (r[i] - mu) / G
        loo[t] += g * (r[i] - np.delete(r, i).mean()) / G
        zsc[t] += g * ((r[i] - mu) / (sd + 1e-6)) / G

Jbar = float((p * q).sum())
print("true gradJ", np.round(p * (q - Jbar), 4).tolist())
for name, arr in [("none", none), ("mean", mean), ("loo", loo), ("zscore", zsc)]:
    print(f"{name:6s} mean {np.round(arr.mean(0), 4).tolist()} "
          f"std {np.round(arr.std(0), 4).tolist()}")
print("std ratio none/mean", np.round(none.std(0) / mean.std(0), 3).tolist())

预期输出如下。

true gradJ [-0.0875, -0.0125, 0.0125, 0.0875]
none   mean [-0.0874, -0.0123, 0.0127, 0.087] std [0.0804, 0.1099, 0.1166, 0.1314]
mean   mean [-0.0763, -0.0109, 0.0109, 0.0764] std [0.0698, 0.0713, 0.0704, 0.0632]
loo    mean [-0.0872, -0.0125, 0.0124, 0.0873] std [0.0798, 0.0815, 0.0805, 0.0722]
zscore mean [-0.1624, -0.0233, 0.0232, 0.1625] std [0.148, 0.1526, 0.1504, 0.1322]
std ratio none/mean [1.152, 1.542, 1.656, 2.08]

这段代码在做什么:每个回合按均匀策略抽 8 个动作,按各臂概率得到 0/1 奖励,再分别用四种方式构造优势并累加 ;true gradJ 是解析梯度 。

为什么这样看:组均值估计的均值是真梯度的 倍(,与 一致),标准差比无基线小 至 ;留一估计的均值与真梯度一致,标准差略大于组均值;z-score 的均值与标准差同时被放大约 倍与 倍。三个结论分别对应第 3 节的 因子、第 4 节的留一无偏性、第 6 节「z-score 只改尺度不改方向」。

第二段核对 on-policy 时比值恒为 1 与裁剪的两种截断方向。

"""on-policy 时 ratio 恒为 1;偏离后 clip 在有利与不利方向各截断一次。"""
import numpy as np

def logp(z, a):
    z = z - z.max()
    return z[a] - np.log(np.exp(z).sum())

old = np.array([0.3, -0.2, 1.1, 0.0, -0.7])
same = old.copy()
pert = np.array([0.9, -0.2, 0.6, 0.0, -0.7])
acts = np.array([0, 2, 4])
adv = np.array([0.8, -0.4, 1.2])
eps = 0.2

lp_old = np.array([logp(old, a) for a in acts])
ratio_same = np.exp(np.array([logp(same, a) for a in acts]) - lp_old)
ratio_pert = np.exp(np.array([logp(pert, a) for a in acts]) - lp_old)

sur1 = ratio_pert * adv
sur2 = np.clip(ratio_pert, 1 - eps, 1 + eps) * adv
print("ratio same", ratio_same.tolist())
print("ratio pert", np.round(ratio_pert, 4).tolist())
print("unclipped ", np.round(sur1, 4).tolist())
print("clipped   ", np.round(sur2, 4).tolist())
print("min       ", np.round(np.minimum(sur1, sur2), 4).tolist())

预期输出如下。

ratio same [1.0, 1.0, 1.0]
ratio pert [1.8421, 0.6132, 1.011]
unclipped  [1.4737, -0.2453, 1.2132]
clipped    [0.96, -0.32, 1.2132]
min        [0.96, -0.32, 1.2132]

这段代码在做什么:logp 计算给定 logits 与动作的对数概率;ratio_same 用同一组 logits,ratio_pert 用扰动后的 logits;sur1、sur2 分别是未裁剪与裁剪后的替代目标,min 是 PPO 的目标值。

为什么这样看:同一组 logits 下三个比值精确等于 1,min 两侧相等,梯度与未裁剪时相同,这是 chat_rl.py 注释第二条的数值依据。扰动后第一个 token 的优势为正、比值 ,min 取裁剪值 ,该 token 的梯度为零(策略已在该动作上更自信);第二个 token 的优势为负、比值 ,min 取裁剪值 ,梯度同样为零;只有第三个 token 落在区间内,梯度保留。裁剪在两种方向上都是「越界即停」,不是「只奖励有利方向」。

第三段计算三份模型副本的显存下界。

"""d24 的 bf16 权重副本(十进制 GB,不含优化器状态与激活)。"""
P = 1_384_122_122                    # GPT.num_scaling_params() 的总参数
per_copy = 2 * P / 1e9
print(f"单份权重 {per_copy:.3f} GB")
for name, copies in [("PPO-RLHF 策略/价值/参考/奖励", 4),
                     ("GRPO 策略/参考", 2),
                     ("nanochat 仅策略", 1)]:
    print(f"{name}: {copies} 份 = {copies * per_copy:.2f} GB")

预期输出如下。

单份权重 2.768 GB
PPO-RLHF 策略/价值/参考/奖励: 4 份 = 11.07 GB
GRPO 策略/参考: 2 份 = 5.54 GB
nanochat 仅策略: 1 份 = 2.77 GB

这段代码在做什么:把参数量乘 2 字节得到单份 bf16 权重,再乘以副本数。它不含 fp32 主权重、Muon 动量、AdamW 的一二阶矩与激活,因此是下界而非完整占用。

为什么这样看:11.07 GB 与 2.77 GB 的差别只是权重,若计入两个可训练模型的优化器状态,差距会进一步扩大。这解释了为什么 GRPO 的论文动机首先是工程动机:去掉价值网络让 RL 能在更小的集群上跑。nanochat 再把参考模型也去掉,把这一项压到一份。

第四段是运行入口。

# RL:单卡
python -m scripts.chat_rl --run=dummy
# RL:8 卡,每个 rank 处理 2 个提示
torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl -- --run=default
# 用 RL 检查点评测 5 个任务与 ChatCORE
python -m scripts.chat_eval -i rl

易错点

以下六条分别对应概念、符号与工程三类错误。

1. 把 GRPO 理解为「不需要奖励模型的 PPO」。GRPO 删掉的是价值网络,奖励模型(或规则奖励)仍然必需;nanochat 能删掉奖励模型,是因为 GSM8K 有程序判分,不是因为 GRPO 本身不需要奖励。

2. 认为组均值基线引入偏差。它的期望是 ,方向不变;真正的偏差来自「用同一批采样估计基线又用它计算梯度」之外的近似,例如把 KL 写成不含自身梯度的常数。

3. 把 KL 当作可选的正则技巧。它改变最优解:去掉后最优策略是奖励的 argmax,而不是参考策略的倾斜分布。判断标准是「是否有闭式最优解变化」,不是「训练是否更稳定」。

4. 把 pass@k 当作模型能力的不变度量。它随 单调上升,且与采样温度耦合;温度 1.0 的 pass@1 与贪心 pass@1 不是同一个量。报告时必须写明 、温度与采样数。

5. 把「on-policy」理解为「不需要保存旧概率」。当前实现确实不需要,因为它一批只更新一次;一旦改成同批多轮更新,就必须保存 并实现比值与裁剪。

6. 把三条删减记成「GRPO 的定义」。它们是 nanochat 的实现取舍,教科书 GRPO 仍带 KL 与裁剪;引用结论时须注明是哪一个版本。

关联笔记

  • 前置 有监督微调SFT:SFT 提供策略初值与参考策略,其检查点是 RL 的唯一输入;SFT 的 GSM8K 过采样决定初始答对率是否越过信号门限。
  • 前置 从生成式到对话式:render_for_completion 的拼接顺序与停止符约定,是 rollout 能对齐训练格式的前提。
  • 后续 GRPO原理与实现:本篇只给出骨架与位置,目标函数、组基线证明、归一化与掩码在该篇展开。
  • 后续 GSM8K数学任务:奖励函数、判分正则与 pass@k 的计算在该篇展开。
  • 后续 RL对模型的影响:本篇列出的三项删减在该篇转化为可观测的失败模式与监控协议。
  • 跨库 对齐-RLHF:PPO、Bradley–Terry 与 KL 正则的完整推导;跨库 DPO与偏好优化 给出不使用在线采样的替代路径。

达标检测

  • [ ] 写出 SFT 的最优解并证明它等于示范分布,说明这一结论为什么意味着「只模仿、不编码偏好」。
  • [ ] 写出 RLHF 三阶段各自的数据、目标与产物,指出第二阶段的奖励只能被识别到相差一个常数。
  • [ ] 独立推出 ,并说明基线无偏的条件。
  • [ ] 说明 GRPO 用什么替代价值网络,替代之后损失了什么(逐 token 的优势分辨率)。
  • [ ] 默写 PPO 与 GRPO 的对比表,至少包含基线、参考模型、采样数、裁剪、显存五项。
  • [ ] 复述 chat_rl.py docstring 的四条删减,各给出一条可观察的后果。
  • [ ] 计算 d24 在三种配置下的 bf16 权重副本,并说明该数字为什么是下界。
  • [ ] 运行第二段代码,把 adv 的第一个元素改为 ,重新判断 min 在哪个分支取值并解释。

参考来源

  • Karpathy, nanochat(commit 92d63d4),scripts/chat_rl.py 模块 docstring 与训练循环、scripts/chat_eval.py、runs/speedrun.sh、README.md —— 对应第 6 节的四条删减原文、第 7 节的落地表与「speedrun 不含 RL」这一事实。
  • Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 2 节的 RLHF 三阶段、第 3 节的 PPO 与 KL 惩罚、第 5 节的四模型显存结构。
  • Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— 对应第 4 节的 GRPO 目标、组内标准化优势与「去掉价值网络」的动机。
  • Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— 对应第 6 节第三条的 token 级归一化来源。
  • DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 对应第 4 节与第 6 节:以规则奖励配合 GRPO 的训练形态与 nanochat 的取舍同源,可作为「无奖励模型也能做 RL」的外部证据。
  • Goodfellow, Bengio, Courville, Deep Learning, 2016 —— 对应第 3 节策略梯度与对数导数技巧的经典表述。