MOC · 强化学习对齐RL
本阶段地图
06 阶段结束时的产物是一个会对话、会调工具、会在
<|assistant_end|>处停止的 SFT 模型。它能模仿训练数据里的解题格式,但不能利用「这条回复算对了」这一事实。本阶段回答一个问题:如何把 GSM8K 的 0/1 判分变成参数更新方向,以及这样做的代价是什么。四篇按「定位—机制—任务—后果」组织。RLHF与GRPO概览 说明为什么 SFT 之后还要 RL、RLHF 三阶段与 GRPO 在其中的位置;GRPO原理与实现 给出策略梯度、组内基线、归一化与掩码的完整推导,并逐行对照
scripts/chat_rl.py;GSM8K数学任务 定义奖励与 pass@k 的口径;RL对模型的影响 讨论提升、捷径、遗忘与监控。四篇共同回答:一个只含 326 行的 RL 脚本为什么能工作,以及它在哪些条件下会失效。本阶段不覆盖:PPO 与 Bradley–Terry 的完整推导(见跨库 对齐-RLHF)、DPO(见 DPO与偏好优化)、评测方法论与成绩单(08 阶段)、工具沙箱的隔离边界(09 阶段)。本阶段只在必要处给出双链与关键结论。
完成本阶段的判据不是「跑完脚本」,而是能用三个数字说明训练发生了什么:GSM8K 的 pass@1 与 pass@8 是否同向上升、平均序列长度是否漂移、SFT 验证集 bpb 是否上升。三者合起来才能区分「模型更会做题」与「模型更会拿分」。
flowchart LR
S["06 有监督微调SFT<br/>chat checkpoint 与掩码约定"] --> O["RLHF与GRPO概览<br/>三阶段 组基线 对比表"]
O --> G["GRPO原理与实现<br/>策略梯度 归一化 掩码"]
T["GSM8K数学任务<br/>奖励与 pass@k"] --> G
G --> I["RL对模型的影响<br/>提升 捷径 遗忘 监控"]
I --> E["08 评测<br/>ChatCORE 与指标口径"]
G --> K["09 推理Engine<br/>generate_batch 与工具状态机"]
T --> H["08 GSM8K与HumanEval<br/>生成式评测"]
图中的实线是阅读依赖。RLHF与GRPO概览 是入口,它建立「预训练—SFT—RL」的因果位置并给出 PPO/GRPO/nanochat 的三级简化;GRPO原理与实现 是主体,消费概览的符号与 GSM8K 的奖励定义;GSM8K数学任务 可以独立先读,它只依赖 06 阶段的工具调用协议;RL对模型的影响 是收束,它同时使用前三篇的结论。指向阶段外的两条边是使用关系:08 阶段消费本阶段的 pass@k 口径与「RL 检查点如何评测」,09 阶段消费 Engine.generate_batch 的采样与掩码语义。
学习顺序与理由
第一步:RLHF与GRPO概览
先读定位篇,因为它决定后面三篇的读法。这一篇建立四个前置事实:SFT 的最优解是示范分布,因此只模仿不编码偏好;RLHF 的三阶段各自的数据、目标与产物;策略梯度的骨架 ;nanochat 删掉了哪四项、每项的代价是什么。
对应小节是第 1 至 6 节与「在 nanochat 中的落地」。第 3 节的推导要点值得逐行抄写,它是后一篇全篇推导的缩写;第 5 节的对比表需要记住五行:基线来源、参考模型、采样数、裁剪、显存副本。
跳过这一步的代价是具体的:不知道 GRPO 删的是价值网络而不是奖励模型,就会误以为它天然没有奖励黑客;不知道 RLHF 的第三阶段需要四个模型,就无法解释为什么「删掉 KL 与参考模型」是工程上的关键决定;不知道 nanochat 的 chat_rl.py 是 on-policy 单步更新,就会在读到「不需要 ratio/clip」时以为这是省略而非等价。
先修自检:能否写出 SFT 的最优解并说明它为什么不编码偏好;能否默写策略梯度的五步推导;能否说出 PPO、GRPO 与 nanochat 在「基线」上的三级差别。
第二步:GRPO原理与实现
这一篇是本阶段的主体,也是全库中公式密度最高的两篇之一。它把概览的骨架展开成可以手算的形式:策略梯度定理、基线的无偏性与 因子、z-score 的尺度问题、含比值的通用目标、on-policy 时比值恒为 1 的证明、token 级与序列级归一化的权重差异、KL 的闭式解与删除后果、掩码的右移对齐、全对全错的退化门限。
对应小节是第 1 至 11 节与落地表。读法建议:先读第 1、2 节建立 MDP 与策略梯度;再读第 3 至 6 节,这四节是「组基线为什么可用、什么时候不必裁剪」的核心;然后读第 7 至 9 节,它们对应 chat_rl.py 的三处实现细节(归一化、KL、掩码);第 10 节的门限表要在纸上重算一遍;第 11 节把全部算术合成一个损失式。
跳过这一步的代价最重:不理解 因子,会把「梯度偏小」误判为学习率不合适;不理解 token 级归一化的权重,会在长回复上找不到「为什么短回复学得更快」;不理解 ignore_index=-1 与右移对齐,会在自建 RL 代码时把提示词与工具输出一起训练,症状是奖励上升而工具调用率下降。
先修自检:能否证明组均值基线的期望是 ;能否说明为什么一批只更新一次时 ;能否写出 、 时无梯度步的比例。
第三步:GSM8K数学任务
第三篇可以与此前的阅读并行,它只依赖 06 阶段的工具调用协议。核心是三件事:#### 后的数值如何被抽取与归一化;<<expr=result>> 如何被拆成 python 与 python_output 两个分片并分配掩码;pass@k 的组合数公式与 chat_rl.py 的前缀估计为什么同期望。
对应小节是第 1 至 9 节。第 2、3 节的正则与拆分必须在解释器里跑一遍;第 7 节的 pass@k 表建议记住 与 两行,它们是读训练日志的参照;第 8 节的八步流程把「一条样本」到「一个标量损失」的路径固定下来,排错时按它从右往左走。
跳过这一步的代价是:无法解释「奖励 1.0 但答案错误」的日志(两侧都没匹配到 ####,None == None 判为真);无法判断「pass@1 上升」是贪心还是采样口径;无法解释为什么 RL 不改善停止行为(终止符被 generate_batch 丢弃,不进入损失)。
先修自检:能否手算一条样本的分片数、渲染条目数与监督条目数;能否写出 pass@k 的组合数公式;能否说出 chat_rl.py 与 chat_eval.py 在温度与 上的三处差异。
第四步:RL对模型的影响
最后读后果篇。它把前三篇的机制转成可观测的量:能力(pass@k 的三种曲线形状)、行为(长度、工具调用率、短答率、截断率)、分布(熵、KL、验证 bpb)。这一篇同时是本阶段的收束与 08 阶段的入口。
对应小节是第 1 至 10 节与两张表。第 9 节的对比表模板必须亲手填一次;第 10 节的局限表用来回答「为什么不能直接引用论文里的提升幅度」——nanochat 只训 GSM8K、只有一个 0/1 奖励、没有 KL。
跳过这一步的代价是:把「GSM8K 提升」读成「模型更会数学」;把 400 题上的 1 至 2 个百分点差异当作结论;或者反过来,把「未能检出遗忘」写成「没有遗忘」。
先修自检:能否说明为什么 RL 的可学习题目集合是 ;能否区分锐化与改进;能否说出为什么 CORE 不能直接用来评估 RL 检查点。
顺序的灵活性
若只有半天,优先读第二步的第 2、3、6、9 节与第三步的第 2、7 节:它们覆盖了「梯度从哪来」「为什么不必裁剪」「哪些 token 参与损失」「pass@k 怎么算」四个最常被问到的问题。第一步与第四步可以在跑完一次 RL 之后再读,那时日志里的 Average reward、Average sequence length 与 Pass@k 都有了具体数值。
若目标是复现而非理解,顺序可以改为「先跑 60 步,再读落地表」:chat_rl.py 每 60 步评测一次 pass@k,60 步足以看到第一次评测点。先看到日志,再回头解释每条打印的来源。这种做法省时间,但出现异常(例如 pass@k 恒为零)时会缺少定位手段。
学习节奏
| 段落 | 阅读 | 动手 | 通过标志 |
|---|---|---|---|
| 第一段 | 概览全部 | 手算 SFT 最优解与策略梯度五步 | 能默写 PPO/GRPO/nanochat 对比表 |
| 第二段 | GRPO 第 1 至 6 节 | 跑 bandit 例子,核对 | 能手算一组优势与梯度方向 |
| 第三段 | GRPO 第 7 至 11 节 | 跑归一化与掩码例子 | 能解释 num_valid 与 ignore_index |
| 第四段 | GSM8K 全部 | 跑分片与 pass@k 例子 | 能手算分片数与 pass@k |
| 第五段 | 影响全部 | 填一次对比表模板 | 能区分锐化、改进与噪声 |
与其他阶段的分工
| 问题 | 本阶段回答 | 其他阶段回答 |
|---|---|---|
| 为什么 SFT 之后还要 RL | 目标函数从似然换成期望奖励 | 01 阶段:LLM 训练流程的整体位置 |
| 策略梯度如何推导 | 从 到逐 token 形式的五步 | 跨库:PPO 与 GAE 的完整版本 |
| 奖励模型如何训练 | 只说明它在三阶段中的位置 | 跨库:Bradley–Terry 与偏好数据 |
| GRPO 如何实现 | 逐行对照 chat_rl.py | 无 |
| 工具调用如何编码 | <<expr=result>> 的分片与掩码 | 06 阶段:render_conversation;09 阶段:use_calculator 与沙箱 |
| 采样为何能并行 | 只说明一次 prefill 复制 KV | 09 阶段:KV Cache 的显存与形状 |
| pass@k 如何解读 | 组合数公式与前缀估计 | 08 阶段:统计不确定性与成绩单 |
| RL 后通用能力如何 | 给出监控协议与已知局限 | 08 阶段:ChatCORE 与 CORE 的口径 |
笔记索引
| 笔记 | 核心问题 | 关键实现 | 前置 | 读完应能 |
|---|---|---|---|---|
| [[RLHF与GRPO概览]] | 为什么 SFT 之后还要 RL,GRPO 处在哪一段 | chat_rl.py docstring、RLHF 三阶段、PPO/GRPO 对比 | [[有监督微调SFT]] | 默写三级简化与四项删减 |
| [[GRPO原理与实现]] | 优势、归一化、掩码与损失如何合成一次更新 | get_batch、generate_batch、pg_obj、num_valid | 第一篇、[[GSM8K数学任务]] | 手推 并手算一次更新 |
| [[GSM8K数学任务]] | 一条样本如何变成 0/1 奖励与 pass@k | get_example、extract_answer、evaluate、run_gsm8k_eval | [[多选与工具使用数据]] | 手算分片、掩码与 pass@k |
| [[RL对模型的影响]] | RL 改变了什么,如何测量与识别捷径 | chat_eval -i rl、长度与通过率统计、对比表 | 前三篇 | 填对比表并区分锐化与改进 |
四篇各自的位置如下。
RLHF与GRPO概览 是定位篇,重点在「目标函数换了什么」。它刻意不展开归一化与掩码,那属于第二篇;也不讨论 RL 的失败模式,那属于第四篇。第 5 节的对比表与第 6 节的 docstring 原文是本阶段最常被引用的两处。
GRPO原理与实现 是机制篇,重点在「哪些量进入梯度」。它是全库中唯一需要同时对照 chat_rl.py、engine.py、gpt.py 三份源码的一篇。第 3 节的 推导与第 6 节的 证明是两处必须能独立复现的论证;第 10 节的门限表是唯一的定量失败判据。
GSM8K数学任务 是任务篇,重点在「奖励的口径」。它把判分、掩码与 pass@k 三件事绑定在同一条样本上,第 8 节的八步流程是全阶段排错的主干。
RL对模型的影响 是后果篇,重点在「指标联合读法」。它给出本阶段唯一的实验模板与唯一的监控清单,其余三篇的结论在这一篇被转成可检验的量。
各篇的关键手算点
| 笔记 | 必须能独立完成 | 可执行校验 | 对应小节 |
|---|---|---|---|
| [[RLHF与GRPO概览]] | 写出 PPO 与 nanochat 的目标式,指出差在哪一项 | 跑 bandit 方差例子,核对 与标准差比 | 第 3、5 节与例子第一段 |
| [[GRPO原理与实现]] | 手算 6 条采样的优势与梯度方向;算 的空步比例 | 跑 bandit 枚举,核对 | 第 3、10 节与例子第一段 |
| [[GSM8K数学任务]] | 手算分片数、渲染条目数、监督条目数与 pass@k | 跑分片脚本,核对 5/7/15/9 与 pass@k 表 | 第 2、3、7 节 |
| [[RL对模型的影响]] | 填一张对比表并给每个差值算标准误 | 跑汇总脚本,核对 pass@8 与截断率 | 第 8、9 节与例子第二段 |
手算点不是练习题,而是排错工具。训练日志异常时,第一步是回到对应的手算点,用最小例子确认自己理解的机制与代码一致;机制理解正确而结果异常,问题一定在数据或配置。
符号约定与关键事实
| 事实 | 取值 | 可核对位置 |
|---|---|---|
| 每提示采样数 | 16 | --num-samples=16 |
| 每次前向的采样行数 | 8 | --device-batch-size=8 |
| 每步的提示数 | 16 | --examples-per-step=16 |
| 每步 rollout 条数 | 256 | examples_per_step * num_samples |
| 采样温度 / top-k | 1.0 / 50 | --temperature、--top-k |
| 最大生成长度 | 256 token | --max-new-tokens=256 |
| 一轮步数 | 467 | len(train_task) // examples_per_step |
| 一轮 rollout 总数 | 119,552 | |
| 初始学习率比例 | 0.05 | --init-lr-frac=0.05 |
| 矩阵 / 嵌入 / 反嵌入学习率 | 0.02 / 0.2 / 0.004 | --matrix-lr、--embedding-lr、--unembedding-lr |
| 权重衰减 | 0.0 | --weight-decay=0.0 |
| 学习率调度 | 线性降到 0 | get_lr_multiplier |
| 评测间隔 / 题数 | 60 步 / 400 题 | --eval-every、--eval-examples |
| pass@k 的 | 1 至 8 | args.device_batch_size |
| 奖励 | 0.0 或 1.0 | GSM8K.reward |
| 优势 | advantages = rewards - mu | |
| GSM8K 训练 / 测试规模 | 约 7.5K / 约 1.32K | chat_sft.py 注释 |
| 检查点目录 | chatrl_checkpoints/{tag} | save_checkpoint 调用处 |
| 保存内容 | 仅模型权重 | save_checkpoint(..., None, ...) |
符号沿用各篇: 为策略参数, 为组大小, 为第 条采样的奖励, 为组内优势, 为损失掩码, 为一个前向批次的有效 token 数。跨篇引用时不再重复定义。
一次更新的数据流
flowchart TD
C["GSM8K 一行<br/>question 与 answer"] --> P["get_example<br/>拆成 text python python_output"]
P --> R["render_for_completion<br/>删助手消息并加 assistant_start"]
R --> E["generate_batch 16 条<br/>掩码:采样 1 强制 0"]
E --> D["decode 生成段<br/>extract_answer 比较"]
D --> A["组内均值<br/>advantages = r - mu"]
A --> M["targets[mask=0] = -1<br/>inputs 与 targets 错一位"]
M --> L["logp 与 pg_obj<br/>除以有效 token 数"]
L --> U["loss = -pg_obj<br/>反传后一次 step"]
这张图与开头的阶段图不同:阶段图给出四篇之间的依赖,这张图给出一条样本在 RL 循环内的八次变换。排错时按图从右往左走,先确认损失是否非零,再确认优势是否非零,再确认掩码是否正确。
阶段产物与命令
| 命令 | 产物 | 说明 |
|---|---|---|
python -m scripts.chat_rl --run=dummy | chatrl_checkpoints/d{depth} | 单卡入口,dummy 关闭 wandb |
torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl -- --run=rl | 同上 | 8 卡,每 rank 2 个提示 |
python -m scripts.chat_eval -i rl | 5 任务准确率与 ChatCORE | 加载 chatrl_checkpoints |
python -m scripts.chat_eval -i rl -a GSM8K -t 0.0 -n 1 | 贪心 pass@1 | 与训练期采样口径区分 |
python -m scripts.chat_eval -i sft | SFT 基线 | 与 RL 检查点成对比较 |
runs/speedrun.sh 不包含 chat_rl.py,RL 检查点需要手动运行产生。这一点在 训练脚本与speedrun 中也有说明。
训练日志逐字段解读
chat_rl.py 的打印分三类:启动期的算术、评测期的 pass@k、训练期的损失与统计。逐字段读法如下。
| 日志字段 | 来源 | 读法 |
|---|---|---|
Calculated number of steps: 467 | num_steps | 一轮总步数;--num-epochs 或提示数变化时同步变化 |
Total sequences per step: 256 | examples_per_step × num_samples | 每步 rollout 总量,是时间与显存的线性项 |
Calculated examples per rank: 2 | examples_per_step ÷ world_size | 8 卡为 2、单卡为 16;决定每步反传次数 |
Step 0 的 Pass@1 至 Pass@8 | run_gsm8k_eval | 每 60 步一次;第 0 步是 SFT 基线 |
loss: -0.013742 | 负值正常;正值说明符号或优势有问题 | |
Average reward: 0.1875 | 该提示 16 条采样的均值 | 对应 ;长期不动说明 过低 |
Average sequence length: 214.36 | 完整序列长度 | 含提示;漂移说明长度分布变化 |
lrm: 1.00 | 线性退火,最后一步接近 0 |
三处容易被忽略的细节。第一,Total sequences per step 是全局量(乘以了 world_size 的效果),单卡与 8 卡的该行相同,但 examples per rank 不同。第二,loss 的绝对值没有意义,它的量级由 num_valid 与优势决定,只有符号与相对趋势可比。第三,评测行的 pass@k 用 temperature=1.0,与 chat_eval 默认的贪心口径不同。
阶段前置检查
在启动 RL 之前,逐项确认下表;任一项不满足时,训练会静默退化而不是报错。
| 检查项 | 命令或位置 | 判据 |
|---|---|---|
| SFT 检查点存在 | chatsft_checkpoints/{tag}/ | 有 model_.pt 与 meta_.json |
| SFT 已有非零 pass@k | chat_eval -i sft -a GSM8K -n 8 | ,否则组内优势恒为零 |
| 分词器与模型匹配 | 加载时的 assert | 词表大小一致 |
| 生成上限足够 | --max-new-tokens=256 | 截断率不能过高,否则奖励在残缺文本上计算 |
| 精度路径 | NANOCHAT_DTYPE | 不用 fp16(RL 无 GradScaler) |
| 提示数可整除 | examples_per_step % world_size == 0 | 否则脚本启动即断言失败 |
| 产物目录分离 | chatrl_checkpoints/ | 与 base、chatsft 分开,避免覆盖 |
常见失败模式
| 现象 | 可能原因 | 检查位置 |
|---|---|---|
| 奖励恒为 1.0 | 参考答案留在提示里,采样退化为复述 | render_for_completion 是否删除最后一条助手消息 |
| 损失恒为 0、参数不动 | 组内全对或全错,优势为零 | p 与 的门限表 |
| 损失为正且上升 | logp 少写了负号 | logp = -model(...) |
| 奖励上升但 pass@k 不动 | 模型学会只写答案或格式投机 | 短答率、#### 位置分布 |
| pass@1 涨而 pass@8 平 | 锐化而非改进 | pass@k 曲线形状 |
| pass@8 下降 | 熵塌缩,采样趋同 | 同题 16 条的不同答案数 |
| 训练后期长度持续增长 | 无长度惩罚,长回复更易命中 | 平均长度与截断率 |
| 工具调用率下降 | python_output 掩码为 0,调用不带来奖励 | 生成文本中的 tool 块比例 |
| 从 RL 检查点续训失败 | 未保存优化器状态 | save_checkpoint(..., None, ...) |
| fp16 下梯度下溢 | RL 无 GradScaler | README.md 精度一节 |
pass@k 打印 k 不足 8 | device_batch_size 小于 8 | run_gsm8k_eval 的 assert |
常见误读
- 把「GRPO」理解为「不需要奖励模型的 PPO」。删掉的是价值网络;奖励模型(或规则奖励)仍然必需。
- 把「组均值基线」理解为有偏估计。它的期望是 ,方向不变。
- 把「KL 是稳定技巧」理解为可选。它改变最优解,去掉后最优策略是奖励的 argmax。
- 把 pass@k 当作能力的不变度量。它随 单调上升,且与温度耦合。
- 把「on-policy」理解为「永远不需要旧概率」。同批多轮更新时必须显式实现比值与裁剪。
- 把「RL 后 GSM8K 提升」理解为「模型更会数学」。奖励只看最终数字,过程正确性不可观测。
- 把「未能检出遗忘」写成「没有遗忘」。400 题的 standard error 约为 0.018,1 个百分点的差异不可分辨。
- 把「工具调用是模型能力」理解为「工具调用会被 RL 强化」。返回值被掩码,调用本身不带来奖励。
建议的三组实验
本阶段的实验成本低(一轮 467 步,单卡可跑短程),适合用控制变量验证机制。三组实验各自对应本篇的一个公式。
| 实验 | 变量 | 观察指标 | 预期与判据 |
|---|---|---|---|
| 学习率比例 | --init-lr-frac 取 0.02 / 0.05 / 0.1 | pass@k 曲线、长度、截断率 | 过大时长度先涨后跌且 pass@8 压缩,说明无 KL 时步长失控 |
| 组大小 | --num-samples 取 8 / 16 / 32 | 空步比例、pass@k 提升速度 | 增大提高信号比例(),成本线性增长 |
| 采样温度 | --temperature 取 0.8 / 1.0 / 1.2 | pass@8、同题不同答案数、组内方差 | 温度过低使组内全对/全错比例上升,梯度趋零 |
三组实验的共同前提是固定其他项,并且每 60 步记录一次评测,否则观测点太少。判据必须写成「若机制成立则应观察到什么」,而不是「看哪组分数高」:在 400 题的评测上,两组相差 1 至 2 个百分点无法区分。
达标清单
- [ ] 能写出 SFT 的目标函数与最优解,并说明它为什么不能编码「哪条回复更好」。
- [ ] 能默写 RLHF 三阶段的数据、目标与产物,指出第二阶段奖励的常数不定性。
- [ ] 能独立推出 并证明基线无偏。
- [ ] 能推出组均值基线的期望为 ,并解释它与留一基线的差别。
- [ ] 能说明为什么一批只更新一次时 、裁剪退化为恒等映射。
- [ ] 能写出序列级与 token 级归一化,并推导 token 级等价于权重 。
- [ ] 能列出删除 KL 后的三条后果,并各给出一个可观测指标。
- [ ] 能解释
targets[mask_ids[:, 1:] == 0] = -1的右移对齐,指出哪三类 token 被排除。 - [ ] 能用 的门限表计算 时的空步比例,并给出提高信号比例的手段。
- [ ] 能手算一条 GSM8K 样本的分片数、渲染条目数与监督条目数。
- [ ] 能写出 pass@k 的组合数公式,并解释前缀估计与它同期望。
- [ ] 能说明贪心 pass@1 与采样 pass@1 的差别,并用它区分锐化与改进。
- [ ] 能设计一个 RL 前后对照实验,写明指标、样本量、温度与显著性判据。
- [ ] 能说明为什么不能用
base_eval.py直接评估 RL 检查点并解释为「能力下降」。
参考来源
- Karpathy, nanochat(commit 92d63d4),
scripts/chat_rl.py、tasks/gsm8k.py、nanochat/engine.py、nanochat/tokenizer.py、scripts/chat_eval.py、scripts/base_eval.py、runs/speedrun.sh、README.md—— 本阶段全部事实、默认值、命令与代码位置的基准。 - Shao et al., "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models", arXiv:2402.03300, 2024 —— GRPO 的原始目标、组内标准化优势与「去掉价值网络」的动机。
- Yu et al., "DAPO: An Open-Source LLM Reinforcement Learning System at Scale", arXiv:2503.14476, 2025 —— token 级归一化、熵塌缩与长度奖励塑形,对应第二篇第 7 节与第四篇第 4 节。
- DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning", arXiv:2501.12948, 2025 —— 规则奖励、纯 RL 训练与行为变化的外部证据,对应第一篇第 4 节与第四篇第 3、5 节。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— RLHF 三阶段、四模型显存结构与对齐税,对应第一篇第 2 节与第四篇第 6 节。
- Cobbe et al., "Training Verifiers to Solve Math Word Problems", arXiv:2110.14168, 2021 —— GSM8K 的数据集定义、规模与
####答案格式。