---
tags: [nanochat, background, 对比]
阶段: 01-背景与定位
难度: ★★☆
created: 2026-10-22
related: "[[Karpathy与nanochat]], [[LLM101n课程]], [[学习路线与前置要求]], [[00-MOC]]"
---

# nanochat与nanoGPT的区别

## 定义

**nanoGPT** 是只覆盖「预训练与采样」的最小 GPT 训练仓库：`train.py` 与 `model.py` 各约 300 行，在 OpenWebText 上复现 GPT-2 124M，使用现成的 GPT-2 BPE 词表与 `tiktoken` 分词，训练与文本微调共用同一个循环；它不训练分词器、不构造对话数据与损失掩码、不做强化学习、不提供任务评测与带缓存的推理引擎。

**nanochat** 是在同一设计语言下扩展到全流程的仓库：自训分词器、预训练基座模型、中段训练与有监督微调、强化学习、CORE 与 ChatCORE 评测、带键值缓存（KV Cache）的推理引擎与命令行对话。

定义中出现的术语：

- 基座模型（base model）：只经过预训练下一个 token 目标的模型，能力是续写，不是对话。
- 分词器训练（tokenizer training）：从语料学习合并规则并确定词表的过程，与模型训练相互独立。
- 后训练（post-training）：预训练之后的所有训练阶段，包括中段训练、SFT 与 RL。
- 指令微调（instruction tuning）：用「指令—回答」样本训练模型遵循格式的一类方法；nanochat 用带角色标记的对话数据实现。
- 偏好对齐（preference alignment）：让模型输出符合人类偏好的训练；nanochat 的实现是简化 GRPO（组相对策略优化，Group Relative Policy Optimization）。
- CORE 与 ChatCORE：CORE 是 DCLM 的 22 项任务集成指标（GPT-2 门槛 0.256525），ChatCORE 是对话模型的 5 项任务集成指标。
- 推理引擎（inference engine）：管理缓存、批处理与解码循环的推理代码；与「模型前向」不是同一件事。
- 键值缓存（Key-Value Cache, KV Cache）：把每层注意力已算出的键与值保存下来，使解码每步只处理新 token 的缓存机制。
- 验证损失（validation loss）与 bits per byte（bpb）：前者是每 token 的平均负对数似然，后者除以字节数，用于跨词表比较。
- 数据并行（Distributed Data Parallel, DDP）：每个进程持有一份模型副本、切分数据并同步梯度的并行方式。
- 参数共享（weight tying）：输入词嵌入与输出投影共用同一矩阵；nanochat 不共享，nanoGPT 的 GPT-2 复现默认共享。
- 词表大小（vocabulary size）：可被编码的不同 token 数量；它决定输出投影的宽度与 softmax 的成本，也决定压缩率。

## 为什么重要

边界决定预期。nanoGPT 的经验是「改一个 config 文件，跑四天，用 `sample.py` 采样」；这套经验迁移到 nanochat 会立即失效，因为 nanochat 的入口是 `runs/speedrun.sh`、数据来自在线分词的 shard、评测是 CORE 而不是验证损失。把两者混为一谈，会低估后训练与推理工程的代码量，也会误解「为什么这个仓库有九个脚本」。

只做预训练在功能上不够。基座模型学到的是文本的条件概率结构，它在预训练语料里从未见过 `<|user_start|>`、`<|assistant_start|>` 这类角色标记，因此这些 token 的词嵌入在预训练结束时接近随机；模型能续写文章，但不能稳定地按「用户/助手」格式回答，更不会在需要计算时输出工具调用。SFT 提供的是格式与行为的稠密监督，RL 提供的是可验证奖励下的行为优化。

只做预训练在评测上也不够。验证损失衡量压缩率，不衡量任务正确率；GPT-2 级的判定用的是 CORE 的 22 项任务分数，对话能力用 ChatCORE 的 5 项任务分数。没有评测阶段，「训练是否变好」只能靠抽样观察，无法比较两个提交。

在三种能力中的位置。本篇属于「懂原理」的边界判断与「懂工程」的成本判断：读完应能说出每个环节缺失后的具体后果，并能解释为什么 nanochat 的训练时间比 nanoGPT 短而流程更长。后续 05 至 09 阶段逐项展开每个环节的实现。

## 原理与推导

### 1. 覆盖范围逐项对照

| 环节 | nanoGPT | nanochat | repo 证据 |
|---|---|---|---|
| 分词器 | 使用现成 GPT-2 BPE 词表，不训练；语料离线 tokenize 成 uint16 的 `train.bin` 与 `val.bin` | `scripts/tok_train.py` 用 `rustbpe` 训练 32768 词表，`tiktoken` 推理；9 个特殊 token | README 文件结构；`nanochat/tokenizer.py` |
| 预训练 | `train.py` 读 `.bin`，单文件训练循环 | `scripts/base_train.py` 读 ClimbMix parquet，BOS-aligned best-fit 数据加载 | `nanochat/dataloader.py` 文件头 |
| 中段训练与 SFT | 只有文本微调示例 `config/finetune_shakespeare.py`，本质是继续预训练，无角色标记与损失掩码 | `scripts/chat_sft.py` 混合 SmolTalk、MMLU、GSM8K，按掩码只监督助手侧 | `scripts/chat_sft.py` 第 28 至 31 行、第 64 至 66 行 |
| 强化学习 | 无 | `scripts/chat_rl.py`，用 GSM8K 奖励做简化 GRPO | README 文件结构 |
| 评测 | 训练与验证交叉熵；GPT-2 各尺寸的基线表 | CORE（22 项）、验证 bpb、ChatCORE（5 项）、`infer_bench.py` | `scripts/base_eval.py`、`chat_eval.py` |
| 推理 | `sample.py` 逐 token 朴素前向，无缓存 | `nanochat/engine.py` 的 KV Cache、prefill/decode 与工具状态机；`scripts/chat_cli.py` | `nanochat/engine.py`、`execution.py` |
| 环境与依赖 | `pip install torch numpy transformers datasets tiktoken wandb tqdm` | `uv sync --extra gpu` 或 `--extra cpu`，`uv.lock` 锁定 | README 安装段 |
| 规模控制 | 手写 `n_layer`、`n_head`、`n_embd` | 一个 `--depth` 推导全部超参数 | `scripts/base_train.py` |

这张表最重要的两行是「中段训练与 SFT」与「推理」。前者是 nanoGPT 与 nanochat 在方法上的分界：nanoGPT 的微调只是换数据集继续训练，nanochat 的 SFT 要构造角色标记、工具调用标记与损失掩码，还要混合多选与数学数据。后者是成本分界：朴素逐 token 前向在长上下文下重复计算前缀，交互式对话不可用。

另一个容易被忽略的差异是词表来源。nanoGPT 直接使用 GPT-2 的 50257 词表，因此与 OpenAI 权重兼容，可以用 `--init_from` 从 GPT-2 检查点继续训练；nanochat 自训 32768 词表，模型从随机初始化开始，与 GPT-2 权重不兼容，换来更小的输出投影与更低的 softmax 成本。这一选择决定了两个仓库「复现」的含义不同：nanoGPT 复现的是已发布检查点的训练配方，nanochat 复现的是从零到 GPT-2 能力的训练流程。

### 2. 为什么只做预训练不够

第一，角色标记在预训练中没有梯度。nanochat 的 9 个特殊 token 中只有 `<|bos|>` 出现在预训练文本里；`<|user_start|>` 到 `<|output_end|>` 只在 SFT 渲染对话时出现。词嵌入在初始化时是随机正态，预训练不会更新这些行，因此 SFT 之前模型对角色标记的条件分布没有依据。SFT 的第一批梯度主要就是在建立这套格式。

第二，监督的密度与形式不同。预训练对每个 token 都提供下一个 token 的监督，但格式信息稀疏：网页文本里没有「助手应该如何回答」的样本。SFT 数据量小得多（SmolTalk 约 460K 条对话），却把监督集中在回答、格式与工具调用上。`nanochat/tokenizer.py` 的 `render_conversation` 返回 `ids` 与同长度的 `mask`，掩码为 1 的位置才参与损失：用户消息、`<|assistant_start|>` 与工具输出都是 0，助手文本、工具调用标记与 `<|assistant_end|>` 是 1。工具输出不监督，因为推理时它由 Python 沙箱产生，不是模型该学的内容。

第三，工具调用需要数据改造。GSM8K 的答案里用 `<<表达式=结果>>` 标注计算，`tasks/gsm8k.py` 把这些片段拆成 `python` 与 `python_output` 两种部件，再渲染成 `<|python_start|>`、`<|output_start|>` 等标记。这套标注在预训练语料中不存在，只能由后训练数据构造。

把掩码写成公式更清楚。设第 $t$ 个位置的监督指示为 $m_t\in\{0,1\}$，模型参数为 $\theta$，则 SFT 的损失是只在被监督位置上平均的负对数似然：

$$L_{\text{SFT}}(\theta) = -\frac{\sum_t m_t \log p_\theta(x_t \mid x_{<t})}{\sum_t m_t}$$

分母只计被监督的 token 数，因此掩码不改变单个 token 的损失权重，只改变平均时的样本长度。实现上并不修改损失函数，而是把未监督位置的 target 置为 -1，交给交叉熵的 `ignore_index` 跳过；这与在损失里乘 $m_t$ 等价。`scripts/chat_sft.py` 第 283 至 296 行做了两件事：先把 `mask[1:]` 与右移一位的 target 对齐，再把未监督位置与 padding 位置都置为 -1。少做任何一步都会把用户提示或填充 token 算进损失，模型会学会复述问题或生成空内容。

第四，评测不可替代。验证 bpb 只衡量压缩率；CORE 衡量 22 项任务上的 centered accuracy；ChatCORE 衡量对话模型在 5 项任务上的表现。没有这些分数，「这次改动是否有效」只能依赖抽样阅读，无法在提交之间比较。

第五，推理工程不可替代。朴素生成每产出一个 token 都要对整个前缀做一次前向，注意力计算量随生成长度按立方增长；KV Cache 把已计算的键值保存下来，使每步只处理一个新 token，总注意力计算量降为平方。没有引擎，模型即使训练正确也无法用于交互。

| 能力 | 预训练后是否具备 | 需要的阶段 |
|---|---|---|
| 续写文本、模仿语体 | 是 | 预训练 |
| 遵循用户/助手格式 | 否 | SFT 的角色标记与掩码 |
| 在需要时调用 Python 并读取输出 | 否 | SFT 的工具数据、推理引擎状态机、执行沙箱 |
| 数学题答案正确率 | 部分 | SFT 的 GSM8K 数据与 RL 的奖励优化 |
| 低延迟多轮对话 | 否 | KV Cache 与 prefill/decode |
| 可比较的能力分数 | 否 | CORE 与 ChatCORE |

两组数据的规模差异值得记住。d24 在数据:参数比 8 下的预训练预算约 5.84B token；SFT 的混合数据由约 460K 条 SmolTalk 对话、3 轮 MMLU（每轮 100K 样本）与 4 轮 GSM8K（每轮 8K 样本）组成，折算后的 token 数比预训练少一个数量级以上。后训练的算力占比很小，却决定了模型能否按格式回答与调用工具，这是「后训练便宜但不可省」的量化依据。

### 3. 从 modded-nanogpt 借鉴了什么：逐项核对

README 的致谢写了两句可核对的话：nanochat 受 modded-nanoGPT 启发，后者「用清晰的指标与排行榜把 nanoGPT 游戏化」，并且「借鉴了它的大量想法与一部分预训练实现」。二手总结常把这句总体致谢展开成一份清单，把 Muon、sliding window、FP8 与 BOS 数据加载器都归给 modded-nanogpt；逐条核对源码与实验日志后，结论需要修正。

| 项目 | 是否明确归因 | repo 证据 | 说明 |
|---|---|---|---|
| Muon 优化器 | 是 | `nanochat/optim.py` 文件头写明「Adapted from modded-nanogpt」，Muon 注释写明「adapted and simplified from modded-nanogpt」 | Polar Express 正交化、NorMuon 方差缩放与 cautious 权重衰减均按 modded-nanogpt 的做法引入，见 `dev/LOG.md` 2026-01-10 |
| 每层残差标量 | 是 | `nanochat/gpt.py` 第 178 行注释「inspired by modded-nanogpt」 | `resid_lambdas` 与 `x0_lambdas` 控制残差流与初始嵌入的逐层混合，见 `dev/LOG.md` 2026-01-11 |
| FP8 训练 | 部分 | `dev/LOG.md` 的 2026-02-02 条目回顾 2026 年 1 月的早期尝试时写明，只对 `lm_head` 做 FP8 是「following modded-nanogpt」；最终方案改用 torchao 的张量级缩放并自写 `Float8Linear` | 思路有借鉴，实现是本仓库自己的，且扩展到所有满足尺寸条件的线性层 |
| Sliding window | 否 | `dev/LOG.md` 2026-01-11 明确写「inspired by GPT-3's alternating short/long pattern」 | 默认模式 `SSSL`，最后一层强制全上下文；与 modded-nanogpt 无关 |
| BOS 对齐数据加载器 | 否 | `dev/LOG.md` 2026-01-13 把它记为 nanochat 自身对数据加载器的重构：best-fit 装箱、100% 利用率、T=2048 时约 35% token 被裁剪 | `nanochat/dataloader.py` 文件头未提 modded-nanogpt；对比对象是本仓库的旧版加载器 |

修正后的结论是：Muon 与每层残差标量有明确的逐项归因，FP8 属于思路借鉴加自主实现，sliding window 与 BOS 数据加载器不应归给 modded-nanogpt。README 的总体致谢成立，但不能替代逐项核对；`dev/LOG.md` 还记录了 2026-01-16 的「modded-nanogpt ideas sweep（多数为负结果）」，说明上游想法并非全部有效，迁移到 nanochat 需要重新验证。

核对方法本身也值得记录。证据强度从高到低是：源码文件头与注释中的直接引用、`dev/LOG.md` 的实验记录、README 的总体致谢。前两者能定位到具体机制，后者只能说明影响存在；当三者冲突时以源码为准，因为注释与日志会随代码一起演进。

### 4. 七个维度的对比

| 维度 | nanoGPT | nanochat |
|---|---|---|
| 数据 | OpenWebText，离线用 GPT-2 BPE tokenize 成 uint16 的 `train.bin` 与 `val.bin` | ClimbMix-400B，训练分片最大编号 6542（共 6543 个文件），GPT-2 级约需 150 个；在线分词，BOS 对齐 best-fit，100% 利用率 |
| 模型 | GPT-2 结构，124M 复现，可加载 OpenAI 权重；层数、头数、宽度手写 | 深度可调（本库关注 d12 至 d26）；RoPE、QK norm、ReLU 平方、sliding window、value embedding、x0/resid、backout、logit softcap；词表补齐到 64 的倍数；`lm_head` 与词嵌入不共享 |
| 训练 | AdamW、DDP、`torch.compile`；8×A100 约 4 天，验证损失约 2.85 | MuonAdamW（矩阵参数用 Muon，其余用 AdamW），梯度同步在优化器内部完成；显式 dtype 管理，不用 autocast；可选 FP8；FA3 注意力；8×H100 约 1.5 至 2 小时 |
| 对齐 | 无；`finetune_shakespeare.py` 只是继续在文本上训练 | SFT（SmolTalk、MMLU、GSM8K，只监督助手侧）与 RL（`chat_rl.py`，GSM8K 奖励） |
| 推理 | `sample.py` 逐 token 前向，无缓存 | `engine.py` 的 KV Cache、prefill/decode、工具调用状态机；`chat_cli.py` 对话 |
| 评测 | 训练与验证交叉熵；GPT-2 四档尺寸的基线表 | CORE（22 项 centered accuracy）、验证 bpb、ChatCORE（5 项）、`infer_bench.py` 延迟与吞吐基准 |
| 成本 | 8×A100 约 4 天；README 未给出美元成本 | 8×H100 约 1.5 至 2 小时，约 48 美元；抢占式约 15 美元；2019 年 GPT-2 约 43,000 美元 |

对比的关键不在参数量。nanochat 的 d24 缩放参数量约 730M，仍小于 GPT-2 的 1.6B，却能达到 GPT-2 的 CORE 门槛，原因在数据质量、token 预算分配、优化器与架构细节，而不在模型更大。

时间缩短的来源可以对账。`dev/LOG.md` 的 2026-03-04 条目把预训练数据从 FineWeb-EDU 换成 ClimbMix 记为最大的单项改进：预训练时间从 2 小时 46 分降到 2 小时 1 分，约 27%。FP8 在能力对齐后的实测收益约 5%；总批大小从 0.5M 提高到 1M 又减少了优化步数；1.80 小时与 1.65 小时则分别来自两轮 autoresearch。把这些改动与 nanoGPT 的基线相比，时间差主要不来自「模型更小」或「卡更快」，而来自整条栈的累计优化。

### 5. 代码组织：复杂度来自数据类型

nanoGPT 的核心代码约 600 行，集中在 `train.py` 与 `model.py` 两个文件；nanochat 则拆成 14 个模块文件、9 个脚本与 6 个任务定义。代码量的增长不是算法变复杂，而是数据类型变多：预训练数据是连续 token 流，SFT 数据是带角色的对话，RL 数据是带奖励的对话，评测数据是任务样本。每种数据类型都需要自己的加载器、渲染器与损失口径，合并到一个文件会同时牺牲可读性与正确性。

| 文件或目录 | 承担的职责 | 为什么不能与相邻环节合并 |
|---|---|---|
| `nanochat/tokenizer.py` | 词表、9 个特殊 token、对话渲染与掩码 | 预训练与 SFT 共用词表，但渲染只属于后训练 |
| `nanochat/dataloader.py` | 预训练 BOS 对齐 best-fit 装箱 | 对话的打包规则不同，短对话按条装箱而非按文档裁剪 |
| `scripts/chat_sft.py` | 对话打包、掩码、多数据源混合、热启动优化器 | 需要同时接触对话数据与预训练检查点 |
| `tasks/*.py` | 任务样本、评分与奖励函数 | 训练与评测共用样本结构，但只有评测需要完整任务集 |
| `nanochat/engine.py` | KV Cache、prefill/decode、工具状态机 | 训练循环不需要缓存，推理不需要梯度 |
| `scripts/base_eval.py` 与 `chat_eval.py` | CORE 与 ChatCORE 两套指标 | 评测对象不同：基座模型与对话模型的输入输出格式不同 |

这张表也解释了为什么 nanochat 的阅读顺序不能按文件名排序：`tokenizer.py` 同时服务预训练与 SFT，`engine.py` 只在推理阶段使用，`chat_sft.py` 依赖前两个阶段的产物。按数据流阅读（词表、预训练、SFT、RL、评测、推理）比按目录阅读更有效。

代码量差异还有一个副作用：修改成本不同。nanoGPT 中改一个超参数只需动一个 config 文件，代价是实验之间不共享规模坐标系；nanochat 中改一个超参数往往触发一串联动（深度改变宽度，宽度改变参数量，参数量改变 token 预算与批大小），代价是任何改动都必须重新验证整条缩放律。前者适合学习单点机制，后者适合研究规模效应。

### 在 nanochat 中的落地

- 分词器：`scripts/tok_train.py` 训练词表，`scripts/tok_eval.py` 报告压缩率；`nanochat/tokenizer.py` 定义 9 个特殊 token 与 `render_conversation`。
- 预训练：`scripts/base_train.py` 完成数据加载、模型构建、优化器、调度与评测钩子；`nanochat/dataloader.py` 实现 BOS 对齐 best-fit。
- 中段训练与 SFT：当前快照没有独立的 midtraining 脚本；SFT 数据混合在 `scripts/chat_sft.py` 中处理，`--mmlu-epochs` 默认 3、`--gsm8k-epochs` 默认 4，加 SmolTalk 组成混合数据。
- 强化学习：`scripts/chat_rl.py` 在 GSM8K 上采样、按答案精确匹配给奖励，做简化的 GRPO；它删掉了 KL 惩罚与 PPO 的比率裁剪，细节见 07 阶段。
- 评测：`scripts/base_eval.py` 算 CORE 与 bpb，`scripts/chat_eval.py` 算 ChatCORE，`scripts/infer_bench.py` 测延迟、吞吐与显存。
- 推理：`nanochat/engine.py` 管理 KV Cache 与工具调用状态机，`nanochat/execution.py` 在子进程中执行 Python，`scripts/chat_cli.py` 提供命令行对话。
- 缺失后果：没有 `chat_sft.py`，模型不会按格式回答；没有 `engine.py`，长上下文对话的延迟不可接受；没有 `base_eval.py`，无法判断预训练是否越过 GPT-2 门槛；没有 `tok_train.py`，词表只能借用 GPT-2 的，压缩率与特殊 token 都不可控。

## 关键直觉

> [!tip] 机制性直觉
> 预训练把「文本的统计结构」压入参数，后训练把「交互协议与可验证行为」压入同一个参数空间。前者以十亿级 token 计，后者以十万级对话计，后者的算力占比低一个数量级以上；但缺少后训练时，模型对角色标记的条件概率几乎没有依据，格式错误不是「概率略低」而是「没有学过」。与定义的对应关系是：nanoGPT 的边界止于第一个分布，nanochat 把训练延伸到第二个分布，并补上度量第二个分布的评测与承载它的推理引擎。

## 例子与代码

### 例子 1：nanoGPT 的完整流程只有三条命令

```bash
# 1) 下载 OpenWebText，并用 GPT-2 的 BPE 离线 tokenize 成 train.bin 与 val.bin
python data/openwebtext/prepare.py
# 2) 8 卡复现 GPT-2 124M，约 4 天，验证损失约 2.85
torchrun --standalone --nproc_per_node=8 train.py config/train_gpt2.py
# 3) 从检查点采样
python sample.py --out_dir=out
```

三条命令覆盖了 nanoGPT 的全部流程：数据准备、预训练、采样。没有训练分词器，没有构造对话，没有任务评测，也没有缓存推理。文本微调同样是训练：`config/finetune_shakespeare.py` 从 GPT-2 检查点初始化，用更小的学习率继续训练；它不理解「用户」与「助手」的角色。

### 例子 2：nanochat 的端到端序列

```bash
# 分词器：先下载 8 个 shard 供训练词表，再后台补到约 170 个供预训练
python -m nanochat.dataset -n 8
python -m scripts.tok_train
python -m scripts.tok_eval
# 预训练：d24，ratio 8，FP8，约 1.5 小时
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
    --depth=24 --target-param-data-ratio=8 --device-batch-size=16 --fp8
# 预训练评测：CORE、bpb 与样本
torchrun --standalone --nproc_per_node=8 -m scripts.base_eval -- --device-batch-size=16
# SFT 与对话评测
torchrun --standalone --nproc_per_node=8 -m scripts.chat_sft
torchrun --standalone --nproc_per_node=8 -m scripts.chat_eval -- -i sft
# 命令行对话
python -m scripts.chat_cli
```

预期输出按阶段分布：`tok_eval` 打印压缩率与每 token 字节数；`base_eval` 打印 CORE 与验证 bpb；`chat_eval` 打印 ChatCORE 与各任务分数；`chat_cli` 进入交互，按 `<|user_start|>` 等标记拼接对话。所有中间产物写入 `NANOCHAT_BASE_DIR`（默认 `~/.cache/nanochat`）：分词器文件、基座检查点与对话检查点分目录保存，因此重跑某个阶段不必重跑全部阶段。整条序列的耗时远大于预训练本身的 1.5 小时，因为下载、评测与 SFT 都要额外时间；README 的 48 美元对应约 2 小时节点时间，是粗略口径。

### 例子 3：SFT 掩码的结构

下面的脚本用字符串代替 token id，展示 `render_conversation` 的掩码结构；真实实现见 `nanochat/tokenizer.py` 第 140 至 224 行。

```python
# 一轮对话的渲染结果：ids 与 mask 等长，mask=1 的位置参与损失
ids = ["<|bos|>", "<|user_start|>", "你好", "<|user_end|>",
       "<|assistant_start|>", "你好，", "有什么可以帮你？", "<|assistant_end|>"]
mask = [0,          0,                0,      0,
        0,                   1,       1,                  1]

supervised = [tok for tok, m in zip(ids, mask) if m == 1]
print(len(ids), len(mask))
print(supervised)
```

输出：

```text
8 8
['你好，', '有什么可以帮你？', '<|assistant_end|>']
```

结构上有三点值得注意：用户侧全部为 0，`<|assistant_start|>` 为 0，`<|assistant_end|>` 为 1。第三点容易写错：如果结束标记不监督，模型学不会在回答结束时停止。工具调用的渲染同理，`<|python_start|>` 与 `<|python_end|>` 为 1，而 `<|output_start|>` 与 `<|output_end|>` 之间的沙箱输出为 0。

## 易错点

> [!warning] 可检验的错误
> - 认为 nanochat 等于「nanoGPT 加一个 SFT 脚本」。它还换了分词器训练、优化器与分布式同步方式、数据加载器、评测体系与推理引擎；SFT 只是新增阶段之一。
> - 把 `finetune_shakespeare.py` 当作 SFT。它没有角色标记、没有损失掩码、没有多轮对话，本质是继续预训练或领域适配。
> - 认为仓库里一定有一个 `midtrain.py`。当前快照没有独立的中段训练入口，相关数据混合在 `scripts/chat_sft.py` 中；`dev/LOG.md` 的「midtraining」指该阶段的数据，而不是一个脚本。
> - 把 Muon、sliding window、FP8、BOS 数据加载器一律归给 modded-nanogpt。只有 Muon 与每层残差标量有明确逐项归因，FP8 是思路借鉴，sliding window 归因于 GPT-3 的交替窗口，BOS 数据加载器是本仓库自身的重构。
> - 用验证损失比较两个词表不同的模型。词表不同时交叉熵不可比，应换算成 bpb，且仅在数据分布相同时比较。
> - 认为预训练越久对话能力越强。格式与工具调用能力来自后训练数据；只加预训练只会改善续写与知识，不会自动产生角色格式。
> - 把 CORE 与 ChatCORE 混用。前者评测基座模型的 22 项任务，后者评测对话模型的 5 项任务；同一分数在两个体系中没有可比性。
> - 把「词表更小」当作纯收益。32768 词表降低输出投影与 softmax 成本，但压缩率通常低于 GPT-2 词表，同样文本会产生更多 token；净效果取决于语言分布与模型规模。

## 关联笔记

- 前置：[[Karpathy与nanochat]] —— 作者脉络、成本口径与单旋钮设计，是理解两仓库分工的前提。
- 后续：[[有监督微调SFT]] —— 本篇只说明 SFT 存在的必要性，掩码构造、数据混合与热启动优化器在 06 阶段展开。
- 后续：[[GRPO原理与实现]] —— 本篇只说明 RL 是流程的最后一环，策略梯度与简化 GRPO 的取舍在 07 阶段展开。
- 后续：[[KV Cache原理]] —— 本篇只指出推理引擎的必要性，缓存的显存公式与 prefill/decode 在 09 阶段展开。
- 对照：[[LLM101n课程]] —— 课程按概念依赖组织，本篇按工程流水线组织；两篇合读可以看清同一套模块的两种排序。
- 跨库：[[从零实现小型GPT指南]] —— 通用 GPT 实现见该篇，本篇只讲 nanochat 相对 nanoGPT 的扩展边界；另可对照 [[预训练-微调-对齐pipeline]] 理解三阶段划分。

## 达标检测

- [ ] 能不看笔记说出 nanoGPT 覆盖的三个环节（数据准备、预训练、采样）以及 nanochat 额外覆盖的五个环节。
- [ ] 能解释角色标记为什么在预训练中没有梯度，并说明 SFT 如何补上这部分监督。
- [ ] 能写出 `render_conversation` 中至少四个位置的掩码值（用户消息、助手起始、助手文本、工具输出），并说明理由。
- [ ] 能逐项回答：Muon、sliding window、FP8、BOS 数据加载器是否归因于 modded-nanogpt，依据是哪一行注释或日志。
- [ ] 能为「数据、模型、训练、对齐、推理、评测、成本」七个维度各写出一句 nanoGPT 与 nanochat 的差异。
- [ ] 能运行本篇第三个代码块，把工具输出加入 `ids` 与 `mask`，验证 `mask` 为 0 时该片段不进入损失。
- [ ] 能说明没有推理引擎时，为什么长上下文对话的延迟不可接受（按每步重算前缀的复杂度分析）。

## 参考来源

- Karpathy, *nanochat* README（commit 92d63d4），定位、文件结构与致谢 —— 对应本篇的覆盖范围对照与 modded-nanogpt 总体致谢。
- Karpathy, *nanochat* `dev/LOG.md`（commit 92d63d4），2026-01-10、2026-01-11、2026-01-13、2026-02-02 条目 —— 对应逐项归因表与 BOS 数据加载器的重构记录。
- Karpathy, *nanochat* `dev/LEADERBOARD.md`（commit 92d63d4），Time-to-GPT-2 与提交规则 —— 对应成本与评测口径。
- Karpathy, *nanoGPT* README（master），三条命令的流程、OpenWebText 与 GPT-2 124M 复现、微调说明 —— 对应例子 1 与七维表中的 nanoGPT 一列。
- Karpathy, *modded-nanogpt*，排行榜式预训练优化与 Muon 的上游实现 —— 对应 Muon 归因与「借鉴了想法与部分实现」的说明。
- Brown et al., *Language Models are Few-Shot Learners*（GPT-3, 2020, arXiv:2005.14165）—— 对应 sliding window 交替短/长窗口模式的来源。
