---
tags: [nanochat, MOC, 总索引]
阶段: 全书
难度: ★★☆
created: 2026-10-22
related: "[[README]], [[MOC-背景与定位]], [[MOC-Transformer]], [[MOC-推理Engine]]"
---

# nanochat 学习知识库 · 总索引

本库以 `karpathy/nanochat` 的 master 快照（提交 `92d63d4`，2026-07-03）为事实基准，按「分词 → 预训练 → 中段训练 → SFT → RL → 评测 → 推理」的因果链组织。每个阶段由一个 MOC 给出学习顺序、笔记索引与达标清单；每篇概念笔记包含定义、第一性推导、repo 代码对照、可运行例子、易错点与达标检测。

> [!summary] 使用方式
> 首次使用先读 [[README]]，确认版本基准、与《AI学习总纲》的分工以及笔记约定。随后按下方阶段地图顺序推进；每完成一篇，勾选该篇「达标检测」，并在 [[实验日志]] 记录时间、命令与未解决问题。遇到前置缺口时沿双链回溯，不要跳读推导。

## 阶段地图

```mermaid
flowchart TD
    B[01 背景与定位] --> M[02 数学与工程基础]
    M --> T[03 分词器]
    T --> A[04 Transformer 架构]
    A --> P[05 预训练]
    P --> S[06 中段训练与 SFT]
    S --> R[07 强化学习对齐]
    P --> E[08 评测]
    S --> E
    R --> E
    A --> I[09 推理 Engine 与工具]
    P --> I
    I --> X[10 复现与实验]
    E --> X
    X -.->|实验反馈| P
```

依赖关系不是严格线性的：07 依赖 06 产出的 chat 模型，08 同时评测 base 与 chat 模型，09 的 KV Cache 只依赖 04 的注意力结构，10 汇总全部阶段的命令与故障处理。首次阅读建议按编号推进；复习时按依赖关系跳转。

## 各阶段入口

| 阶段 | MOC | 核心问题 | 产出能力 |
|---|---|---|---|
| 01 背景与定位 | [[MOC-背景与定位]] | nanochat 与 nanoGPT、LLM101n 的边界在哪里 | 能说明项目定位与技术选型 |
| 02 数学与工程基础 | [[MOC-数学与工程基础]] | 训练一个 LLM 需要哪些最小数学工具，成本如何估算 | 能推 AdamW/Muon 更新式并算 FLOPs 与美元 |
| 03 分词器 | [[MOC-分词器]] | 文本如何变成 token，词表如何影响模型 | 能训练 BPE 并解释特殊 token |
| 04 Transformer 架构 | [[MOC-Transformer]] | GPT 的每个结构选择为什么成立 | 能逐段读懂 `gpt.py` 并手推注意力 |
| 05 预训练 | [[MOC-预训练]] | 如何用下一个 token 预测把模型训到 GPT-2 级 | 能跑通 speedrun 并解释每个超参数 |
| 06 中段训练与 SFT | [[MOC-中段训练与SFT]] | 如何把基座模型变成会对话、会用工具的模型 | 能构造带 mask 的 SFT 数据并训练 |
| 07 强化学习对齐 | [[MOC-强化学习]] | 为什么 SFT 之后还要 RL，GRPO 如何工作 | 能解释并复现简化 GRPO |
| 08 评测 | [[MOC-评测]] | 如何度量 base 与 chat 模型的能力 | 能读懂 CORE/ChatCORE 与成绩单 |
| 09 推理 Engine 与工具 | [[MOC-推理Engine]] | 生成一个 token 的成本从哪里来 | 能解释 KV Cache、prefill/decode 与沙箱 |
| 10 复现与实验 | [[MOC-复现]] | 如何在自己的硬件上跑通并做实验 | 能完成环境搭建、调参与故障排查 |

## 学习路线

推荐 7–8 周、每周 8–10 小时；已有 Transformer 基础的读者可把 02、04 压缩为复习。

1. 第 1 周：[[Karpathy与nanochat]] → [[nanochat与nanoGPT的区别]] → [[LLM101n课程]] → [[学习路线与前置要求]]。先建立项目地图，避免把 nanochat 误认为又一个 nanoGPT。
2. 第 2 周：[[矩阵与线性代数速查]] → [[softmax与softmax温度]] → [[交叉熵与困惑度]] → [[梯度下降与AdamW]] → [[Muon优化器]] → [[FLOPs与训练成本估算]]。重点是批处理梯度、数值稳定性与 6N 公式，不追求分析学证明。
3. 第 3 周：[[为什么需要分词]] → [[字节对编码BPE原理]] → [[词表与特殊token]] → [[nanochat的Rust分词器实现]]。手写一遍 BPE 合并，再对照 `rustbpe` 与 `tiktoken` 的分工。
4. 第 4–5 周：[[自注意力机制]] → [[多头注意力]] → [[位置编码与RoPE]] → [[残差连接与LayerNorm]] → [[前馈层与激活函数]] → [[GPT模型类与config]] → [[从第一性看nanochat的gpt.py]] → [[nanochat架构特化技巧]] → [[FlashAttention与高效注意力]] → [[FP8混合精度训练]]。以能脱离注释复述 `GPT.forward` 为标准。
5. 第 6 周：[[训练数据与FineWeb]] → [[数据加载器dataloader]] → [[训练脚本与speedrun]] → [[学习率与warmup-warmdown]] → [[检查点与恢复]] → [[分布式训练与优化器分片]] → [[缩放定律与模型深度]] → [[CORE指标]] → [[对比GPT-2核心指标]]。先读循环再读调度器，最后看评测。
6. 第 7 周：[[对话数据与SmolTalk]] → [[多选与工具使用数据]] → [[有监督微调SFT]] → [[从生成式到对话式]] → [[RLHF与GRPO概览]] → [[GRPO原理与实现]] → [[GSM8K数学任务]] → [[RL对模型的影响]]。
7. 第 8 周：[[评测方法论]] → [[ARC与MMLU]] → [[GSM8K与HumanEval]] → [[生成report成绩单]] → [[如何解读指标]] → [[自回归解码与prefill-decode]] → [[KV Cache原理]] → [[工具调用与Python沙箱]] → [[CLI与WebUI]] → [[部署与成本]]。
8. 收尾：[[本地环境搭建]] → [[跑通speedrun脚本]] → [[用--depth调参]] → [[实验记录模板]] → [[常见问题踩坑]]。用一次 d12 或 d16 的短跑验证整条管线，再决定是否上 8×H100。

## 三条能力主线

- 懂原理：02 的更新式推导、04 的注意力与 `gpt.py` 拆解、05 的缩放律、07 的 REINFORCE/GRPO 推导构成主干；任何结论都应能回答「它从哪个假设推出」。
- 能复现：03 的 BPE 训练、05 的 speedrun、06 的 SFT、07 的 GRPO、10 的全流程命令。复现的标准是能解释每条命令的产物与失败模式，而不只是跑完。
- 懂工程：05 的 checkpoint 与分布式通信、08 的评测工程、09 的 KV Cache 与沙箱隔离、10 的成本与调参。工程判断的标准是能预测改动对显存、吞吐与指标的影响。

## 阅读标记约定

- 每篇「关联笔记」标注「前置 / 后续 / 对照 / 跨库」，未掌握前置时先回溯。
- 推导使用编号步骤，便于复核；代码块给出形状、数值或预期输出。
- `> [!warning]` 为可检验的错误模式；`> [!tip]` 为机制性直觉；`> [!info]` 为版本差异说明。
- 跨库链接指向《AI学习总纲》，本库不重复其教程内容，只写关键结论与 nanochat 的落地位置。

## 配套文件

- [[README]]：版本基准、目录地图、Obsidian 设置与维护流程。
- [[nanochat概念笔记模板]]、[[nanochat阶段MOC模板]]：新增笔记时复制。
- [[nanochat学习记录模板]]、[[实验日志]]：记录进度与实验。

## 达标清单

- [ ] 能画出从原始文本到 chat 模型输出的完整数据流，并标出每个阶段对应的 repo 脚本。
- [ ] 能解释 `--depth` 如何决定宽度、头数、批大小、学习率与训练 token 数。
- [ ] 能在不看笔记的情况下复述 `GPT.forward` 的八个步骤及其张量形状。
- [ ] 能写出 CORE 与 ChatCORE 的 centered accuracy 公式，并说明基线取值。
- [ ] 能根据 KV Cache 显存公式估算 2048 上下文、d24 模型的推理显存。
- [ ] 能说明 nanochat 的「GRPO」相对教科书 GRPO 删减了什么：KL、ratio+clip、z-score 三项目标，以及改为 token 级归一化这一口径变化，并说明各自代价。
- [ ] 能在 8×H100 之外的硬件上给出至少一套可行的降级配置。
