w wyl123ly 的博客
MD

00-MOC

8 KB 2026.10.22 原文件

nanochat 学习知识库 · 总索引

本库以 karpathy/nanochat 的 master 快照(提交 92d63d4,2026-07-03)为事实基准,按「分词 → 预训练 → 中段训练 → SFT → RL → 评测 → 推理」的因果链组织。每个阶段由一个 MOC 给出学习顺序、笔记索引与达标清单;每篇概念笔记包含定义、第一性推导、repo 代码对照、可运行例子、易错点与达标检测。

使用方式

首次使用先读 README,确认版本基准、与《AI学习总纲》的分工以及笔记约定。随后按下方阶段地图顺序推进;每完成一篇,勾选该篇「达标检测」,并在 实验日志 记录时间、命令与未解决问题。遇到前置缺口时沿双链回溯,不要跳读推导。

阶段地图

flowchart TD
    B[01 背景与定位] --> M[02 数学与工程基础]
    M --> T[03 分词器]
    T --> A[04 Transformer 架构]
    A --> P[05 预训练]
    P --> S[06 中段训练与 SFT]
    S --> R[07 强化学习对齐]
    P --> E[08 评测]
    S --> E
    R --> E
    A --> I[09 推理 Engine 与工具]
    P --> I
    I --> X[10 复现与实验]
    E --> X
    X -.->|实验反馈| P

依赖关系不是严格线性的:07 依赖 06 产出的 chat 模型,08 同时评测 base 与 chat 模型,09 的 KV Cache 只依赖 04 的注意力结构,10 汇总全部阶段的命令与故障处理。首次阅读建议按编号推进;复习时按依赖关系跳转。

各阶段入口

阶段MOC核心问题产出能力
01 背景与定位[[MOC-背景与定位]]nanochat 与 nanoGPT、LLM101n 的边界在哪里能说明项目定位与技术选型
02 数学与工程基础[[MOC-数学与工程基础]]训练一个 LLM 需要哪些最小数学工具,成本如何估算能推 AdamW/Muon 更新式并算 FLOPs 与美元
03 分词器[[MOC-分词器]]文本如何变成 token,词表如何影响模型能训练 BPE 并解释特殊 token
04 Transformer 架构[[MOC-Transformer]]GPT 的每个结构选择为什么成立能逐段读懂 gpt.py 并手推注意力
05 预训练[[MOC-预训练]]如何用下一个 token 预测把模型训到 GPT-2 级能跑通 speedrun 并解释每个超参数
06 中段训练与 SFT[[MOC-中段训练与SFT]]如何把基座模型变成会对话、会用工具的模型能构造带 mask 的 SFT 数据并训练
07 强化学习对齐[[MOC-强化学习]]为什么 SFT 之后还要 RL,GRPO 如何工作能解释并复现简化 GRPO
08 评测[[MOC-评测]]如何度量 base 与 chat 模型的能力能读懂 CORE/ChatCORE 与成绩单
09 推理 Engine 与工具[[MOC-推理Engine]]生成一个 token 的成本从哪里来能解释 KV Cache、prefill/decode 与沙箱
10 复现与实验[[MOC-复现]]如何在自己的硬件上跑通并做实验能完成环境搭建、调参与故障排查

学习路线

推荐 7–8 周、每周 8–10 小时;已有 Transformer 基础的读者可把 02、04 压缩为复习。

  1. 第 1 周:Karpathy与nanochat → nanochat与nanoGPT的区别 → LLM101n课程 → 学习路线与前置要求。先建立项目地图,避免把 nanochat 误认为又一个 nanoGPT。
  2. 第 2 周:矩阵与线性代数速查 → softmax与softmax温度 → 交叉熵与困惑度 → 梯度下降与AdamW → Muon优化器 → FLOPs与训练成本估算。重点是批处理梯度、数值稳定性与 6N 公式,不追求分析学证明。
  3. 第 3 周:为什么需要分词 → 字节对编码BPE原理 → 词表与特殊token → nanochat的Rust分词器实现。手写一遍 BPE 合并,再对照 rustbpe 与 tiktoken 的分工。
  4. 第 4–5 周:自注意力机制 → 多头注意力 → 位置编码与RoPE → 残差连接与LayerNorm → 前馈层与激活函数 → GPT模型类与config → 从第一性看nanochat的gpt.py → nanochat架构特化技巧 → FlashAttention与高效注意力 → FP8混合精度训练。以能脱离注释复述 GPT.forward 为标准。
  5. 第 6 周:训练数据与FineWeb → 数据加载器dataloader → 训练脚本与speedrun → 学习率与warmup-warmdown → 检查点与恢复 → 分布式训练与优化器分片 → 缩放定律与模型深度 → CORE指标 → 对比GPT-2核心指标。先读循环再读调度器,最后看评测。
  6. 第 7 周:对话数据与SmolTalk → 多选与工具使用数据 → 有监督微调SFT → 从生成式到对话式 → RLHF与GRPO概览 → GRPO原理与实现 → GSM8K数学任务 → RL对模型的影响。
  7. 第 8 周:评测方法论 → ARC与MMLU → GSM8K与HumanEval → 生成report成绩单 → 如何解读指标 → 自回归解码与prefill-decode → KV Cache原理 → 工具调用与Python沙箱 → CLI与WebUI → 部署与成本。
  8. 收尾:本地环境搭建 → 跑通speedrun脚本 → 用--depth调参 → 实验记录模板 → 常见问题踩坑。用一次 d12 或 d16 的短跑验证整条管线,再决定是否上 8×H100。

三条能力主线

  • 懂原理:02 的更新式推导、04 的注意力与 gpt.py 拆解、05 的缩放律、07 的 REINFORCE/GRPO 推导构成主干;任何结论都应能回答「它从哪个假设推出」。
  • 能复现:03 的 BPE 训练、05 的 speedrun、06 的 SFT、07 的 GRPO、10 的全流程命令。复现的标准是能解释每条命令的产物与失败模式,而不只是跑完。
  • 懂工程:05 的 checkpoint 与分布式通信、08 的评测工程、09 的 KV Cache 与沙箱隔离、10 的成本与调参。工程判断的标准是能预测改动对显存、吞吐与指标的影响。

阅读标记约定

  • 每篇「关联笔记」标注「前置 / 后续 / 对照 / 跨库」,未掌握前置时先回溯。
  • 推导使用编号步骤,便于复核;代码块给出形状、数值或预期输出。
  • > [!warning] 为可检验的错误模式;> [!tip] 为机制性直觉;> [!info] 为版本差异说明。
  • 跨库链接指向《AI学习总纲》,本库不重复其教程内容,只写关键结论与 nanochat 的落地位置。

配套文件

  • README:版本基准、目录地图、Obsidian 设置与维护流程。
  • nanochat概念笔记模板、nanochat阶段MOC模板:新增笔记时复制。
  • nanochat学习记录模板、实验日志:记录进度与实验。

达标清单

  • [ ] 能画出从原始文本到 chat 模型输出的完整数据流,并标出每个阶段对应的 repo 脚本。
  • [ ] 能解释 --depth 如何决定宽度、头数、批大小、学习率与训练 token 数。
  • [ ] 能在不看笔记的情况下复述 GPT.forward 的八个步骤及其张量形状。
  • [ ] 能写出 CORE 与 ChatCORE 的 centered accuracy 公式,并说明基线取值。
  • [ ] 能根据 KV Cache 显存公式估算 2048 上下文、d24 模型的推理显存。
  • [ ] 能说明 nanochat 的「GRPO」相对教科书 GRPO 删减了什么:KL、ratio+clip、z-score 三项目标,以及改为 token 级归一化这一口径变化,并说明各自代价。
  • [ ] 能在 8×H100 之外的硬件上给出至少一套可行的降级配置。