---
tags: [nanochat, 学习追踪, template]
阶段: 学习追踪
难度: ★☆☆
created: 2026-10-22
related: "[[实验日志]], [[MOC-复现]], [[学习路线与前置要求]]"
---

# nanochat学习记录模板

本文件是学习进度的记录骨架，配合 [[实验日志]] 使用：这里记录「计划与完成度」，那里记录「运行与证据」。复制下方各表格到自己的笔记，或直接在本文件上按周追加行。

使用规则有三条。

- 一行对应一周的一次学习块，而不是一天。nanochat 的多数笔记需要连续 1 至 2 小时才能读完并完成达标检测，按天拆会把推导切碎。
- 完成度只允许三档：`未开始`、`在读`、`达标`。`达标` 的判据是该篇「达标检测」全部可勾选，而不是读完。
- 每周结束时必须填写复盘问题中的至少三条，并把与代码或命令有关的问题转入 [[实验日志]]。

## 基本信息

| 项 | 内容 |
|---|---|
| 开始日期 | `<YYYY-MM-DD>` |
| 目标完成日期 | `<YYYY-MM-DD>` |
| 每周投入 | `<8–10 小时>` |
| 硬件条件 | `<8×H100 节点 / 单卡 24 GB / 仅 CPU>` |
| 当前阶段 | `<01–10 中的某个阶段>` |
| 版本基准 | commit `92d63d4` |

硬件条件决定可达目标。仅 CPU 时只能完成 01 至 05 的阅读与 `runs/runcpu.sh` 冒烟，无法产生有意义的 CORE；单卡 24 GB 可以跑到 d16；8 卡节点才具备复现 GPT-2 级结果的条件。

## 周计划表

下表按 8 周给出建议节奏，与 [[MOC-复现]] 的三条阅读路径兼容。实际执行时可整周平移，但不要调换阶段顺序。

| 周次 | 阶段 | 笔记 | 本周产出 | 达标判据 |
|---|---|---|---|---|
| 1 | 01 背景与定位 | 4 篇 | 一段项目定位说明 | 能说出 nanochat 与 nanoGPT 的边界 |
| 2 | 02 数学与工程基础 | 6 篇 | 一页公式速查 | 能推 AdamW 更新式并算 FLOPs |
| 3 | 03 分词器 | 4 篇 | 手写 BPE 合并表 | 能解释 9 个特殊 token 的用途 |
| 4–5 | 04 Transformer | 10 篇 | `gpt.py` 逐段批注 | 能脱离注释复述 `GPT.forward` |
| 6 | 05 预训练 | 9 篇 | 一次 d12 运行记录 | 能由 depth 推出全部超参数 |
| 7 | 06、07 | 8 篇 | SFT 与 RL 的对照表 | 能说明简化 GRPO 的三处删减 |
| 8 | 08、09 | 10 篇 | 指标解读与部署成本估算 | 能读 CORE 与 ChatCORE 的分解 |
| 收尾 | 10 复现与实验 | 5 篇 | 环境、一次 speedrun、一份实验日志 | 能按故障树处理三条症状 |

若硬件条件不允许第 6 周的实际运行，把该周产出改为「用 `runs/runcpu.sh` 跑通并记录产物」，并在备注中标注「未验证能力指标」。

## 学习记录表头

每周复制一行，填完为止。

| 日期 | 周次 | 阶段 | 笔记 | 耗时 | 完成度 | 卡住的问题 | 下一步 |
|---|---|---|---|---|---|---|---|
| `<2026-10-22>` | `<1>` | `<01>` | `<Karpathy与nanochat>` | `<1.5h>` | `<达标>` | `<无>` | `<读下一篇>` |
|  |  |  |  |  |  |  |  |

字段约定：「卡住的问题」写具体现象，例如「不理解 `n_ve` 为什么等于 $\lceil L/2\rceil$」，而不是「看不懂参数」；「下一步」写一个动作，例如「读 `gpt.py:has_ve` 并手算 d8 的 ve 层数」。

## 分阶段达标勾选

每一阶段读完时勾选，勾选前确认该项能在不看笔记的条件下完成。阶段入口见 [[00-MOC|总索引]]。

### 01–03 基础

- [ ] 能说明 nanochat 覆盖哪五个 LLM 阶段，以及它与 nanoGPT 的分工。
- [ ] 能写出交叉熵、困惑度、bpb 三者的换算关系。
- [ ] 能手算一次 BPE 合并，并解释 32768 词表的构成。
- [ ] 能解释 `rustbpe` 训练与 `tiktoken` 推理为何分成两个库。

### 04–05 结构与训练

- [ ] 能写出缩放点积注意力的完整公式并说明每一维的含义。
- [ ] 能说明 `gpt.py` 中 smear、value embedding、x0、backout 各自解决什么问题。
- [ ] 能由 `--depth` 手算宽度、头数、缩放参数与训练 token 数。
- [ ] 能解释 BOS-aligned best-fit 的裁剪率与 100% 利用率的来源。
- [ ] 能写出检查点三类文件的分工，并指出哪一类必须每 rank 一份。

### 06–09 后训练与推理

- [ ] 能说明 `render_conversation` 的 mask 规则与 padding 的处理。
- [ ] 能说明 nanochat 的 GRPO 与教科书 GRPO 的三处差别。
- [ ] 能写出 centered accuracy 公式并手算一个任务。
- [ ] 能由 KV 缓存公式估算 2048 上下文、d24 模型的推理显存。
- [ ] 能解释 `execution.py` 的隔离边界为何不是安全沙箱。

### 10 复现与实验

- [ ] 能装出可训练环境，并给出三条自检输出。
- [ ] 能按顺序复述 speedrun 的九个环节与九个产物。
- [ ] 能给出 d12 与 d24 两套配置，并说明各自的瓶颈项。
- [ ] 能按「现象、原因、验证、修复」处理三条故障。
- [ ] 能写出一次实验的九字段记录，并判定是否超过阈值。

## 每周复盘问题

每周至少回答三条，答案写入当周记录的「卡住的问题」栏。

1. 本周读到的哪一个结论无法由前文推出？缺口在哪一篇？
2. 本周哪一条命令我实际运行过？产物路径是什么？
3. 本周哪一个数字我记住了但说不出来源？
4. 本周有没有把「读懂了」误当成「能复述」？拿哪一条达标检测验证的？
5. 下周的一个具体动作是什么？

## 每阶段复盘问题

每完成一个阶段回答一次，用于决定是否进入下一阶段。

1. 能否用三句话说明本阶段在全书流水线中的位置？
2. 本阶段的哪一个默认值我仍不知道来源？
3. 本阶段的笔记中，哪一篇的达标检测我没有全部勾选？原因是什么？
4. 本阶段是否产生了可保存的产物（代码、CSV、记录）？在哪里？

## 月度检查

每月末对照 [[MOC-复现]] 的达标清单检查一次，重点看三项可量化的进度：已完成的阶段数、已运行的命令数、已写入 [[实验日志]] 的记录数。三项中若有两项停滞，说明学习已退化为阅读，应改为每天至少执行一条命令。

## 与实验日志的分工

| 内容 | 本文件 | [[实验日志]] |
|---|---|---|
| 计划与进度 | 是 | 否 |
| 达标勾选 | 是 | 否 |
| 命令与参数 | 只写引用 | 完整记录 |
| 指标数值 | 不写 | 完整记录 |
| 复盘结论 | 每周一次 | 每次实验一次 |

两份文件不重复记录同一内容：本文件写「我学到了哪一步」，实验日志写「机器给出了什么结果」。

## 参考来源

- Karpathy, *nanochat*（commit `92d63d4`），`README.md` 与 `dev/LEADERBOARD.md` —— 对应版本基准与能力门槛，用于填写「硬件条件」与达标项。
- 本库 [[00-MOC]] 的「学习路线」与 [[MOC-复现]] 的「三条阅读路径」 —— 对应周计划表的阶段顺序与时长。
- 本库 [[实验记录模板]] —— 对应「与实验日志的分工」一节的字段划分。
- 跨库 [[从零实现小型GPT指南]]：从零实现小型 GPT 的通用练习顺序见该篇，本文件只记录 nanochat 的进度与达标状态。
