nanochat学习记录模板
本文件是学习进度的记录骨架,配合 实验日志 使用:这里记录「计划与完成度」,那里记录「运行与证据」。复制下方各表格到自己的笔记,或直接在本文件上按周追加行。
使用规则有三条。
- 一行对应一周的一次学习块,而不是一天。nanochat 的多数笔记需要连续 1 至 2 小时才能读完并完成达标检测,按天拆会把推导切碎。
- 完成度只允许三档:
未开始、在读、达标。达标的判据是该篇「达标检测」全部可勾选,而不是读完。 - 每周结束时必须填写复盘问题中的至少三条,并把与代码或命令有关的问题转入 实验日志。
基本信息
| 项 | 内容 |
|---|---|
| 开始日期 | <YYYY-MM-DD> |
| 目标完成日期 | <YYYY-MM-DD> |
| 每周投入 | <8–10 小时> |
| 硬件条件 | <8×H100 节点 / 单卡 24 GB / 仅 CPU> |
| 当前阶段 | <01–10 中的某个阶段> |
| 版本基准 | commit 92d63d4 |
硬件条件决定可达目标。仅 CPU 时只能完成 01 至 05 的阅读与 runs/runcpu.sh 冒烟,无法产生有意义的 CORE;单卡 24 GB 可以跑到 d16;8 卡节点才具备复现 GPT-2 级结果的条件。
周计划表
下表按 8 周给出建议节奏,与 MOC-复现 的三条阅读路径兼容。实际执行时可整周平移,但不要调换阶段顺序。
| 周次 | 阶段 | 笔记 | 本周产出 | 达标判据 |
|---|---|---|---|---|
| 1 | 01 背景与定位 | 4 篇 | 一段项目定位说明 | 能说出 nanochat 与 nanoGPT 的边界 |
| 2 | 02 数学与工程基础 | 6 篇 | 一页公式速查 | 能推 AdamW 更新式并算 FLOPs |
| 3 | 03 分词器 | 4 篇 | 手写 BPE 合并表 | 能解释 9 个特殊 token 的用途 |
| 4–5 | 04 Transformer | 10 篇 | gpt.py 逐段批注 | 能脱离注释复述 GPT.forward |
| 6 | 05 预训练 | 9 篇 | 一次 d12 运行记录 | 能由 depth 推出全部超参数 |
| 7 | 06、07 | 8 篇 | SFT 与 RL 的对照表 | 能说明简化 GRPO 的三处删减 |
| 8 | 08、09 | 10 篇 | 指标解读与部署成本估算 | 能读 CORE 与 ChatCORE 的分解 |
| 收尾 | 10 复现与实验 | 5 篇 | 环境、一次 speedrun、一份实验日志 | 能按故障树处理三条症状 |
若硬件条件不允许第 6 周的实际运行,把该周产出改为「用 runs/runcpu.sh 跑通并记录产物」,并在备注中标注「未验证能力指标」。
学习记录表头
每周复制一行,填完为止。
| 日期 | 周次 | 阶段 | 笔记 | 耗时 | 完成度 | 卡住的问题 | 下一步 |
|---|---|---|---|---|---|---|---|
<2026-10-22> | <1> | <01> | <Karpathy与nanochat> | <1.5h> | <达标> | <无> | <读下一篇> |
字段约定:「卡住的问题」写具体现象,例如「不理解 n_ve 为什么等于 」,而不是「看不懂参数」;「下一步」写一个动作,例如「读 gpt.py:has_ve 并手算 d8 的 ve 层数」。
分阶段达标勾选
每一阶段读完时勾选,勾选前确认该项能在不看笔记的条件下完成。阶段入口见 总索引。
01–03 基础
- [ ] 能说明 nanochat 覆盖哪五个 LLM 阶段,以及它与 nanoGPT 的分工。
- [ ] 能写出交叉熵、困惑度、bpb 三者的换算关系。
- [ ] 能手算一次 BPE 合并,并解释 32768 词表的构成。
- [ ] 能解释
rustbpe训练与tiktoken推理为何分成两个库。
04–05 结构与训练
- [ ] 能写出缩放点积注意力的完整公式并说明每一维的含义。
- [ ] 能说明
gpt.py中 smear、value embedding、x0、backout 各自解决什么问题。 - [ ] 能由
--depth手算宽度、头数、缩放参数与训练 token 数。 - [ ] 能解释 BOS-aligned best-fit 的裁剪率与 100% 利用率的来源。
- [ ] 能写出检查点三类文件的分工,并指出哪一类必须每 rank 一份。
06–09 后训练与推理
- [ ] 能说明
render_conversation的 mask 规则与 padding 的处理。 - [ ] 能说明 nanochat 的 GRPO 与教科书 GRPO 的三处差别。
- [ ] 能写出 centered accuracy 公式并手算一个任务。
- [ ] 能由 KV 缓存公式估算 2048 上下文、d24 模型的推理显存。
- [ ] 能解释
execution.py的隔离边界为何不是安全沙箱。
10 复现与实验
- [ ] 能装出可训练环境,并给出三条自检输出。
- [ ] 能按顺序复述 speedrun 的九个环节与九个产物。
- [ ] 能给出 d12 与 d24 两套配置,并说明各自的瓶颈项。
- [ ] 能按「现象、原因、验证、修复」处理三条故障。
- [ ] 能写出一次实验的九字段记录,并判定是否超过阈值。
每周复盘问题
每周至少回答三条,答案写入当周记录的「卡住的问题」栏。
- 本周读到的哪一个结论无法由前文推出?缺口在哪一篇?
- 本周哪一条命令我实际运行过?产物路径是什么?
- 本周哪一个数字我记住了但说不出来源?
- 本周有没有把「读懂了」误当成「能复述」?拿哪一条达标检测验证的?
- 下周的一个具体动作是什么?
每阶段复盘问题
每完成一个阶段回答一次,用于决定是否进入下一阶段。
- 能否用三句话说明本阶段在全书流水线中的位置?
- 本阶段的哪一个默认值我仍不知道来源?
- 本阶段的笔记中,哪一篇的达标检测我没有全部勾选?原因是什么?
- 本阶段是否产生了可保存的产物(代码、CSV、记录)?在哪里?
月度检查
每月末对照 MOC-复现 的达标清单检查一次,重点看三项可量化的进度:已完成的阶段数、已运行的命令数、已写入 实验日志 的记录数。三项中若有两项停滞,说明学习已退化为阅读,应改为每天至少执行一条命令。
与实验日志的分工
| 内容 | 本文件 | [[实验日志]] |
|---|---|---|
| 计划与进度 | 是 | 否 |
| 达标勾选 | 是 | 否 |
| 命令与参数 | 只写引用 | 完整记录 |
| 指标数值 | 不写 | 完整记录 |
| 复盘结论 | 每周一次 | 每次实验一次 |
两份文件不重复记录同一内容:本文件写「我学到了哪一步」,实验日志写「机器给出了什么结果」。
参考来源
- Karpathy, nanochat(commit
92d63d4),README.md与dev/LEADERBOARD.md—— 对应版本基准与能力门槛,用于填写「硬件条件」与达标项。 - 本库 00-MOC 的「学习路线」与 MOC-复现 的「三条阅读路径」 —— 对应周计划表的阶段顺序与时长。
- 本库 实验记录模板 —— 对应「与实验日志的分工」一节的字段划分。
- 跨库 从零实现小型GPT指南:从零实现小型 GPT 的通用练习顺序见该篇,本文件只记录 nanochat 的进度与达标状态。