w wyl123ly 的博客
MD

nanochat学习记录模板

7 KB 2026.10.22 原文件

nanochat学习记录模板

本文件是学习进度的记录骨架,配合 实验日志 使用:这里记录「计划与完成度」,那里记录「运行与证据」。复制下方各表格到自己的笔记,或直接在本文件上按周追加行。

使用规则有三条。

  • 一行对应一周的一次学习块,而不是一天。nanochat 的多数笔记需要连续 1 至 2 小时才能读完并完成达标检测,按天拆会把推导切碎。
  • 完成度只允许三档:未开始、在读、达标。达标 的判据是该篇「达标检测」全部可勾选,而不是读完。
  • 每周结束时必须填写复盘问题中的至少三条,并把与代码或命令有关的问题转入 实验日志。

基本信息

项内容
开始日期<YYYY-MM-DD>
目标完成日期<YYYY-MM-DD>
每周投入<8–10 小时>
硬件条件<8×H100 节点 / 单卡 24 GB / 仅 CPU>
当前阶段<01–10 中的某个阶段>
版本基准commit 92d63d4

硬件条件决定可达目标。仅 CPU 时只能完成 01 至 05 的阅读与 runs/runcpu.sh 冒烟,无法产生有意义的 CORE;单卡 24 GB 可以跑到 d16;8 卡节点才具备复现 GPT-2 级结果的条件。

周计划表

下表按 8 周给出建议节奏,与 MOC-复现 的三条阅读路径兼容。实际执行时可整周平移,但不要调换阶段顺序。

周次阶段笔记本周产出达标判据
101 背景与定位4 篇一段项目定位说明能说出 nanochat 与 nanoGPT 的边界
202 数学与工程基础6 篇一页公式速查能推 AdamW 更新式并算 FLOPs
303 分词器4 篇手写 BPE 合并表能解释 9 个特殊 token 的用途
4–504 Transformer10 篇gpt.py 逐段批注能脱离注释复述 GPT.forward
605 预训练9 篇一次 d12 运行记录能由 depth 推出全部超参数
706、078 篇SFT 与 RL 的对照表能说明简化 GRPO 的三处删减
808、0910 篇指标解读与部署成本估算能读 CORE 与 ChatCORE 的分解
收尾10 复现与实验5 篇环境、一次 speedrun、一份实验日志能按故障树处理三条症状

若硬件条件不允许第 6 周的实际运行,把该周产出改为「用 runs/runcpu.sh 跑通并记录产物」,并在备注中标注「未验证能力指标」。

学习记录表头

每周复制一行,填完为止。

日期周次阶段笔记耗时完成度卡住的问题下一步
<2026-10-22><1><01><Karpathy与nanochat><1.5h><达标><无><读下一篇>

字段约定:「卡住的问题」写具体现象,例如「不理解 n_ve 为什么等于 」,而不是「看不懂参数」;「下一步」写一个动作,例如「读 gpt.py:has_ve 并手算 d8 的 ve 层数」。

分阶段达标勾选

每一阶段读完时勾选,勾选前确认该项能在不看笔记的条件下完成。阶段入口见 总索引。

01–03 基础

  • [ ] 能说明 nanochat 覆盖哪五个 LLM 阶段,以及它与 nanoGPT 的分工。
  • [ ] 能写出交叉熵、困惑度、bpb 三者的换算关系。
  • [ ] 能手算一次 BPE 合并,并解释 32768 词表的构成。
  • [ ] 能解释 rustbpe 训练与 tiktoken 推理为何分成两个库。

04–05 结构与训练

  • [ ] 能写出缩放点积注意力的完整公式并说明每一维的含义。
  • [ ] 能说明 gpt.py 中 smear、value embedding、x0、backout 各自解决什么问题。
  • [ ] 能由 --depth 手算宽度、头数、缩放参数与训练 token 数。
  • [ ] 能解释 BOS-aligned best-fit 的裁剪率与 100% 利用率的来源。
  • [ ] 能写出检查点三类文件的分工,并指出哪一类必须每 rank 一份。

06–09 后训练与推理

  • [ ] 能说明 render_conversation 的 mask 规则与 padding 的处理。
  • [ ] 能说明 nanochat 的 GRPO 与教科书 GRPO 的三处差别。
  • [ ] 能写出 centered accuracy 公式并手算一个任务。
  • [ ] 能由 KV 缓存公式估算 2048 上下文、d24 模型的推理显存。
  • [ ] 能解释 execution.py 的隔离边界为何不是安全沙箱。

10 复现与实验

  • [ ] 能装出可训练环境,并给出三条自检输出。
  • [ ] 能按顺序复述 speedrun 的九个环节与九个产物。
  • [ ] 能给出 d12 与 d24 两套配置,并说明各自的瓶颈项。
  • [ ] 能按「现象、原因、验证、修复」处理三条故障。
  • [ ] 能写出一次实验的九字段记录,并判定是否超过阈值。

每周复盘问题

每周至少回答三条,答案写入当周记录的「卡住的问题」栏。

  1. 本周读到的哪一个结论无法由前文推出?缺口在哪一篇?
  2. 本周哪一条命令我实际运行过?产物路径是什么?
  3. 本周哪一个数字我记住了但说不出来源?
  4. 本周有没有把「读懂了」误当成「能复述」?拿哪一条达标检测验证的?
  5. 下周的一个具体动作是什么?

每阶段复盘问题

每完成一个阶段回答一次,用于决定是否进入下一阶段。

  1. 能否用三句话说明本阶段在全书流水线中的位置?
  2. 本阶段的哪一个默认值我仍不知道来源?
  3. 本阶段的笔记中,哪一篇的达标检测我没有全部勾选?原因是什么?
  4. 本阶段是否产生了可保存的产物(代码、CSV、记录)?在哪里?

月度检查

每月末对照 MOC-复现 的达标清单检查一次,重点看三项可量化的进度:已完成的阶段数、已运行的命令数、已写入 实验日志 的记录数。三项中若有两项停滞,说明学习已退化为阅读,应改为每天至少执行一条命令。

与实验日志的分工

内容本文件[[实验日志]]
计划与进度是否
达标勾选是否
命令与参数只写引用完整记录
指标数值不写完整记录
复盘结论每周一次每次实验一次

两份文件不重复记录同一内容:本文件写「我学到了哪一步」,实验日志写「机器给出了什么结果」。

参考来源

  • Karpathy, nanochat(commit 92d63d4),README.md 与 dev/LEADERBOARD.md —— 对应版本基准与能力门槛,用于填写「硬件条件」与达标项。
  • 本库 00-MOC 的「学习路线」与 MOC-复现 的「三条阅读路径」 —— 对应周计划表的阶段顺序与时长。
  • 本库 实验记录模板 —— 对应「与实验日志的分工」一节的字段划分。
  • 跨库 从零实现小型GPT指南:从零实现小型 GPT 的通用练习顺序见该篇,本文件只记录 nanochat 的进度与达标状态。