w wyl123ly 的博客
MD

MOC-背景与定位

7 KB 2026.10.22 原文件

MOC · 背景与定位

本阶段地图

本阶段共 4 篇笔记,建议投入 6 至 8 小时。目标是在写第一条训练命令之前建立三个坐标:项目定位(nanochat 要解决什么问题、成本如何度量)、仓库边界(与 nanoGPT、LLM101n 的分工)、执行计划(前置知识、八周路线、硬件档位)。完成后应能逐行解释 runs/speedrun.sh,并为自己的硬件选出一条可执行路线。

版本说明

本库以 master 提交 92d63d4(2026-07-03)为基准。2025 年 10 月的首发版本使用 d20、FineWeb-EDU 与约 100 美元的表述;当前 master 为 d24、ClimbMix 与约 48 美元,抢占式约 15 美元。涉及这些数字时,本阶段统一采用当前 master,并在需要处标注历史口径。课程 LLM101n 尚未发布,其章节以课程仓库当前版本为准。

flowchart LR
    K["Karpathy与nanochat<br/>作者脉络、成本口径、单旋钮"] --> D["nanochat与nanoGPT的区别<br/>预训练 vs 全流程"]
    D --> C["LLM101n课程<br/>原理骨架与章节地图"]
    C --> R["学习路线与前置要求<br/>前置自测、八周路线、硬件分级"]
    R --> M2["02 数学与工程基础"]
    R --> X["10 复现与实验"]

本阶段的四篇笔记是全书的前置坐标:第一篇给项目目标与成本口径,第二篇给仓库边界,第三篇给原理骨架,第四篇给执行计划。缺少任一坐标,后续阶段的推导都会失去参照——不知道 CORE 是什么,就无法判断 05 的训练是否成功;不知道 SFT 的存在,就无法解释 06 的数据格式;不知道自己硬件的档位,就无法安排 10 的实验。本阶段不重复通用原理;需要补数学或 Transformer 基础时,先读总纲的 Transformer架构详解、线性代数 与 概率与统计,再回到本阶段的执行计划。

学习顺序与理由

  1. Karpathy与nanochat:先建立作者脉络与项目目标。后三篇都引用本篇的术语(CORE、miniseries、--depth、成本口径),先读可以避免术语漂移;本篇也给出全书反复回指的单旋钮推导。
  2. nanochat与nanoGPT的区别:再划仓库边界。多数读者已有 nanoGPT 的经验,先纠正「nanochat 等于 nanoGPT 加一个 SFT 脚本」的直觉,才能理解 06 至 09 阶段的必要性;本篇的借鉴核对表也是后续阅读 dev/LOG.md 的方法示范。
  3. LLM101n课程:再补原理骨架。课程按概念依赖排序,适合在进入 02 至 04 的推导之前建立「每个模块为什么存在」的连续叙事;课程尚未发布,只读公开大纲,不作为执行依据。
  4. 学习路线与前置要求:最后落到执行。前置自测、八周路线与硬件分级都依赖前三篇的术语与边界,放在最后可以一次成型,并直接对接 02 与 10 阶段。

不按课程章节顺序开读的理由:课程尚未发布、章节可能调整,不能作为执行依据;本阶段的目标是建立仓库坐标系,课程只是补原理的辅助线。先读课程会得到一张概念地图,但不知道每个概念在仓库的哪个文件里落地;先读仓库定位则能在课程里快速找到对应章节。

笔记索引

笔记难度建议用时核心内容前置
[[Karpathy与nanochat]]★★☆1.5 至 2 小时技术脉络(micrograd、nanoGPT、minBPE、nanochat)、43,000 美元与 48 美元的口径、CORE 0.256525、排行榜机制、--depth 推导全部超参数无
[[nanochat与nanoGPT的区别]]★★☆2 小时覆盖范围逐项对照、为什么只做预训练不够、SFT 掩码公式、modded-nanogpt 借鉴的逐项核对、七维对比表[[Karpathy与nanochat]]
[[LLM101n课程]]★☆☆1 小时课程定位与四个设计约束、17 章大纲与本库阶段映射、课程与仓库的分工、引用纪律[[Karpathy与nanochat]]
[[学习路线与前置要求]]★★☆2 至 3 小时前置依赖链与六道自测题、与《AI学习总纲》的分工、八周路线与验收标准、硬件与预算分级前三篇

符号约定与关键事实

记号或事实取值出处
基准提交92d63d4(2026-07-03)本库版本基准
GPT-2 CORE 门槛0.256525nanochat README
2019 年 GPT-2 训练成本约 43,000 美元(32×TPU v3 × 168 小时 × 8 美元)dev/LEADERBOARD.md
当前 speedrun 成本约 48 美元(8×H100 约 2 小时 × 24 美元/小时);抢占式约 15 美元nanochat README
最快榜1.65 小时,CORE 0.2626nanochat README
GPT-2 级深度约 d24 至 d26nanochat README
规模公式scripts/base_train.py
词表与特殊 token32768,9 个特殊 tokennanochat/tokenizer.py
speedrun 配置d24、ratio 8、微批 16、FP8;8×H100 约 1.5 至 2 小时runs/speedrun.sh
预训练数据ClimbMix-400B,训练分片最大编号 6542(共 6543 个文件),约 150 个足够 GPT-2 级nanochat README
优化器MuonAdamW:矩阵参数用 Muon,其余用 AdamWnanochat/optim.py
课程状态尚未发布,开发中并归档;章节以仓库当前版本为准LLM101n README

符号说明: 为层数; 为嵌入宽度;CORE 为 22 项任务 centered accuracy 的均值;bpb 为 bits per byte,等于交叉熵除以 与每 token 字节数。表中美元数字来自 README 与 dev/LEADERBOARD.md 的口径,具体换算见 Karpathy与nanochat 的成本表。

达标清单

  • [ ] 能用自己的话说明 nanochat 的三个设计约束(单 GPU 节点、最小可改、覆盖全流程)以及它们各自带来的取舍。
  • [ ] 能解释 43,000 美元与 48 美元为何相差两个数量级以上,并指出 48 美元对应的时间与硬件口径。
  • [ ] 能写出 --depth 到宽度、头数、token 预算、批大小、学习率与权重衰减的推导链。
  • [ ] 能列出 nanoGPT 不覆盖的五个环节,并说明缺少 SFT 与推理引擎的具体后果。
  • [ ] 能说明 LLM101n 的章节编号为何不能当作执行顺序,并指出课程当前的状态。
  • [ ] 能完成六道前置自测题,并为自己的硬件选出档位与启动命令。
  • [ ] 能为八周路线中的任意一周写出三条可观察的验收标准与一条失败预案。
  • [ ] 能从课程大纲中找出与本库 04、06、07 阶段对应的三章,并说明为什么本阶段不按课程章号排序。
  • [ ] 能指出至少两处「文档与代码不一致」的事实(例如 10.5 与 12 的数据:参数比),并说明以哪一方为准。

参考来源

  • Karpathy, nanochat README(commit 92d63d4),开篇定位、成本、单旋钮与文件结构 —— 对应本阶段地图与关键事实表。
  • Karpathy, nanochat dev/LEADERBOARD.md(commit 92d63d4),Time-to-GPT-2 规则与 Run 1 至 Run 6 —— 对应成本与时间口径。
  • Karpathy, nanoGPT README(master),预训练复现的定位与流程 —— 对应仓库边界。