---
tags: [nanochat, background, 学习路线]
阶段: 01-背景与定位
难度: ★★☆
created: 2026-10-22
related: "[[Karpathy与nanochat]], [[LLM101n课程]], [[nanochat与nanoGPT的区别]], [[00-MOC]]"
---

# 学习路线与前置要求

## 定义

**学习路线**是以三种能力为目标的阅读与实验计划：能解释每个设计的原因（懂原理）、能独立复现仓库的关键产物（能复现）、能预测改动对显存、吞吐与指标的影响（懂工程）；它把本库 10 个阶段的笔记按 7 至 8 周、每周 8 至 10 小时排列，并为每个阶段给出可检验的验收标准。

**前置要求**是完成 02 至 10 阶段所需的最小知识集合，包括 Python 与 PyTorch 的工程能力、线性代数、微积分、概率统计与 Transformer 基础；缺少其中任何一项，相关阶段的推导或代码阅读都会中断。

定义中出现的术语：

- 验收标准（acceptance criterion）：用可观察行为描述的阶段完成条件，例如「能写出某个公式」「能跑通某条命令并解释输出」。
- 自测题（self-test）：在读某阶段之前用于检查前置是否足够的题目，答不出时应先补前置而不是硬读。
- 有监督微调（Supervised Fine-Tuning, SFT）：用带角色标记的对话数据继续训练基座模型，使其学会按格式回答的阶段。
- 浮点运算次数（floating point operations, FLOPs）：衡量训练与推理计算量的单位；本库用每个 token 的 FLOPs 估算总成本。
- 键值缓存（Key-Value Cache, KV Cache）：把注意力已算出的键与值缓存下来，使解码每步只处理新 token，从而降低长上下文推理成本。
- CORE：DCLM 评测集上 22 项任务的 centered accuracy 均值；GPT-2 的门槛为 0.256525。
- 组相对策略优化（Group Relative Policy Optimization, GRPO）：用组内平均奖励作基线、无需价值网络的策略梯度方法；本库在 07 阶段讲其简化实现。
- 显存（VRAM）：GPU 上可用于存放参数、梯度、优化器状态与激活值的内存；它决定能训练多大的模型与批大小。
- 硬件档位（hardware tier）：按可用算力划分的执行级别，本库分为 CPU 或 Apple Silicon、单卡 24GB、8×H100 三档，并补充 8×A100 的兼容说明。
- 预算（budget）：训练成本，等于墙钟小时数乘以节点单价；8×H100 按 3 美元/GPU/小时计约 24 美元/小时。
- 计算最优（compute-optimal）：在给定算力下损失最小的参数量与 token 数配比；本库用数据:参数比表达。

## 为什么重要

前置缺口是学习失败的主要原因。读到 `GPT.forward` 时不知道 `(B, T, C)` 经过 `c_q` 后为什么变成 `(B, T, H, D)`，读到交叉熵时不知道负对数似然与困惑度的关系，读到 Muon 时不知道正交化在做什么——这些都不是「多看几遍」能解决的，必须回到前置补齐。自测题的作用是在投入时间之前暴露缺口。

路线决定时间成本。8×H100 节点约 24 美元/小时，一次完整 speedrun 约 1.5 至 2 小时；如果顺序错了，同样的内容要读两遍、实验要重跑，成本翻倍。按依赖顺序推进可以用最少的 GPU 时间换最多的理解。

硬件决定可做的实验。CPU 上只能验证流水线是否跑通，单卡 24GB 上只能训练小模型并做 SFT，8×H100 上才能复现 GPT-2 级结果。把验收标准与硬件绑定，可以避免在错误的设备上追求达不到的目标，也可以避免在昂贵的设备上做本可以在本地完成的事。

与《AI学习总纲》的分工决定阅读效率。总纲负责通用原理与数学推导，本库负责 nanochat 的落地、repo 代码与成本判断；同一主题在两处各读一遍是浪费，只在需要时用双链回跳。

在三种能力中的位置。本篇属于执行层：它把 01 阶段的定位转化为可执行的周计划、可检验的验收标准与可承受的硬件预算，后续 10 阶段的「本地环境搭建」「跑通 speedrun」「用 --depth 调参」都以本篇为索引。

## 原理与推导

### 1. 前置知识的依赖链

| 知识 | 在 nanochat 中的具体用途 | 最低要求 | 推荐来源 |
|---|---|---|---|
| Python 与 PyTorch | 读 `nn.Module`、张量形状、dtype、`torch.compile`、单卡与 `torchrun` 启动 | 能读懂 300 行 PyTorch 训练代码，能解释 `view`、`transpose`、`contiguous` 的差别 | [[PyTorch实战入门]] |
| 线性代数 | 矩阵乘法形状、注意力中的 $QK^{\top}$、Muon 的正交化、SVD | 能手算 $(B,T,D)\times(D,3D)$ 的形状与参数量，能解释秩与正交矩阵 | [[线性代数]]、[[矩阵分解-SVD与特征分解]] |
| 微积分 | 链式法则、梯度、softmax 与交叉熵的导数 | 能推出 softmax 加交叉熵对 logits 的梯度是 $p-y$ | [[微积分与梯度]]、[[反向传播详解]] |
| 概率统计 | 条件概率、期望、softmax、交叉熵、困惑度、采样 | 能解释 temperature 与 top-k 如何改变分布，能换算交叉熵与困惑度 | [[概率与统计]] |
| Transformer 基础 | 自注意力、多头、残差、LayerNorm、RoPE | 能画出单层结构并标出每个张量的形状 | [[Transformer架构详解]]、[[注意力机制与QKV]] |
| 工程基础 | 命令行、虚拟环境、SSH、`nvidia-smi`、日志与断点 | 能在远程机器上安装依赖、启动长任务并查看显存占用 | [[本地环境搭建]] |

依赖关系不是并列的。PyTorch 与线性代数是地基：没有它们，04 阶段的代码与形状分析无法进行；微积分与概率是 02 阶段的核心：没有它们，损失函数、优化器与采样都只能背结论；Transformer 基础是 04 阶段的入口：没有它，`gpt.py` 的每个模块都像新概念。工程基础则贯穿 05 与 10：它不决定你能否理解，而决定你能否把理解变成产物。

### 2. 自测题

在读 02 阶段之前完成以下六题；每题只需写出要点，答不出时先补对应前置。

1. 形状为 $(B,T,D)$ 的张量经过一个无偏置的 `Linear(D, 3D)` 后形状是什么？该层有多少参数？
   要点：输出 $(B,T,3D)$；参数 $3D^2$，因为无偏置。
2. 因果注意力为什么在 softmax 之前把未来位置的分数设为负无穷，而不是在 softmax 之后把概率置零？
   要点：softmax 之后置零会破坏归一化，剩余概率之和不为 1；置为负无穷后指数为 0，归一化自动只覆盖可见位置。
3. 交叉熵、困惑度与 bits per byte 的关系是什么？
   要点：设交叉熵为 $H$ nats/token，则困惑度为 $e^{H}$；bpb 为 $H/(\ln 2 \times \text{每 token 字节数})$。
4. 单层自注意力在序列长度 $T$ 上的计算量与显存为什么随 $T^2$ 增长？
   要点：分数矩阵形状为 $(B,H,T,T)$，每个元素都要计算 $QK^{\top}$，因此时间与显存都含 $T^2$ 项。
5. RoPE 为什么能编码相对位置？
   要点：旋转后的内积 $q_m^{\top}k_n$ 只依赖 $m-n$，绝对角度在相乘时抵消。
6. AdamW 与「Adam 加 L2 正则」的区别是什么？
   要点：L2 项进入二阶矩后被逐坐标缩放，衰减强度依赖梯度统计；AdamW 把衰减从梯度中解耦，每步按固定比例收缩参数。

六题覆盖 02、04 两个阶段的最小门槛。第 1 题答不出时先补 [[PyTorch实战入门]]；第 2、4 题先补 [[注意力机制与QKV]]；第 5 题先补 [[位置编码-正弦与RoPE]]；第 3、6 题先补 [[损失函数]] 与 [[优化算法-梯度下降与Adam]]。

| 题号 | 考察点 | 答不出时先读 |
|---|---|---|
| 1 | PyTorch 张量形状与参数计数 | [[PyTorch实战入门]] |
| 2 | 因果掩码的语义与数值稳定 | [[注意力机制与QKV]] |
| 3 | 交叉熵、困惑度与 bpb 的换算 | [[损失函数]] |
| 4 | 注意力的时间与显存复杂度 | [[Transformer架构详解]] |
| 5 | RoPE 的相对位置性质 | [[位置编码-正弦与RoPE]] |
| 6 | 解耦权重衰减与自适应步长 | [[优化算法-梯度下降与Adam]] |

### 3. 与《AI学习总纲》的分工

| 主题 | 总纲负责 | 本库负责 |
|---|---|---|
| 注意力 | [[注意力机制与QKV]] 的缩放点积与多头机制 | [[自注意力机制]] 的 `CausalSelfAttention`、1.2 缩放、QK norm、窗口模式 |
| 优化 | [[优化算法-梯度下降与Adam]] 的更新式与收敛分析 | [[梯度下降与AdamW]] 的参数分组与调度、[[Muon优化器]] 的 Polar Express（Newton 迭代正交化）与 NorMuon（方差缩放） |
| 微调 | [[指令微调SFT]] 的方法分类 | [[有监督微调SFT]] 的 `render_conversation` 掩码与数据混合 |
| 评测 | [[模型评估矩阵]] 的指标选型 | [[CORE指标]] 的 22 项任务与 centered accuracy、[[生成report成绩单]] |
| 推理 | [[KV缓存]] 的原理 | [[KV Cache原理]] 的 FA3 布局、显存公式与 prefill/decode |
| 成本 | [[成本-延迟-质量权衡]] 的通用框架 | [[FLOPs与训练成本估算]]、[[部署与成本]] 的具体算例 |

分工规则有三条。第一，总纲读一遍原理，本库读落地；不要在总纲里找 repo 的文件名与行号，也不要在本库重复推通用公式。第二，遇到推导缺口先回总纲，遇到实现疑问先查 repo，再回本库对应笔记。第三，同一主题的两篇笔记用双链互相引用，读一篇时知道另一篇的存在即可，不必同时读。

### 4. 7 至 8 周路线与验收标准

路线与 [[00-MOC]] 的周次一致，本篇把每阶段拆成可检验的验收标准。每周按 8 至 10 小时估计，总投入约 64 至 80 小时。

| 周次 | 阶段 | 笔记 | 验收标准 | 小时 |
|---|---|---|---|---|
| 第 1 周 | 01 背景与定位 | 本篇所在阶段的 4 篇 | 画出十阶段数据流；解释 43,000 美元与 48 美元的差距；说出 nanoGPT 的三处边界；说明 d24 与 d26 的取舍 | 6 至 8 |
| 第 2 周 | 02 数学与工程基础 | 6 篇 | 手推 AdamW 更新式；写出 Muon 一步的动量、正交化与缩放；用 $6N$ 估算 d24 的训练 FLOPs 并折算美元；完成交叉熵、困惑度、bpb 的互换 | 8 至 10 |
| 第 3 周 | 03 分词器 | 4 篇 | 手算两次 BPE 合并；解释 32768 词表与 9 个特殊 token 的用途；说清 `rustbpe` 训练与 `tiktoken` 推理的分工；解释压缩率与 bpb 的关系 | 8 至 10 |
| 第 4 至 5 周 | 04 Transformer 架构 | 10 篇 | 复述 `GPT.forward` 的步骤与每个张量的形状；解释 RoPE 的负角度约定；各用一句话解释 sliding window、smear、value embedding、x0/resid、backout、softcap；跑通 FA3 缺失时的 SDPA 回退 | 16 至 20 |
| 第 6 周 | 05 预训练 | 9 篇 | 解释 BOS 对齐 best-fit 的 100% 利用率与约 35% 裁剪；跑一次 d12 短训并记录 bpb；解释 CORE 0.256525 的含义；说明 MuonAdamW 的三阶段通信与 ZeRO（零冗余优化器状态分片）式分片 | 8 至 10 |
| 第 7 周 | 06 中段训练与 SFT、07 强化学习 | 8 篇 | 构造一条对话的 `ids` 与 `mask` 并说明每个位置的取值；解释 SFT 热启动优化器与学习率比例；说出简化 GRPO 相对 REINFORCE 与教科书 GRPO 的差别；解释 pass@k（k 次采样中至少一次答对） | 10 至 12 |
| 第 8 周 | 08 评测、09 推理引擎 | 11 篇 | 写出 CORE 与 ChatCORE（对话模型的 5 项任务集成指标）的 centered accuracy 公式；按公式估算 2048 上下文、d24 的 KV Cache 显存；解释 prefill 与 decode 的 roofline（算力受限与带宽受限）差异；生成一份 report 成绩单 | 10 至 12 |
| 收尾 | 10 复现与实验 | 5 篇 | 在可用硬件上跑通 d12 或 d16 的完整流程；写三份实验记录；对 OOM、FA3 缺失、数据未下载三类故障给出排查路径 | 8 至 10 |

三条调整规则：

1. 已有 Transformer 基础与 PyTorch 经验的读者可以把第 2 周压缩到 3 天、第 4 至 5 周压缩到 6 天，把省下的时间投入第 6 周的实验。压缩的前提是自测题全部通过，而不是「感觉会」。
2. 没有 GPU 的读者把第 6、7 周的实验改为阅读代码与手算，验收标准中的「跑通」改为「能解释命令的产物与失败模式」；等有硬件后再补实验，不要在 CPU 上追求 GPT-2 级结果。
3. 每周结束时用 [[实验日志]] 记录三件事：本周读了什么、跑了什么、未解决什么。记录的作用是暴露「读完了但不会用」的假进度。

### 5. 硬件与预算分级

| 档位 | 硬件 | 可完成的任务 | 配置要点 | 成本 | 不可完成 |
|---|---|---|---|---|---|
| A | CPU 或 Apple Silicon | 分词器训练、极小模型预训练、SFT、CLI 对话、代码阅读 | `bash runs/runcpu.sh`：d6、头维 64、序列 512、微批 32、总批 16384、5000 步 | 电费与本地时间 | GPT-2 级结果、CORE 全量评测 |
| B | 单卡 24GB | d12 至 d16 的短预训练、SFT、小规模评测、`--depth` 实验 | 去掉 `--fp8`；`--window-pattern=L` 避免 SDPA 慢路径；微批 2 至 4；bf16 | 数小时租用费 | 完整 speedrun、ChatCORE 全量 |
| C | 8×H100 | speedrun 全流程、CORE 与 ChatCORE、FP8 实验 | `bash runs/speedrun.sh`：d24、ratio 8、微批 16、FP8 | 约 1.5 至 2 小时，约 36 至 48 美元；抢占式约 15 美元 | 更大深度的完整训练 |
| D | 8×A100 | 与 C 相同的流程，速度更慢 | 去掉 `--fp8`；bf16 下每步质量略高，可适当降低 ratio | 按供应商价格 | FP8 训练（需要 H100 及以上） |

档位与验收标准要绑定。A 档只验收「流水线是否跑通」与「代码是否读懂」，不验收 CORE；B 档验收「小模型能否训练与 SFT」，可以观察 bpb 下降但不追求门槛；C 档验收「能否复现 GPT-2 级结果并解释每个超参数」。把 C 档的标准套到 A 档，只会得到不匹配的评价；把 A 档的标准当成终点，则永远无法理解规模效应。

### 6. 每周时间如何分配

八周路线只有 64 至 80 小时，分配方式比总时长更重要。推荐比例见下表；比例不是硬性规定，但任何一项长期为零都会导致「读完了但不会用」。

| 活动 | 占比 | 产出 | 检查方式 |
|---|---|---|---|
| 阅读笔记 | 30% | 每篇的达标检测勾选 | 能复述定义与关键结论 |
| 手推公式 | 20% | 一页推导草稿 | 能不看笔记重推 |
| 阅读 repo 代码 | 25% | 标出关键函数、形状与删除后果 | 能解释每段代码为什么存在 |
| 运行命令与实验 | 15% | 命令、日志与输出摘要 | 能解释产物与失败模式 |
| 复盘与记录 | 10% | [[实验日志]] 条目 | 下周开始时能说出未解决问题 |

手推公式的占比容易被低估。02 阶段的 AdamW 与 Muon、04 阶段的注意力形状、05 阶段的 FLOPs 与 CORE 公式，如果只看不推，遇到变体就无法迁移；推导草稿不必工整，但必须能独立重写。阅读代码的占比也不能压缩：nanochat 的关键结论都在代码里，笔记只是索引。

预算计算很简单：成本等于墙钟小时数乘以节点单价。按 README 的 3 美元/GPU/小时，8×H100 节点为 24 美元/小时；排行榜 Run 1 的 3.04 小时约 73 美元，Run 6 的 1.65 小时约 40 美元，README 取整的 2 小时约 48 美元。这些数字只覆盖训练迭代，不含评测、SFT、数据下载与工程调试，实际支出应在此基础上留出余量。

显存估算需要区分四类占用：参数、梯度、优化器状态与激活值。d12 的缩放参数量约 110M，参数量本身不大，但 fp32 主权重、Muon 动量、AdamW 一阶与二阶矩会成倍放大；激活值随微批与序列长度线性增长。24GB 卡上 d12 通常可跑，d16 需要减小微批或序列长度，具体数值以 10 阶段的实测为准，不要照抄 8×H100 的 `--device-batch-size=16`。

### 在 nanochat 中的落地

- 第 1 周的验收对应本篇与前三篇笔记；读完后应能独立解释 `runs/speedrun.sh` 的每一行。
- 第 2 周的验收对应 02 阶段六篇；其中 FLOPs 估算要用到 `GPT.estimate_flops()` 的 $6N + 12hqT$ 口径，成本换算要用到 README 的单价。
- 第 3 周的验收对应 `scripts/tok_train.py`、`scripts/tok_eval.py` 与 `nanochat/tokenizer.py`；`tok_eval` 的输出是压缩率与每 token 字节数。
- 第 4 至 5 周的验收对应 `nanochat/gpt.py` 的 `GPT.forward`、`CausalSelfAttention.forward` 与 `_compute_window_sizes`；FA3 缺失时 `nanochat/flash_attention.py` 回退到 SDPA。
- 第 6 周的验收对应 `scripts/base_train.py`、`nanochat/dataloader.py`、`nanochat/core_eval.py` 与 `nanochat/optim.py`；d12 短训的命令可在 README 的 Research 一节找到。
- 第 7 周的验收对应 `scripts/chat_sft.py`、`nanochat/tokenizer.py` 的 `render_conversation` 与 `scripts/chat_rl.py`。
- 第 8 周的验收对应 `scripts/base_eval.py`、`scripts/chat_eval.py`、`scripts/infer_bench.py` 与 `nanochat/engine.py`。
- 收尾阶段的验收对应 10 阶段的五篇笔记，最终以能在自己的硬件上跑通并解释失败模式为准。

## 关键直觉

> [!tip] 机制性直觉
> 前置知识的检验标准不是「学过」，而是「能在 repo 里指认」。看到 `q = q * 1.2` 应能说出它把注意力 logits 放大 1.44 倍、等价于降低 softmax 温度；看到 `mask[1:]` 应能说出为什么掩码要相对 target 右移一位；看到 `--device-batch-size=16` 应能算出它与总批、梯度累积的关系。验收标准因此写成「能指出、能算出、能跑通」，而不是「读完」。与定义中「验收标准」的对应关系是：可观察行为才是完成条件，阅读页数不是。

## 例子与代码

### 例子 1：三档硬件的启动命令

```bash
# A. CPU / Apple Silicon：约 30 分钟，只验证流水线是否通
bash runs/runcpu.sh

# B. 单卡 24GB：d12，微批 2，500 步冒烟跑，关闭 CORE 评测与滑动窗口
python -m scripts.base_train --depth=12 --device-batch-size=2 \
    --window-pattern=L --num-iterations=500 --eval-tokens=4194304 \
    --core-metric-every=-1 --run=d12-local

# C. 8×H100：完整 speedrun，约 1.5 至 2 小时
bash runs/speedrun.sh
```

三档命令的差别不只是规模。A 档的 `runcpu.sh` 把深度降到 6、头维降到 64、序列降到 512，并把 CORE 评测关掉（`--core-metric-every=-1`），因此它验的是流水线与接口，不是能力。B 档保留 2048 序列，但去掉 FP8（该选项要求 H100 及以上），并用 `--window-pattern=L` 避免 SDPA 对滑动窗口支持不足导致的性能塌陷；`base_train.py` 在启动时会明确警告这一点。B 档的 500 步乘以自动计算的 $2^{19}$ 总批约为 2.6×10^8 token，只用于观察 bpb 是否下降，不追求 CORE 门槛。C 档用 `--fp8` 与 8 卡，总批由公式给出 1048576，微批 16 需要梯度累积 4 次。

单卡运行不需要 `torchrun`：README 明确说明省略 `torchrun` 即可在单卡上运行，代码会自动切换到梯度累积，结果近似相同，只是慢 8 倍。这一点决定了 B 档的可行性，也决定了它的时间成本。

### 例子 2：指标换算与预算

```python
import math

# 交叉熵（nats/token）换算成 bits per byte 与困惑度
ce_nats = 2.50          # 假设的验证交叉熵
bytes_per_token = 3.50  # 由 tokenizer 的 token_bytes 估计
bpb = ce_nats / (math.log(2) * bytes_per_token)
ppl = math.exp(ce_nats)
print(f"bpb={bpb:.4f} ppl={ppl:.2f}")

# 成本换算：8×H100 按 3 美元/GPU/小时，即 24 美元/小时
for hours in (1.65, 3.04, 2.00):
    print(f"{hours:.2f}h -> {hours * 24:.2f} USD")
```

输出：

```text
bpb=1.0305 ppl=12.18
1.65h -> 39.60 USD
3.04h -> 72.96 USD
2.00h -> 48.00 USD
```

第一行说明同一损失可以有两种读法：困惑度按 token 平均，bpb 按字节平均；后者在词表不同时仍可比。第二组说明预算与时间成正比：排行榜 Run 6 的 1.65 小时约 40 美元，Run 1 的 3.04 小时约 73 美元，README 取整的 2 小时约 48 美元。把这些数字记住，可以在决定是否重跑一次实验时快速判断成本。

### 例子 3：开跑前的检查命令

```bash
# 1) 依赖与设备：确认 PyTorch 可用、CUDA 可见
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
nvidia-smi --query-gpu=name,memory.total --format=csv
# 2) 数据目录与磁盘：默认 ~/.cache/nanochat
echo "$NANOCHAT_BASE_DIR"
df -h "$HOME"
# 3) 最小数据管线：下载 8 个 shard 并训练词表
python -m nanochat.dataset -n 8
python -m scripts.tok_train
```

上面的检查对应四类常见失败：依赖缺失会在导入时立刻报错；显存不足会在训练启动后 OOM，提前用 `nvidia-smi` 确认型号可以避免选错档位；磁盘不足会在下载中途失败；数据管线错误会在分词器训练时报错，此时尚未消耗 GPU 时间。`tok_train` 成功结束的标志是分词器文件写入 `NANOCHAT_BASE_DIR`，之后才值得启动预训练。

## 易错点

> [!warning] 可检验的错误
> - 跳过 02 阶段直接读 05 阶段。优化器分组、学习率缩放与 FLOPs 估算都依赖 02 的推导，跳过会在 `base_train.py` 的公式前停滞。
> - 在 24GB 卡上照抄 `--device-batch-size=16`。d24 在 80GB 上才用 16，24GB 上应按 2 至 4 起步，逐步试探到不 OOM；显存不足时先降微批，再降序列。
> - 在 SDPA 回退路径上开 `--window-pattern=SSSL`。`base_train.py` 会警告滑动窗口不受支持、利用率极差；非 Hopper 硬件应显式设为 `L`。
> - 用 1.65 小时给整条流水线做预算。排行榜时间只计预训练迭代，数据下载、分词器训练、SFT、评测与调试都要额外时间；预算应留出至少一倍余量。
> - 把「读完笔记」当作验收。验收标准写的是「能指出、能算出、能跑通」；只读不练，遇到真实报错仍然无法定位。
> - 在总纲与本库重复读同一主题。总纲读一遍原理即可，本库只读落地差异；重复读会挤占实验时间。
> - 认为单卡不能运行 nanochat。省略 `torchrun` 即可在单卡运行，代码自动切换梯度累积，结果近似相同，只是慢 8 倍。

## 关联笔记

- 前置：[[Karpathy与nanochat]] —— 项目定位、成本口径与单旋钮，是路线第 1 周的内容。
- 前置：[[LLM101n课程]] —— 原理骨架与章节映射，用于补 02 至 09 阶段的概念缺口。
- 后续：[[本地环境搭建]] —— 把本篇的硬件档位落到具体的安装步骤与依赖检查。
- 后续：[[跑通speedrun脚本]] —— 把第 6 周的验收落到完整的端到端执行与产物解释。
- 跨库：[[PyTorch实战入门]] —— 通用 PyTorch 用法见该篇，本篇只列 nanochat 需要的最小工程能力；另可参考 [[Transformer架构详解]] 补注意力基础。

## 达标检测

- [ ] 能在十分钟内完成六道自测题，并指出每题对应的前置笔记。
- [ ] 能为自己当前的硬件选择档位，写出对应的启动命令，并解释每条参数的理由。
- [ ] 能按 $6N$ 估算 d24 的训练 FLOPs，并按 24 美元/小时折算一次 speedrun 的成本。
- [ ] 能说明「读完」与「验收」的区别，并为一个阶段写出三条可观察的验收标准。
- [ ] 能解释 24GB 卡上为什么要先降微批而不是先降序列，以及 `--window-pattern=L` 的作用。
- [ ] 能运行本篇第二个代码块，把 `bytes_per_token` 改为 4.0 并解释 bpb 的变化方向。
- [ ] 能为自己的八周计划写出每周的产出物与失败预案（无 GPU、OOM、数据下载失败）。

## 参考来源

- Karpathy, *nanochat* README（commit 92d63d4），硬件说明、单卡运行、CPU 运行、成本与 Research 一节的 d12 命令 —— 对应本篇的硬件分级与路线验收。
- Karpathy, *nanochat* `runs/speedrun.sh`（commit 92d63d4），完整流程与各阶段命令 —— 对应第 6 至 8 周的验收命令。
- Karpathy, *nanochat* `runs/runcpu.sh`（commit 92d63d4），CPU 档位的深度、序列、批大小与步数 —— 对应 A 档配置。
- Karpathy, *nanochat* `dev/LEADERBOARD.md`（commit 92d63d4），时间口径、成本与提交规则 —— 对应预算换算与第 1 周的验收。
- Karpathy, *nn-zero-to-hero*，从 bigram 到 Transformer 的教学顺序 —— 对应前置知识与自测题的组织方式。
- *uv* 文档，虚拟环境与依赖同步 —— 对应工程基础中的环境安装与 `uv sync --extra gpu` 的用法。
