---
tags: [nanochat, background, 项目定位]
阶段: 01-背景与定位
难度: ★★☆
created: 2026-10-22
related: "[[00-MOC]], [[nanochat与nanoGPT的区别]], [[LLM101n课程]], [[学习路线与前置要求]]"
---

# Karpathy与nanochat

## 定义

**nanochat** 是 Andrej Karpathy 于 2025 年 10 月公开发布、以 `karpathy/nanochat` 仓库为载体的端到端大语言模型（Large Language Model, LLM）训练工程：它在单个 GPU 节点上依次完成分词器训练、预训练、中段训练与有监督微调、强化学习、评测与推理对话，并以「在 8×H100 节点上用最短墙钟时间把模型训练到超过 GPT-2 的 CORE 分数」作为公开的优化目标。

定义中出现的术语：

- Andrej Karpathy：深度学习研究者与工程师，micrograd、nanoGPT、minBPE、nanochat、LLM101n 的作者。
- 端到端（end-to-end）：从原始文本到可用对话模型的全部阶段都在同一代码库内实现，不依赖外部训练框架或外部对齐服务。
- token（词元）：模型处理文本的最小单位，由分词器把文本切分并映射到词表得到。
- 预训练（pretraining）：在大量文本上以「预测下一个 token」为目标训练基座模型（base model）的阶段。
- 中段训练（midtraining）与有监督微调（Supervised Fine-Tuning, SFT）：在预训练之后用对话、多选与工具使用数据继续训练，使模型学会交互格式的阶段。
- 强化学习（Reinforcement Learning, RL）：用可验证奖励（如数学答案是否正确）继续优化策略的阶段。
- 墙钟时间（wall-clock time）：从训练开始到结束的真实时间，与总 FLOPs 不同；GPU 利用率不同，相同 FLOPs 可以对应不同墙钟时间。
- 浮点运算次数（floating point operations, FLOPs）：衡量计算量的单位，一次乘加通常计为两次浮点运算。
- CORE：DCLM 论文提出、由 22 项评测任务的 centered accuracy 集成的指标；centered accuracy 指 $(a-b)/(1-b)$ 的归一化差距，其中 $a$ 为任务准确率、$b$ 为随机猜测基线，0 分等价于随机水平、1 分等价于满分。
- GPT-2：OpenAI 于 2019 年发布的 1.6B 参数语言模型；其 CORE 分数为 0.256525，是本项目「GPT-2 级」的判定门槛。
- 8×H100：8 张 H100 80GB 组成的单节点，是本库的参照硬件；按 3 美元/GPU/小时的常见价格，整节点约 24 美元/小时。
- `--depth`：Transformer 的层数，是 nanochat 唯一的规模旋钮；其余超参数由它推导。
- 计算最优（compute-optimal）：在给定算力预算下使损失最小的模型参数量与训练 token 数配比；nanochat 用「数据:参数比」（data:param ratio）表达该配比。
- miniseries：按 `--depth` 扫出的一族计算最优模型；当前 `runs/miniseries.sh` 覆盖 d12–d26，d8 只出现在 LOG 的超参数扫描中。
- 排行榜（leaderboard）：记录「训练到 GPT-2 级所需墙钟时间」的公开榜单。
- 基准提交（baseline commit）：`92d63d4`（2026-07-03 的 master 快照）；本库所有代码结论以该快照为准。

## 为什么重要

项目定位决定阅读方式。nanochat 不是通用训练框架：README 明确否认「可穷举配置的 LLM 框架」，声明代码中没有庞大的配置对象、模型工厂或层层分支，而是一个连贯、最小、可读、可改、可整体 fork 的强基线。因此读代码时应当寻找「一个文件承担一个阶段」，而不是寻找抽象层；把 nanochat 当作框架来读，会不断期待不存在的插件机制与配置系统。

成本差距是全书动机。2019 年 GPT-2 在 32 块 TPU v3 上训练 168 小时，按当时 8 美元/芯片/小时计约 43,000 美元；当前 8×H100 节点约 24 美元/小时，speedrun 约 1.5 至 2 小时，对应约 36 至 48 美元，抢占式实例更低至约 15 美元。接近三个数量级的差距不是单点突破，而是数据、架构、优化器、数值精度、注意力内核与评测方法共同作用的结果；按抢占式实例计算则超过三个数量级。本库的每个阶段都对应其中一项。

美元数字有两个口径需要区分。README 的 Cite 段仍把项目标题写作「100 美元能买到的最好的 ChatGPT」，对应 2025 年 10 月的 d20 版本；正文与排行榜的成本口径已更新为约 48 美元（8×H100 约 2 小时），抢占式约 15 美元。文件结构注释也仍写「约 100 美元的 d20」，同属历史残留。

单旋钮是全书主线。`--depth` 先决定模型宽度与头数，再经缩放律决定训练 token 数、批大小、学习率、权重衰减与迭代步数；因此 05 阶段的 speedrun、10 阶段的调参都回指本篇的推导。不理解这条推导链，就无法判断「把 d24 换成 d12」会同时改变哪些量。

在三种能力中的位置。本篇属于「懂原理」的地图层与「懂工程」的成本判断：读完应能解释项目为什么这样切分、成本由什么构成、以及为什么改一个整数就能得到一族模型；它不提供可运行的训练细节，那些内容在 05 与 10 阶段。

## 原理与推导

### 1. 技术脉络：四个仓库各隔离一个变量

Karpathy 的相关项目可以按「隔离的变量」排序，而不必按发布时间排序：

| 项目 | 隔离的对象 | 可核对的事实 | 对 nanochat 的作用 |
|---|---|---|---|
| micrograd | 梯度如何沿计算图反向传播 | 约 100 行自动微分引擎与约 50 行神经网络库，PyTorch 风格 API | 提供反向传播的最小实现心智模型，对应 02 阶段的数学基础 |
| minBPE | 文本如何切成 token | 字节对编码（Byte Pair Encoding, BPE）训练与合并的最小实现 | 提供分词器第一性实现；nanochat 用 `rustbpe` 训练、`tiktoken` 推理（03 阶段） |
| nanoGPT | 一次 GPT 预训练如何组织 | `train.py` 约 300 行训练循环、`model.py` 约 300 行 GPT；在 OpenWebText 上复现 GPT-2 124M，8×A100 约 4 天 | 提供最小预训练仓库的模板；nanochat 的名字来源于它 |
| nanochat | 上述环节如何接成可对话系统并以成本为目标优化 | 覆盖分词、预训练、SFT、RL、评测、推理与 CLI；8×H100 约 1.5 至 2 小时 | 本库主题 |

这条脉络的解释力在于每个仓库只改变一个变量。micrograd 把「求梯度」从框架中剥离，因此可以逐行读懂链式法则；minBPE 把「分词」从模型中剥离，因此可以看到合并规则如何决定词表；nanoGPT 把「预训练循环」压缩到两个文件，因此可以看到数据、前向、反向、优化与采样的最小闭环；nanochat 把四者集成，并增加后训练、评测与推理，因此复杂度来自集成而非单个算法。

README 的致谢写明了这层关系：名称 nanochat 来自早期项目 nanoGPT，而后者只覆盖预训练。这一句是理解两仓库边界的直接依据，下一篇《nanochat与nanoGPT的区别》将逐项展开。

### 2. 目标函数：CORE 而不是验证损失

nanochat 公开优化的不是验证损失，而是「训练到 GPT-2 级能力的时间」。判定门槛是 CORE 分数 0.256525，即 GPT-2 1.6B 检查点在 DCLM 评测集上的成绩；CORE 由 22 项任务（ARC、MMLU 等）的 centered accuracy 平均而成，每项先减去随机基线、再按剩余空间归一化，因此数值可以直接跨模型比较。

为什么不用验证损失作为主指标：

1. 损失依赖词表与 tokenizer。同一个模型换一套分词器，交叉熵与困惑度会改变；bits per byte（bpb）除以字节数缓解了这一点，但仍受数据分布影响。
2. 更换预训练数据后，历史 bpb 不再可比。`dev/LEADERBOARD.md` 在 Run 4 明确记录：数据从 FineWeb-EDU 换成 ClimbMix 后，该次运行的 `val_bpb` 不能与前三次直接比较。
3. CORE 是任务正确率，衡量的是能力而不是压缩率；这正是「GPT-2 级」想要表达的含义。

CORE 的代价是噪声。同一配置的 Run 4 重复 7 次，CORE 依次为 0.25373、0.2584、0.25489、0.2568、0.25732、0.26765、0.25119，均值 0.25714，极差 0.01646；单次结果高于门槛不能证明改进有效。因此排行榜要求同时报告验证 bpb，并要求多次运行取均值。

墙钟时间的口径需要单独说明。`total_training_time` 只统计训练迭代本身，不含评测、日志、数据下载与 SFT；排行榜里的「1.65 小时」是预训练迭代时间，不是整条流水线的耗时。成本换算时必须区分这两个口径。

| 口径 | 时间 | 硬件与单价 | 成本 |
|---|---|---|---|
| GPT-2（2019） | 168 小时 | 32×TPU v3，8 美元/芯片/小时 | 43,008 美元 |
| 排行榜 Run 1（d24，ratio 12） | 3.04 小时 | 8×H100，3 美元/GPU/小时 | 约 73 美元 |
| 排行榜 Run 6（d24，ratio 8） | 1.65 小时 | 同上 | 约 40 美元 |
| README 口径 | 约 2 小时 | 同上 | 约 48 美元 |
| 抢占式实例 | 约 2 小时 | 低于按需价格 | 约 15 美元 |

后三行的美元数是按「小时数 × 8 × 3」的乘法结果，不含存储、数据下载与工程时间；抢占式一行为 README 给出的约数，不按该公式计算；43,008 美元来自 `dev/LEADERBOARD.md` 对 2019 年训练的历史说明。

### 3. 排行榜机制

排行榜的目标函数是「在 8×H100 上超过 GPT-2 的 CORE 分数所需墙钟时间」。提交规则可以归纳为四条：

1. 最终 CORE 分数必须大于 0.256525。
2. 报告 `total_training_time`（秒），即训练迭代时间；评测与日志时间不计入。
3. 同时报告验证 bpb，因为 CORE 噪声较大，单一指标不足以判断改进。
4. 提交 commit 短哈希，使结果可追溯到代码。

除数值门槛外还有质量约束：改动不能显著膨胀或晦涩化代码，并且必须能泛化到所有 `--depth` 设置，因为 nanochat 的目标不是单个模型，而是一族 miniseries 模型。这条约束意味着只在小深度上验证过的技巧不够，必须在多个深度上成立；代码膨胀与晦涩本身也会成为拒绝理由。

当前榜单（README 表格，提交 `92d63d4`）：

| 记录 | 时间（小时） | val_bpb | CORE | 主要改动 | 日期 |
|---|---|---|---|---|---|
| GPT-2 | 168 | — | 0.2565 | 2019 年原始检查点 | 2019 |
| 1 | 3.04 | 0.74833 | 0.2585 | d24 基线，略微过训练 | 2026-01-29 |
| 2 | 2.91 | 0.74504 | 0.2578 | d26 略微欠训练，启用 FP8 | 2026-02-02 |
| 3 | 2.76 | 0.74645 | 0.2602 | 总批大小提高到 1M token | 2026-02-05 |
| 4 | 2.02 | 0.71854 | 0.2571 | 数据换成 NVIDIA ClimbMix | 2026-03-04 |
| 5 | 1.80 | 0.71808 | 0.2690 | autoresearch 第 1 轮 | 2026-03-09 |
| 6 | 1.65 | 0.71800 | 0.2626 | autoresearch 第 2 轮 | 2026-03-14 |

榜单的机制含义有两面。正面是反馈周期短：一次预训练实验约两小时、成本低于 100 美元，因此「提出改动、训练、比较 CORE」可以在一天内完成多轮，研究不再是少数机构的特权。负面是过拟合噪声：CORE 的单次极差可达 0.016，接近门槛的 6%，因此榜单前几名都采用多次运行取均值（Run 4 七次、Run 5 与 Run 6 各五次），并要求同时给出 bpb。

### 4. 一个旋钮：`--depth` 如何决定全部超参数

README 的设计声明是：所有其他超参数（宽度、头数、学习率修正、训练时长、权重衰减等）都按最优方式自动计算，用户只需表达「要多大的模型」。实现上这条声明被拆成六步确定性计算。

第一步，宽度与头数。设层数为 $d$，长宽比（aspect ratio）为 64，目标头维为 128，则

$$n_{\text{embd}} = \left\lceil \frac{d \cdot 64}{128} \right\rceil \cdot 128,\qquad n_{\text{head}} = \frac{n_{\text{embd}}}{128}$$

取整保证头维恰为 128，且能被 Flash Attention 3 使用。当前快照令键值头数等于查询头数，即配置上仍是多头注意力；分组查询注意力的代码路径保留，见 04 阶段。

第二步，缩放参数量。每层有 4 个注意力投影与 2 个 MLP 投影（4 倍扩张的升维与降维），故每层约 $12n_{\text{embd}}^2$ 个矩阵参数；再加上词表投影：

$$N_{\text{scale}} = 12\,d\,n_{\text{embd}}^2 + n_{\text{embd}}V,\qquad V = 32768$$

代码并不用这条近似式，而是调用 `GPT.num_scaling_params()` 取 `transformer_matrices` 与 `lm_head` 之和；近似式忽略 `ve_gate` 等小项，误差在千分之一量级，足以手算。

第三步，训练 token 数。用数据:参数比 $r$ 乘缩放参数量：

$$D = rN_{\text{scale}}$$

`runs/speedrun.sh` 取 $r=8$，即相对计算最优刻意欠训练，以便在更短时间内越过 GPT-2 门槛；`scripts/base_train.py` 当前的默认值为 12，而 `dev/LEADERBOARD.md` 仍写 10.5，`dev/LOG.md` 的 2026 年 1 月条目也把 10.5 记为默认值，属于文档滞后，以代码默认值为准。

第四步，总批大小。以 d12 的 $2^{19}$ token 为参考点，按 Power Lines 论文的 $B_{\text{opt}} \propto D^{0.383}$ 外推，并取最近的 2 的幂：

$$B = 2^{\operatorname{round}\left(\log_2\left(B_{\text{ref}}\,(D/D_{\text{ref}})^{0.383}\right)\right)},\qquad B_{\text{ref}} = 2^{19},\quad D_{\text{ref}} = rN_{\text{scale}}(d12)$$

第五步，学习率。批大小变大时按平方根缩放：

$$\eta = \eta_{\text{ref}}\sqrt{B/B_{\text{ref}}}$$

AdamW 参数组再乘 $(n_{\text{embd}}/768)^{-1/2}$，把 d12 上调好的学习率迁移到其他宽度。

第六步，权重衰减与迭代步数。沿用 T_epoch 框架，令 $T_{\text{epoch}} = B/(\eta\lambda D)$ 保持不变，可解出

$$\lambda = \lambda_{\text{ref}}\sqrt{B/B_{\text{ref}}}\cdot\frac{D_{\text{ref}}}{D}$$

迭代步数为 $D/B$，前 40 步线性预热，最后 65% 的步数线性降温；Muon 动量在前 400 步从 0.85 升到 0.97，降温期回落到 0.90，权重衰减按余弦曲线衰减到零。

按上述公式、取 $r=8$ 手算四个深度：

| 深度 | $n_{\text{embd}}$ | 头数 | 缩放参数量 | 训练 token | 总批大小 | 迭代步数 |
|---|---|---|---|---|---|---|
| d12 | 768 | 6 | 约 110M | 约 0.88B | $2^{19}$ | 1680 |
| d20 | 1280 | 10 | 约 435M | 约 3.48B | $2^{20}$ | 3320 |
| d24 | 1536 | 12 | 约 730M | 约 5.84B | $2^{20}$ | 5568 |
| d26 | 1664 | 13 | 约 918M | 约 7.35B | $2^{20}$ | 7007 |

这张表说明三件事。其一，矩阵参数量约按 $d^3$ 增长：深度加倍、宽度同比加倍，因此每层矩阵参数与层数同时翻倍；加上只按宽度增长的词表投影后，d24 的总缩放参数量约为 d12 的 6.6 倍。其二，批大小只随 token 数缓慢增长（指数 0.383），d20 以上都落在 $2^{20}$。其三，学习率与权重衰减不是独立超参数，而是深度的函数；想在 d12 上调参再迁移到 d26，必须按这两条幂律换算。

### 在 nanochat 中的落地

- `scripts/base_train.py` 的命令行参数（第 50 至 66 行）定义了旋钮与默认值：`--depth` 默认 20、`--aspect-ratio` 默认 64、`--head-dim` 默认 128、`--target-param-data-ratio` 默认 12、`--device-batch-size` 默认 32。
- `scripts/base_train.py` 的 `build_model_meta`（第 129 至 143 行）实现第一步：先算 `base_dim = depth * aspect_ratio`，再向上取整到 `head_dim` 的整数倍，最后令 `n_kv_head = num_heads`。在 meta device 上构建模型，只确定形状与数据类型，不分配真实数据。
- 同文件第 260 至 316 行实现第三至第五步：先由 `num_scaling_params()` 得参数量，再算 `target_tokens`、`total_batch_size`、`batch_lr_scale` 与 `weight_decay_scaled`，最后传给 `model.setup_optimizer`。注释明确写出三个外部依据：Power Lines（批大小）、AdamW 的平方根缩放、T_epoch 框架（权重衰减）。
- 同文件第 359 至 386 行实现调度：`get_lr_multiplier` 做预热与线性降温，`get_muon_momentum` 做动量预热与回落，`get_weight_decay` 做余弦衰减。
- `runs/speedrun.sh` 第 67 行把旋钮固定为 `--depth=24 --target-param-data-ratio=8 --device-batch-size=16 --fp8`。`--device-batch-size=16` 是单卡微批，8 卡合计 262144 token，公式给出的总批为 1048576，因此梯度累积 4 次。
- `nanochat/gpt.py` 的 `GPTConfig`（第 28 至 39 行）给出默认值 d12、768 维、6 头；它只是可独立实例化的默认配置，正式训练由 `base_train.py` 按深度重写。
- 去掉这条推导链会怎样：如果手动指定总批大小、学习率与权重衰减，不同深度的实验就不再共享同一坐标系，排行榜「改动需泛化到所有深度」的约束失效，miniseries 也不再是计算最优的一族模型。

## 关键直觉

> [!tip] 机制性直觉
> 把 `--depth` 理解为一维规模坐标，而不是「层数」这一个结构参数：它先确定宽度与头数，再由缩放律确定 token 预算、批大小、学习率、权重衰减与步数。于是改深度不是换一个模型，而是沿同一条幂律曲线移动采样点；排行榜上的每次改进，实质是改变曲线本身（数据、优化器、精度、结构），而不是在固定曲线上调某个点的超参数。与定义的对应关系是：缩放律定义曲线，depth 给出采样点，miniseries 是这些点的集合。

## 例子与代码

### 例子 1：读一条 speedrun 命令

`runs/speedrun.sh` 在 8×H100 上的核心命令如下：

```bash
# runs/speedrun.sh 第 67 行：d24 模型，ratio 8 表示相对计算最优欠训练
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
    --depth=24 \
    --target-param-data-ratio=8 \
    --device-batch-size=16 \
    --fp8 \
    --run=$WANDB_RUN
```

逐项解释：

- `torchrun --standalone --nproc_per_node=8`：单节点 8 进程的数据并行；脚本不调用 DDP 初始化，梯度同步在优化器内部完成（05 阶段）。
- `--depth=24`：24 层，宽度向上取整后为 1536，12 个头。
- `--target-param-data-ratio=8`：相对计算最优欠训练，用更少 token 更快越过门槛。
- `--device-batch-size=16`：d24 在 80GB 卡上放不下 32，减半后由梯度累积补回总批。
- `--fp8`：把满足尺寸条件的线性层换成 FP8 训练，需要 H100 及以上；A100 上应去掉。

按代码中的打印语句，启动后应先看到以下三行（数值由公式决定）：

```text
Auto-computed optimal batch size: 1,048,576 tokens
Scaling LRs by 1.4142 for batch size 1,048,576 (reference: 524,288)
Total batch size 1,048,576 => gradient accumulation steps: 4
```

三行分别对应第四步、第五步与梯度累积：批大小取 $2^{20}$，学习率乘以 $\sqrt{2}$，单卡微批 16×2048×8 = 262144，恰好是总批的四分之一。

### 例子 2：用二十行代码复现单旋钮

下面的脚本复现第一步至第四步与步数计算，只依赖标准库；参数近似式忽略 `ve_gate` 等小项。

```python
import math

def model_dim(depth, aspect_ratio=64, head_dim=128):
    """宽度：向上取整到 head_dim 的整数倍（对应 build_model_meta）。"""
    return math.ceil(depth * aspect_ratio / head_dim) * head_dim

def scaling_params(depth, vocab=32768):
    """缩放参数量：每层 4 个注意力投影 + 8 个 MLP 投影，再加词表投影。"""
    n = model_dim(depth)
    return n, 12 * depth * n * n + n * vocab

def auto_batch(target_tokens, d_ref, b_ref=2**19):
    """Power Lines：B_opt 正比于 D^0.383，再取最近的 2 的幂。"""
    return 2 ** round(math.log2(b_ref * (target_tokens / d_ref) ** 0.383))

ratio = 8  # speedrun.sh 使用的数据:参数比
_, p_ref = scaling_params(12)
d_ref = ratio * p_ref  # d12 参考点的 token 预算
for depth in (12, 20, 24, 26):
    n, p = scaling_params(depth)
    target = ratio * p
    batch = auto_batch(target, d_ref)
    print(f"d{depth:2d} n_embd={n:4d} heads={n // 128:2d} "
          f"params={p / 1e6:6.1f}M tokens={target / 1e9:4.2f}B "
          f"batch={batch:7d} steps={target // batch:5d}")
```

输出：

```text
d12 n_embd= 768 heads= 6 params= 110.1M tokens=0.88B batch= 524288 steps= 1680
d20 n_embd=1280 heads=10 params= 435.2M tokens=3.48B batch=1048576 steps= 3320
d24 n_embd=1536 heads=12 params= 729.8M tokens=5.84B batch=1048576 steps= 5568
d26 n_embd=1664 heads=13 params= 918.4M tokens=7.35B batch=1048576 steps= 7007
```

与真实代码的差异有三处，均不影响结论：真实代码用精确参数量而非 $12dn^2$ 近似；`total_batch_size` 会先按 `device_batch_size × max_seq_len × world_size` 校验整除性；步数取整除后实际训练的 token 数可能略小于目标值。把 `ratio` 改为 12 会看到 token 数与步数变为 1.5 倍，而批大小不变（d12 仍为 $2^{19}$，其余仍为 $2^{20}$），这正是「批大小随规模缓慢增长」的直接体现。

## 易错点

> [!warning] 可检验的错误
> - 把 48 美元当成整条流水线的成本。README 的 48 美元对应约 2 小时节点时间，而排行榜的 1.65 小时只计预训练迭代；评测、SFT 与数据下载都不在这个口径内。
> - 把 CORE 0.256525 与验证 bpb 混用。CORE 是 22 项任务的 centered accuracy 均值，bpb 是交叉熵按字节折算；两者量纲与含义都不同，不能互相换算或替代。
> - 认为 d24 是固定的「GPT-2 等价深度」。README 的表述是 GPT-2 能力大致在 d24 到 d26 之间，取哪个深度取决于过训练或欠训练的程度；奇数深度还会让头维除法不整齐，官方不推荐。
> - 认为 `--depth` 只改变层数。它同时改变宽度、头数、参数量、token 预算、批大小、学习率与权重衰减；只改层数而固定其余超参数，会得到非计算最优的模型，排行榜不接受这种比较。
> - 把榜单上的单次数字当作可复现常数。Run 4 的七次重复极差为 0.01646，接近门槛的 6%；少于三次运行的比较不足以判断改进。
> - 把 `base_train.py` 的默认深度当作 speedrun 配置。默认值为 d20，speedrun 显式传 `--depth=24`；README 也说明 GPT-2 能力在 d24 至 d26 之间。

## 关联笔记

- 后续：[[nanochat与nanoGPT的区别]] —— 逐项对比两个仓库的覆盖范围，解释为什么只做预训练不够。
- 后续：[[LLM101n课程]] —— 课程给出的原理骨架与 nanochat 的工程实现如何对应。
- 后续：[[学习路线与前置要求]] —— 把本篇的定位转化为前置清单、八周路线与硬件分级。
- 后续：[[训练脚本与speedrun]] —— 本篇的单旋钮推导在 05 阶段展开为完整训练循环与调度器实现。
- 跨库：[[预训练-微调-对齐pipeline]] —— 通用原理见该篇，本篇只讲 nanochat 的定位、成本口径与旋钮设计。

## 达标检测

- [ ] 能不看笔记说出 micrograd、minBPE、nanoGPT、nanochat 各自隔离的变量，并解释为什么按抽象层次而不是发布时间排序。
- [ ] 能写出 2019 年 GPT-2 的训练成本算式（32 × 168 × 8），并说明当前 48 美元对应的时间口径与硬件口径。
- [ ] 能解释 CORE 的构造与噪声来源，并说明为什么排行榜要求同时报告 bpb。
- [ ] 能默写 `model_dim = ceil(depth × 64 / 128) × 128`，并算出 d12、d20、d24、d26 的宽度与头数。
- [ ] 能说明总批大小、学习率、权重衰减各自依赖哪个幂律，以及它们为什么都必须随深度变化。
- [ ] 能运行本篇第二个代码块，把 `ratio` 改为 12 并解释输出中哪些量变了、哪些量没变。
- [ ] 能指出至少三处「文档与代码不一致」的例子并说明应以哪一方为准。

## 参考来源

- Karpathy, *nanochat* README（commit 92d63d4），开篇定位、48 美元成本、单旋钮设计与文件结构 —— 对应本篇定义、成本表与旋钮推导。
- Karpathy, *nanochat* `dev/LEADERBOARD.md`（commit 92d63d4），Time-to-GPT-2 规则与 Run 1 至 Run 6 —— 对应排行榜机制、噪声与提交约束。
- Karpathy, *nanochat* `dev/LOG.md`（commit 92d63d4），2026-02-05 Auto Batch Size Scaling 与 2026-01-27 条目中的缩放律分析 —— 对应批大小公式与 10.5 比值的历史来源。
- Karpathy, *nanoGPT* README（master），仓库定位、OpenWebText 复现与约 300 行的训练与模型文件 —— 对应技术脉络表中的 nanoGPT 一行。
- Karpathy, *micrograd* README（master），约 100 行自动微分引擎与约 50 行神经网络库 —— 对应技术脉络表中的 micrograd 一行。
- Radford et al., *Language Models are Unsupervised Multitask Learners*（GPT-2, OpenAI, 2019）—— 对应 1.6B 模型与 2019 年 43,000 美元的历史数字。
