Karpathy与nanochat
定义
nanochat 是 Andrej Karpathy 于 2025 年 10 月公开发布、以 karpathy/nanochat 仓库为载体的端到端大语言模型(Large Language Model, LLM)训练工程:它在单个 GPU 节点上依次完成分词器训练、预训练、中段训练与有监督微调、强化学习、评测与推理对话,并以「在 8×H100 节点上用最短墙钟时间把模型训练到超过 GPT-2 的 CORE 分数」作为公开的优化目标。
定义中出现的术语:
- Andrej Karpathy:深度学习研究者与工程师,micrograd、nanoGPT、minBPE、nanochat、LLM101n 的作者。
- 端到端(end-to-end):从原始文本到可用对话模型的全部阶段都在同一代码库内实现,不依赖外部训练框架或外部对齐服务。
- token(词元):模型处理文本的最小单位,由分词器把文本切分并映射到词表得到。
- 预训练(pretraining):在大量文本上以「预测下一个 token」为目标训练基座模型(base model)的阶段。
- 中段训练(midtraining)与有监督微调(Supervised Fine-Tuning, SFT):在预训练之后用对话、多选与工具使用数据继续训练,使模型学会交互格式的阶段。
- 强化学习(Reinforcement Learning, RL):用可验证奖励(如数学答案是否正确)继续优化策略的阶段。
- 墙钟时间(wall-clock time):从训练开始到结束的真实时间,与总 FLOPs 不同;GPU 利用率不同,相同 FLOPs 可以对应不同墙钟时间。
- 浮点运算次数(floating point operations, FLOPs):衡量计算量的单位,一次乘加通常计为两次浮点运算。
- CORE:DCLM 论文提出、由 22 项评测任务的 centered accuracy 集成的指标;centered accuracy 指 的归一化差距,其中 为任务准确率、 为随机猜测基线,0 分等价于随机水平、1 分等价于满分。
- GPT-2:OpenAI 于 2019 年发布的 1.6B 参数语言模型;其 CORE 分数为 0.256525,是本项目「GPT-2 级」的判定门槛。
- 8×H100:8 张 H100 80GB 组成的单节点,是本库的参照硬件;按 3 美元/GPU/小时的常见价格,整节点约 24 美元/小时。
--depth:Transformer 的层数,是 nanochat 唯一的规模旋钮;其余超参数由它推导。- 计算最优(compute-optimal):在给定算力预算下使损失最小的模型参数量与训练 token 数配比;nanochat 用「数据:参数比」(data:param ratio)表达该配比。
- miniseries:按
--depth扫出的一族计算最优模型;当前runs/miniseries.sh覆盖 d12–d26,d8 只出现在 LOG 的超参数扫描中。 - 排行榜(leaderboard):记录「训练到 GPT-2 级所需墙钟时间」的公开榜单。
- 基准提交(baseline commit):
92d63d4(2026-07-03 的 master 快照);本库所有代码结论以该快照为准。
为什么重要
项目定位决定阅读方式。nanochat 不是通用训练框架:README 明确否认「可穷举配置的 LLM 框架」,声明代码中没有庞大的配置对象、模型工厂或层层分支,而是一个连贯、最小、可读、可改、可整体 fork 的强基线。因此读代码时应当寻找「一个文件承担一个阶段」,而不是寻找抽象层;把 nanochat 当作框架来读,会不断期待不存在的插件机制与配置系统。
成本差距是全书动机。2019 年 GPT-2 在 32 块 TPU v3 上训练 168 小时,按当时 8 美元/芯片/小时计约 43,000 美元;当前 8×H100 节点约 24 美元/小时,speedrun 约 1.5 至 2 小时,对应约 36 至 48 美元,抢占式实例更低至约 15 美元。接近三个数量级的差距不是单点突破,而是数据、架构、优化器、数值精度、注意力内核与评测方法共同作用的结果;按抢占式实例计算则超过三个数量级。本库的每个阶段都对应其中一项。
美元数字有两个口径需要区分。README 的 Cite 段仍把项目标题写作「100 美元能买到的最好的 ChatGPT」,对应 2025 年 10 月的 d20 版本;正文与排行榜的成本口径已更新为约 48 美元(8×H100 约 2 小时),抢占式约 15 美元。文件结构注释也仍写「约 100 美元的 d20」,同属历史残留。
单旋钮是全书主线。--depth 先决定模型宽度与头数,再经缩放律决定训练 token 数、批大小、学习率、权重衰减与迭代步数;因此 05 阶段的 speedrun、10 阶段的调参都回指本篇的推导。不理解这条推导链,就无法判断「把 d24 换成 d12」会同时改变哪些量。
在三种能力中的位置。本篇属于「懂原理」的地图层与「懂工程」的成本判断:读完应能解释项目为什么这样切分、成本由什么构成、以及为什么改一个整数就能得到一族模型;它不提供可运行的训练细节,那些内容在 05 与 10 阶段。
原理与推导
1. 技术脉络:四个仓库各隔离一个变量
Karpathy 的相关项目可以按「隔离的变量」排序,而不必按发布时间排序:
| 项目 | 隔离的对象 | 可核对的事实 | 对 nanochat 的作用 |
|---|---|---|---|
| micrograd | 梯度如何沿计算图反向传播 | 约 100 行自动微分引擎与约 50 行神经网络库,PyTorch 风格 API | 提供反向传播的最小实现心智模型,对应 02 阶段的数学基础 |
| minBPE | 文本如何切成 token | 字节对编码(Byte Pair Encoding, BPE)训练与合并的最小实现 | 提供分词器第一性实现;nanochat 用 rustbpe 训练、tiktoken 推理(03 阶段) |
| nanoGPT | 一次 GPT 预训练如何组织 | train.py 约 300 行训练循环、model.py 约 300 行 GPT;在 OpenWebText 上复现 GPT-2 124M,8×A100 约 4 天 | 提供最小预训练仓库的模板;nanochat 的名字来源于它 |
| nanochat | 上述环节如何接成可对话系统并以成本为目标优化 | 覆盖分词、预训练、SFT、RL、评测、推理与 CLI;8×H100 约 1.5 至 2 小时 | 本库主题 |
这条脉络的解释力在于每个仓库只改变一个变量。micrograd 把「求梯度」从框架中剥离,因此可以逐行读懂链式法则;minBPE 把「分词」从模型中剥离,因此可以看到合并规则如何决定词表;nanoGPT 把「预训练循环」压缩到两个文件,因此可以看到数据、前向、反向、优化与采样的最小闭环;nanochat 把四者集成,并增加后训练、评测与推理,因此复杂度来自集成而非单个算法。
README 的致谢写明了这层关系:名称 nanochat 来自早期项目 nanoGPT,而后者只覆盖预训练。这一句是理解两仓库边界的直接依据,下一篇《nanochat与nanoGPT的区别》将逐项展开。
2. 目标函数:CORE 而不是验证损失
nanochat 公开优化的不是验证损失,而是「训练到 GPT-2 级能力的时间」。判定门槛是 CORE 分数 0.256525,即 GPT-2 1.6B 检查点在 DCLM 评测集上的成绩;CORE 由 22 项任务(ARC、MMLU 等)的 centered accuracy 平均而成,每项先减去随机基线、再按剩余空间归一化,因此数值可以直接跨模型比较。
为什么不用验证损失作为主指标:
- 损失依赖词表与 tokenizer。同一个模型换一套分词器,交叉熵与困惑度会改变;bits per byte(bpb)除以字节数缓解了这一点,但仍受数据分布影响。
- 更换预训练数据后,历史 bpb 不再可比。
dev/LEADERBOARD.md在 Run 4 明确记录:数据从 FineWeb-EDU 换成 ClimbMix 后,该次运行的val_bpb不能与前三次直接比较。 - CORE 是任务正确率,衡量的是能力而不是压缩率;这正是「GPT-2 级」想要表达的含义。
CORE 的代价是噪声。同一配置的 Run 4 重复 7 次,CORE 依次为 0.25373、0.2584、0.25489、0.2568、0.25732、0.26765、0.25119,均值 0.25714,极差 0.01646;单次结果高于门槛不能证明改进有效。因此排行榜要求同时报告验证 bpb,并要求多次运行取均值。
墙钟时间的口径需要单独说明。total_training_time 只统计训练迭代本身,不含评测、日志、数据下载与 SFT;排行榜里的「1.65 小时」是预训练迭代时间,不是整条流水线的耗时。成本换算时必须区分这两个口径。
| 口径 | 时间 | 硬件与单价 | 成本 |
|---|---|---|---|
| GPT-2(2019) | 168 小时 | 32×TPU v3,8 美元/芯片/小时 | 43,008 美元 |
| 排行榜 Run 1(d24,ratio 12) | 3.04 小时 | 8×H100,3 美元/GPU/小时 | 约 73 美元 |
| 排行榜 Run 6(d24,ratio 8) | 1.65 小时 | 同上 | 约 40 美元 |
| README 口径 | 约 2 小时 | 同上 | 约 48 美元 |
| 抢占式实例 | 约 2 小时 | 低于按需价格 | 约 15 美元 |
后三行的美元数是按「小时数 × 8 × 3」的乘法结果,不含存储、数据下载与工程时间;抢占式一行为 README 给出的约数,不按该公式计算;43,008 美元来自 dev/LEADERBOARD.md 对 2019 年训练的历史说明。
3. 排行榜机制
排行榜的目标函数是「在 8×H100 上超过 GPT-2 的 CORE 分数所需墙钟时间」。提交规则可以归纳为四条:
- 最终 CORE 分数必须大于 0.256525。
- 报告
total_training_time(秒),即训练迭代时间;评测与日志时间不计入。 - 同时报告验证 bpb,因为 CORE 噪声较大,单一指标不足以判断改进。
- 提交 commit 短哈希,使结果可追溯到代码。
除数值门槛外还有质量约束:改动不能显著膨胀或晦涩化代码,并且必须能泛化到所有 --depth 设置,因为 nanochat 的目标不是单个模型,而是一族 miniseries 模型。这条约束意味着只在小深度上验证过的技巧不够,必须在多个深度上成立;代码膨胀与晦涩本身也会成为拒绝理由。
当前榜单(README 表格,提交 92d63d4):
| 记录 | 时间(小时) | val_bpb | CORE | 主要改动 | 日期 |
|---|---|---|---|---|---|
| GPT-2 | 168 | — | 0.2565 | 2019 年原始检查点 | 2019 |
| 1 | 3.04 | 0.74833 | 0.2585 | d24 基线,略微过训练 | 2026-01-29 |
| 2 | 2.91 | 0.74504 | 0.2578 | d26 略微欠训练,启用 FP8 | 2026-02-02 |
| 3 | 2.76 | 0.74645 | 0.2602 | 总批大小提高到 1M token | 2026-02-05 |
| 4 | 2.02 | 0.71854 | 0.2571 | 数据换成 NVIDIA ClimbMix | 2026-03-04 |
| 5 | 1.80 | 0.71808 | 0.2690 | autoresearch 第 1 轮 | 2026-03-09 |
| 6 | 1.65 | 0.71800 | 0.2626 | autoresearch 第 2 轮 | 2026-03-14 |
榜单的机制含义有两面。正面是反馈周期短:一次预训练实验约两小时、成本低于 100 美元,因此「提出改动、训练、比较 CORE」可以在一天内完成多轮,研究不再是少数机构的特权。负面是过拟合噪声:CORE 的单次极差可达 0.016,接近门槛的 6%,因此榜单前几名都采用多次运行取均值(Run 4 七次、Run 5 与 Run 6 各五次),并要求同时给出 bpb。
4. 一个旋钮:--depth 如何决定全部超参数
README 的设计声明是:所有其他超参数(宽度、头数、学习率修正、训练时长、权重衰减等)都按最优方式自动计算,用户只需表达「要多大的模型」。实现上这条声明被拆成六步确定性计算。
第一步,宽度与头数。设层数为 ,长宽比(aspect ratio)为 64,目标头维为 128,则
取整保证头维恰为 128,且能被 Flash Attention 3 使用。当前快照令键值头数等于查询头数,即配置上仍是多头注意力;分组查询注意力的代码路径保留,见 04 阶段。
第二步,缩放参数量。每层有 4 个注意力投影与 2 个 MLP 投影(4 倍扩张的升维与降维),故每层约 个矩阵参数;再加上词表投影:
代码并不用这条近似式,而是调用 GPT.num_scaling_params() 取 transformer_matrices 与 lm_head 之和;近似式忽略 ve_gate 等小项,误差在千分之一量级,足以手算。
第三步,训练 token 数。用数据:参数比 乘缩放参数量:
runs/speedrun.sh 取 ,即相对计算最优刻意欠训练,以便在更短时间内越过 GPT-2 门槛;scripts/base_train.py 当前的默认值为 12,而 dev/LEADERBOARD.md 仍写 10.5,dev/LOG.md 的 2026 年 1 月条目也把 10.5 记为默认值,属于文档滞后,以代码默认值为准。
第四步,总批大小。以 d12 的 token 为参考点,按 Power Lines 论文的 外推,并取最近的 2 的幂:
第五步,学习率。批大小变大时按平方根缩放:
AdamW 参数组再乘 ,把 d12 上调好的学习率迁移到其他宽度。
第六步,权重衰减与迭代步数。沿用 T_epoch 框架,令 保持不变,可解出
迭代步数为 ,前 40 步线性预热,最后 65% 的步数线性降温;Muon 动量在前 400 步从 0.85 升到 0.97,降温期回落到 0.90,权重衰减按余弦曲线衰减到零。
按上述公式、取 手算四个深度:
| 深度 | 头数 | 缩放参数量 | 训练 token | 总批大小 | 迭代步数 | |
|---|---|---|---|---|---|---|
| d12 | 768 | 6 | 约 110M | 约 0.88B | 1680 | |
| d20 | 1280 | 10 | 约 435M | 约 3.48B | 3320 | |
| d24 | 1536 | 12 | 约 730M | 约 5.84B | 5568 | |
| d26 | 1664 | 13 | 约 918M | 约 7.35B | 7007 |
这张表说明三件事。其一,矩阵参数量约按 增长:深度加倍、宽度同比加倍,因此每层矩阵参数与层数同时翻倍;加上只按宽度增长的词表投影后,d24 的总缩放参数量约为 d12 的 6.6 倍。其二,批大小只随 token 数缓慢增长(指数 0.383),d20 以上都落在 。其三,学习率与权重衰减不是独立超参数,而是深度的函数;想在 d12 上调参再迁移到 d26,必须按这两条幂律换算。
在 nanochat 中的落地
scripts/base_train.py的命令行参数(第 50 至 66 行)定义了旋钮与默认值:--depth默认 20、--aspect-ratio默认 64、--head-dim默认 128、--target-param-data-ratio默认 12、--device-batch-size默认 32。scripts/base_train.py的build_model_meta(第 129 至 143 行)实现第一步:先算base_dim = depth * aspect_ratio,再向上取整到head_dim的整数倍,最后令n_kv_head = num_heads。在 meta device 上构建模型,只确定形状与数据类型,不分配真实数据。- 同文件第 260 至 316 行实现第三至第五步:先由
num_scaling_params()得参数量,再算target_tokens、total_batch_size、batch_lr_scale与weight_decay_scaled,最后传给model.setup_optimizer。注释明确写出三个外部依据:Power Lines(批大小)、AdamW 的平方根缩放、T_epoch 框架(权重衰减)。 - 同文件第 359 至 386 行实现调度:
get_lr_multiplier做预热与线性降温,get_muon_momentum做动量预热与回落,get_weight_decay做余弦衰减。 runs/speedrun.sh第 67 行把旋钮固定为--depth=24 --target-param-data-ratio=8 --device-batch-size=16 --fp8。--device-batch-size=16是单卡微批,8 卡合计 262144 token,公式给出的总批为 1048576,因此梯度累积 4 次。nanochat/gpt.py的GPTConfig(第 28 至 39 行)给出默认值 d12、768 维、6 头;它只是可独立实例化的默认配置,正式训练由base_train.py按深度重写。- 去掉这条推导链会怎样:如果手动指定总批大小、学习率与权重衰减,不同深度的实验就不再共享同一坐标系,排行榜「改动需泛化到所有深度」的约束失效,miniseries 也不再是计算最优的一族模型。
关键直觉
机制性直觉
把
--depth理解为一维规模坐标,而不是「层数」这一个结构参数:它先确定宽度与头数,再由缩放律确定 token 预算、批大小、学习率、权重衰减与步数。于是改深度不是换一个模型,而是沿同一条幂律曲线移动采样点;排行榜上的每次改进,实质是改变曲线本身(数据、优化器、精度、结构),而不是在固定曲线上调某个点的超参数。与定义的对应关系是:缩放律定义曲线,depth 给出采样点,miniseries 是这些点的集合。
例子与代码
例子 1:读一条 speedrun 命令
runs/speedrun.sh 在 8×H100 上的核心命令如下:
# runs/speedrun.sh 第 67 行:d24 模型,ratio 8 表示相对计算最优欠训练
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
--depth=24 \
--target-param-data-ratio=8 \
--device-batch-size=16 \
--fp8 \
--run=$WANDB_RUN
逐项解释:
torchrun --standalone --nproc_per_node=8:单节点 8 进程的数据并行;脚本不调用 DDP 初始化,梯度同步在优化器内部完成(05 阶段)。--depth=24:24 层,宽度向上取整后为 1536,12 个头。--target-param-data-ratio=8:相对计算最优欠训练,用更少 token 更快越过门槛。--device-batch-size=16:d24 在 80GB 卡上放不下 32,减半后由梯度累积补回总批。--fp8:把满足尺寸条件的线性层换成 FP8 训练,需要 H100 及以上;A100 上应去掉。
按代码中的打印语句,启动后应先看到以下三行(数值由公式决定):
Auto-computed optimal batch size: 1,048,576 tokens
Scaling LRs by 1.4142 for batch size 1,048,576 (reference: 524,288)
Total batch size 1,048,576 => gradient accumulation steps: 4
三行分别对应第四步、第五步与梯度累积:批大小取 ,学习率乘以 ,单卡微批 16×2048×8 = 262144,恰好是总批的四分之一。
例子 2:用二十行代码复现单旋钮
下面的脚本复现第一步至第四步与步数计算,只依赖标准库;参数近似式忽略 ve_gate 等小项。
import math
def model_dim(depth, aspect_ratio=64, head_dim=128):
"""宽度:向上取整到 head_dim 的整数倍(对应 build_model_meta)。"""
return math.ceil(depth * aspect_ratio / head_dim) * head_dim
def scaling_params(depth, vocab=32768):
"""缩放参数量:每层 4 个注意力投影 + 8 个 MLP 投影,再加词表投影。"""
n = model_dim(depth)
return n, 12 * depth * n * n + n * vocab
def auto_batch(target_tokens, d_ref, b_ref=2**19):
"""Power Lines:B_opt 正比于 D^0.383,再取最近的 2 的幂。"""
return 2 ** round(math.log2(b_ref * (target_tokens / d_ref) ** 0.383))
ratio = 8 # speedrun.sh 使用的数据:参数比
_, p_ref = scaling_params(12)
d_ref = ratio * p_ref # d12 参考点的 token 预算
for depth in (12, 20, 24, 26):
n, p = scaling_params(depth)
target = ratio * p
batch = auto_batch(target, d_ref)
print(f"d{depth:2d} n_embd={n:4d} heads={n // 128:2d} "
f"params={p / 1e6:6.1f}M tokens={target / 1e9:4.2f}B "
f"batch={batch:7d} steps={target // batch:5d}")
输出:
d12 n_embd= 768 heads= 6 params= 110.1M tokens=0.88B batch= 524288 steps= 1680
d20 n_embd=1280 heads=10 params= 435.2M tokens=3.48B batch=1048576 steps= 3320
d24 n_embd=1536 heads=12 params= 729.8M tokens=5.84B batch=1048576 steps= 5568
d26 n_embd=1664 heads=13 params= 918.4M tokens=7.35B batch=1048576 steps= 7007
与真实代码的差异有三处,均不影响结论:真实代码用精确参数量而非 近似;total_batch_size 会先按 device_batch_size × max_seq_len × world_size 校验整除性;步数取整除后实际训练的 token 数可能略小于目标值。把 ratio 改为 12 会看到 token 数与步数变为 1.5 倍,而批大小不变(d12 仍为 ,其余仍为 ),这正是「批大小随规模缓慢增长」的直接体现。
易错点
可检验的错误
- 把 48 美元当成整条流水线的成本。README 的 48 美元对应约 2 小时节点时间,而排行榜的 1.65 小时只计预训练迭代;评测、SFT 与数据下载都不在这个口径内。
- 把 CORE 0.256525 与验证 bpb 混用。CORE 是 22 项任务的 centered accuracy 均值,bpb 是交叉熵按字节折算;两者量纲与含义都不同,不能互相换算或替代。
- 认为 d24 是固定的「GPT-2 等价深度」。README 的表述是 GPT-2 能力大致在 d24 到 d26 之间,取哪个深度取决于过训练或欠训练的程度;奇数深度还会让头维除法不整齐,官方不推荐。
- 认为
--depth只改变层数。它同时改变宽度、头数、参数量、token 预算、批大小、学习率与权重衰减;只改层数而固定其余超参数,会得到非计算最优的模型,排行榜不接受这种比较。- 把榜单上的单次数字当作可复现常数。Run 4 的七次重复极差为 0.01646,接近门槛的 6%;少于三次运行的比较不足以判断改进。
- 把
base_train.py的默认深度当作 speedrun 配置。默认值为 d20,speedrun 显式传--depth=24;README 也说明 GPT-2 能力在 d24 至 d26 之间。
关联笔记
- 后续:nanochat与nanoGPT的区别 —— 逐项对比两个仓库的覆盖范围,解释为什么只做预训练不够。
- 后续:LLM101n课程 —— 课程给出的原理骨架与 nanochat 的工程实现如何对应。
- 后续:学习路线与前置要求 —— 把本篇的定位转化为前置清单、八周路线与硬件分级。
- 后续:训练脚本与speedrun —— 本篇的单旋钮推导在 05 阶段展开为完整训练循环与调度器实现。
- 跨库:预训练-微调-对齐pipeline —— 通用原理见该篇,本篇只讲 nanochat 的定位、成本口径与旋钮设计。
达标检测
- [ ] 能不看笔记说出 micrograd、minBPE、nanoGPT、nanochat 各自隔离的变量,并解释为什么按抽象层次而不是发布时间排序。
- [ ] 能写出 2019 年 GPT-2 的训练成本算式(32 × 168 × 8),并说明当前 48 美元对应的时间口径与硬件口径。
- [ ] 能解释 CORE 的构造与噪声来源,并说明为什么排行榜要求同时报告 bpb。
- [ ] 能默写
model_dim = ceil(depth × 64 / 128) × 128,并算出 d12、d20、d24、d26 的宽度与头数。 - [ ] 能说明总批大小、学习率、权重衰减各自依赖哪个幂律,以及它们为什么都必须随深度变化。
- [ ] 能运行本篇第二个代码块,把
ratio改为 12 并解释输出中哪些量变了、哪些量没变。 - [ ] 能指出至少三处「文档与代码不一致」的例子并说明应以哪一方为准。
参考来源
- Karpathy, nanochat README(commit 92d63d4),开篇定位、48 美元成本、单旋钮设计与文件结构 —— 对应本篇定义、成本表与旋钮推导。
- Karpathy, nanochat
dev/LEADERBOARD.md(commit 92d63d4),Time-to-GPT-2 规则与 Run 1 至 Run 6 —— 对应排行榜机制、噪声与提交约束。 - Karpathy, nanochat
dev/LOG.md(commit 92d63d4),2026-02-05 Auto Batch Size Scaling 与 2026-01-27 条目中的缩放律分析 —— 对应批大小公式与 10.5 比值的历史来源。 - Karpathy, nanoGPT README(master),仓库定位、OpenWebText 复现与约 300 行的训练与模型文件 —— 对应技术脉络表中的 nanoGPT 一行。
- Karpathy, micrograd README(master),约 100 行自动微分引擎与约 50 行神经网络库 —— 对应技术脉络表中的 micrograd 一行。
- Radford et al., Language Models are Unsupervised Multitask Learners(GPT-2, OpenAI, 2019)—— 对应 1.6B 模型与 2019 年 43,000 美元的历史数字。