w wyl123ly 的博客
MD

Karpathy与nanochat

24 KB 2026.10.22 原文件

Karpathy与nanochat

定义

nanochat 是 Andrej Karpathy 于 2025 年 10 月公开发布、以 karpathy/nanochat 仓库为载体的端到端大语言模型(Large Language Model, LLM)训练工程:它在单个 GPU 节点上依次完成分词器训练、预训练、中段训练与有监督微调、强化学习、评测与推理对话,并以「在 8×H100 节点上用最短墙钟时间把模型训练到超过 GPT-2 的 CORE 分数」作为公开的优化目标。

定义中出现的术语:

  • Andrej Karpathy:深度学习研究者与工程师,micrograd、nanoGPT、minBPE、nanochat、LLM101n 的作者。
  • 端到端(end-to-end):从原始文本到可用对话模型的全部阶段都在同一代码库内实现,不依赖外部训练框架或外部对齐服务。
  • token(词元):模型处理文本的最小单位,由分词器把文本切分并映射到词表得到。
  • 预训练(pretraining):在大量文本上以「预测下一个 token」为目标训练基座模型(base model)的阶段。
  • 中段训练(midtraining)与有监督微调(Supervised Fine-Tuning, SFT):在预训练之后用对话、多选与工具使用数据继续训练,使模型学会交互格式的阶段。
  • 强化学习(Reinforcement Learning, RL):用可验证奖励(如数学答案是否正确)继续优化策略的阶段。
  • 墙钟时间(wall-clock time):从训练开始到结束的真实时间,与总 FLOPs 不同;GPU 利用率不同,相同 FLOPs 可以对应不同墙钟时间。
  • 浮点运算次数(floating point operations, FLOPs):衡量计算量的单位,一次乘加通常计为两次浮点运算。
  • CORE:DCLM 论文提出、由 22 项评测任务的 centered accuracy 集成的指标;centered accuracy 指 的归一化差距,其中 为任务准确率、 为随机猜测基线,0 分等价于随机水平、1 分等价于满分。
  • GPT-2:OpenAI 于 2019 年发布的 1.6B 参数语言模型;其 CORE 分数为 0.256525,是本项目「GPT-2 级」的判定门槛。
  • 8×H100:8 张 H100 80GB 组成的单节点,是本库的参照硬件;按 3 美元/GPU/小时的常见价格,整节点约 24 美元/小时。
  • --depth:Transformer 的层数,是 nanochat 唯一的规模旋钮;其余超参数由它推导。
  • 计算最优(compute-optimal):在给定算力预算下使损失最小的模型参数量与训练 token 数配比;nanochat 用「数据:参数比」(data:param ratio)表达该配比。
  • miniseries:按 --depth 扫出的一族计算最优模型;当前 runs/miniseries.sh 覆盖 d12–d26,d8 只出现在 LOG 的超参数扫描中。
  • 排行榜(leaderboard):记录「训练到 GPT-2 级所需墙钟时间」的公开榜单。
  • 基准提交(baseline commit):92d63d4(2026-07-03 的 master 快照);本库所有代码结论以该快照为准。

为什么重要

项目定位决定阅读方式。nanochat 不是通用训练框架:README 明确否认「可穷举配置的 LLM 框架」,声明代码中没有庞大的配置对象、模型工厂或层层分支,而是一个连贯、最小、可读、可改、可整体 fork 的强基线。因此读代码时应当寻找「一个文件承担一个阶段」,而不是寻找抽象层;把 nanochat 当作框架来读,会不断期待不存在的插件机制与配置系统。

成本差距是全书动机。2019 年 GPT-2 在 32 块 TPU v3 上训练 168 小时,按当时 8 美元/芯片/小时计约 43,000 美元;当前 8×H100 节点约 24 美元/小时,speedrun 约 1.5 至 2 小时,对应约 36 至 48 美元,抢占式实例更低至约 15 美元。接近三个数量级的差距不是单点突破,而是数据、架构、优化器、数值精度、注意力内核与评测方法共同作用的结果;按抢占式实例计算则超过三个数量级。本库的每个阶段都对应其中一项。

美元数字有两个口径需要区分。README 的 Cite 段仍把项目标题写作「100 美元能买到的最好的 ChatGPT」,对应 2025 年 10 月的 d20 版本;正文与排行榜的成本口径已更新为约 48 美元(8×H100 约 2 小时),抢占式约 15 美元。文件结构注释也仍写「约 100 美元的 d20」,同属历史残留。

单旋钮是全书主线。--depth 先决定模型宽度与头数,再经缩放律决定训练 token 数、批大小、学习率、权重衰减与迭代步数;因此 05 阶段的 speedrun、10 阶段的调参都回指本篇的推导。不理解这条推导链,就无法判断「把 d24 换成 d12」会同时改变哪些量。

在三种能力中的位置。本篇属于「懂原理」的地图层与「懂工程」的成本判断:读完应能解释项目为什么这样切分、成本由什么构成、以及为什么改一个整数就能得到一族模型;它不提供可运行的训练细节,那些内容在 05 与 10 阶段。

原理与推导

1. 技术脉络:四个仓库各隔离一个变量

Karpathy 的相关项目可以按「隔离的变量」排序,而不必按发布时间排序:

项目隔离的对象可核对的事实对 nanochat 的作用
micrograd梯度如何沿计算图反向传播约 100 行自动微分引擎与约 50 行神经网络库,PyTorch 风格 API提供反向传播的最小实现心智模型,对应 02 阶段的数学基础
minBPE文本如何切成 token字节对编码(Byte Pair Encoding, BPE)训练与合并的最小实现提供分词器第一性实现;nanochat 用 rustbpe 训练、tiktoken 推理(03 阶段)
nanoGPT一次 GPT 预训练如何组织train.py 约 300 行训练循环、model.py 约 300 行 GPT;在 OpenWebText 上复现 GPT-2 124M,8×A100 约 4 天提供最小预训练仓库的模板;nanochat 的名字来源于它
nanochat上述环节如何接成可对话系统并以成本为目标优化覆盖分词、预训练、SFT、RL、评测、推理与 CLI;8×H100 约 1.5 至 2 小时本库主题

这条脉络的解释力在于每个仓库只改变一个变量。micrograd 把「求梯度」从框架中剥离,因此可以逐行读懂链式法则;minBPE 把「分词」从模型中剥离,因此可以看到合并规则如何决定词表;nanoGPT 把「预训练循环」压缩到两个文件,因此可以看到数据、前向、反向、优化与采样的最小闭环;nanochat 把四者集成,并增加后训练、评测与推理,因此复杂度来自集成而非单个算法。

README 的致谢写明了这层关系:名称 nanochat 来自早期项目 nanoGPT,而后者只覆盖预训练。这一句是理解两仓库边界的直接依据,下一篇《nanochat与nanoGPT的区别》将逐项展开。

2. 目标函数:CORE 而不是验证损失

nanochat 公开优化的不是验证损失,而是「训练到 GPT-2 级能力的时间」。判定门槛是 CORE 分数 0.256525,即 GPT-2 1.6B 检查点在 DCLM 评测集上的成绩;CORE 由 22 项任务(ARC、MMLU 等)的 centered accuracy 平均而成,每项先减去随机基线、再按剩余空间归一化,因此数值可以直接跨模型比较。

为什么不用验证损失作为主指标:

  1. 损失依赖词表与 tokenizer。同一个模型换一套分词器,交叉熵与困惑度会改变;bits per byte(bpb)除以字节数缓解了这一点,但仍受数据分布影响。
  2. 更换预训练数据后,历史 bpb 不再可比。dev/LEADERBOARD.md 在 Run 4 明确记录:数据从 FineWeb-EDU 换成 ClimbMix 后,该次运行的 val_bpb 不能与前三次直接比较。
  3. CORE 是任务正确率,衡量的是能力而不是压缩率;这正是「GPT-2 级」想要表达的含义。

CORE 的代价是噪声。同一配置的 Run 4 重复 7 次,CORE 依次为 0.25373、0.2584、0.25489、0.2568、0.25732、0.26765、0.25119,均值 0.25714,极差 0.01646;单次结果高于门槛不能证明改进有效。因此排行榜要求同时报告验证 bpb,并要求多次运行取均值。

墙钟时间的口径需要单独说明。total_training_time 只统计训练迭代本身,不含评测、日志、数据下载与 SFT;排行榜里的「1.65 小时」是预训练迭代时间,不是整条流水线的耗时。成本换算时必须区分这两个口径。

口径时间硬件与单价成本
GPT-2(2019)168 小时32×TPU v3,8 美元/芯片/小时43,008 美元
排行榜 Run 1(d24,ratio 12)3.04 小时8×H100,3 美元/GPU/小时约 73 美元
排行榜 Run 6(d24,ratio 8)1.65 小时同上约 40 美元
README 口径约 2 小时同上约 48 美元
抢占式实例约 2 小时低于按需价格约 15 美元

后三行的美元数是按「小时数 × 8 × 3」的乘法结果,不含存储、数据下载与工程时间;抢占式一行为 README 给出的约数,不按该公式计算;43,008 美元来自 dev/LEADERBOARD.md 对 2019 年训练的历史说明。

3. 排行榜机制

排行榜的目标函数是「在 8×H100 上超过 GPT-2 的 CORE 分数所需墙钟时间」。提交规则可以归纳为四条:

  1. 最终 CORE 分数必须大于 0.256525。
  2. 报告 total_training_time(秒),即训练迭代时间;评测与日志时间不计入。
  3. 同时报告验证 bpb,因为 CORE 噪声较大,单一指标不足以判断改进。
  4. 提交 commit 短哈希,使结果可追溯到代码。

除数值门槛外还有质量约束:改动不能显著膨胀或晦涩化代码,并且必须能泛化到所有 --depth 设置,因为 nanochat 的目标不是单个模型,而是一族 miniseries 模型。这条约束意味着只在小深度上验证过的技巧不够,必须在多个深度上成立;代码膨胀与晦涩本身也会成为拒绝理由。

当前榜单(README 表格,提交 92d63d4):

记录时间(小时)val_bpbCORE主要改动日期
GPT-2168—0.25652019 年原始检查点2019
13.040.748330.2585d24 基线,略微过训练2026-01-29
22.910.745040.2578d26 略微欠训练,启用 FP82026-02-02
32.760.746450.2602总批大小提高到 1M token2026-02-05
42.020.718540.2571数据换成 NVIDIA ClimbMix2026-03-04
51.800.718080.2690autoresearch 第 1 轮2026-03-09
61.650.718000.2626autoresearch 第 2 轮2026-03-14

榜单的机制含义有两面。正面是反馈周期短:一次预训练实验约两小时、成本低于 100 美元,因此「提出改动、训练、比较 CORE」可以在一天内完成多轮,研究不再是少数机构的特权。负面是过拟合噪声:CORE 的单次极差可达 0.016,接近门槛的 6%,因此榜单前几名都采用多次运行取均值(Run 4 七次、Run 5 与 Run 6 各五次),并要求同时给出 bpb。

4. 一个旋钮:--depth 如何决定全部超参数

README 的设计声明是:所有其他超参数(宽度、头数、学习率修正、训练时长、权重衰减等)都按最优方式自动计算,用户只需表达「要多大的模型」。实现上这条声明被拆成六步确定性计算。

第一步,宽度与头数。设层数为 ,长宽比(aspect ratio)为 64,目标头维为 128,则

取整保证头维恰为 128,且能被 Flash Attention 3 使用。当前快照令键值头数等于查询头数,即配置上仍是多头注意力;分组查询注意力的代码路径保留,见 04 阶段。

第二步,缩放参数量。每层有 4 个注意力投影与 2 个 MLP 投影(4 倍扩张的升维与降维),故每层约 个矩阵参数;再加上词表投影:

代码并不用这条近似式,而是调用 GPT.num_scaling_params() 取 transformer_matrices 与 lm_head 之和;近似式忽略 ve_gate 等小项,误差在千分之一量级,足以手算。

第三步,训练 token 数。用数据:参数比 乘缩放参数量:

runs/speedrun.sh 取 ,即相对计算最优刻意欠训练,以便在更短时间内越过 GPT-2 门槛;scripts/base_train.py 当前的默认值为 12,而 dev/LEADERBOARD.md 仍写 10.5,dev/LOG.md 的 2026 年 1 月条目也把 10.5 记为默认值,属于文档滞后,以代码默认值为准。

第四步,总批大小。以 d12 的 token 为参考点,按 Power Lines 论文的 外推,并取最近的 2 的幂:

第五步,学习率。批大小变大时按平方根缩放:

AdamW 参数组再乘 ,把 d12 上调好的学习率迁移到其他宽度。

第六步,权重衰减与迭代步数。沿用 T_epoch 框架,令 保持不变,可解出

迭代步数为 ,前 40 步线性预热,最后 65% 的步数线性降温;Muon 动量在前 400 步从 0.85 升到 0.97,降温期回落到 0.90,权重衰减按余弦曲线衰减到零。

按上述公式、取 手算四个深度:

深度头数缩放参数量训练 token总批大小迭代步数
d127686约 110M约 0.88B1680
d20128010约 435M约 3.48B3320
d24153612约 730M约 5.84B5568
d26166413约 918M约 7.35B7007

这张表说明三件事。其一,矩阵参数量约按 增长:深度加倍、宽度同比加倍,因此每层矩阵参数与层数同时翻倍;加上只按宽度增长的词表投影后,d24 的总缩放参数量约为 d12 的 6.6 倍。其二,批大小只随 token 数缓慢增长(指数 0.383),d20 以上都落在 。其三,学习率与权重衰减不是独立超参数,而是深度的函数;想在 d12 上调参再迁移到 d26,必须按这两条幂律换算。

在 nanochat 中的落地

  • scripts/base_train.py 的命令行参数(第 50 至 66 行)定义了旋钮与默认值:--depth 默认 20、--aspect-ratio 默认 64、--head-dim 默认 128、--target-param-data-ratio 默认 12、--device-batch-size 默认 32。
  • scripts/base_train.py 的 build_model_meta(第 129 至 143 行)实现第一步:先算 base_dim = depth * aspect_ratio,再向上取整到 head_dim 的整数倍,最后令 n_kv_head = num_heads。在 meta device 上构建模型,只确定形状与数据类型,不分配真实数据。
  • 同文件第 260 至 316 行实现第三至第五步:先由 num_scaling_params() 得参数量,再算 target_tokens、total_batch_size、batch_lr_scale 与 weight_decay_scaled,最后传给 model.setup_optimizer。注释明确写出三个外部依据:Power Lines(批大小)、AdamW 的平方根缩放、T_epoch 框架(权重衰减)。
  • 同文件第 359 至 386 行实现调度:get_lr_multiplier 做预热与线性降温,get_muon_momentum 做动量预热与回落,get_weight_decay 做余弦衰减。
  • runs/speedrun.sh 第 67 行把旋钮固定为 --depth=24 --target-param-data-ratio=8 --device-batch-size=16 --fp8。--device-batch-size=16 是单卡微批,8 卡合计 262144 token,公式给出的总批为 1048576,因此梯度累积 4 次。
  • nanochat/gpt.py 的 GPTConfig(第 28 至 39 行)给出默认值 d12、768 维、6 头;它只是可独立实例化的默认配置,正式训练由 base_train.py 按深度重写。
  • 去掉这条推导链会怎样:如果手动指定总批大小、学习率与权重衰减,不同深度的实验就不再共享同一坐标系,排行榜「改动需泛化到所有深度」的约束失效,miniseries 也不再是计算最优的一族模型。

关键直觉

机制性直觉

把 --depth 理解为一维规模坐标,而不是「层数」这一个结构参数:它先确定宽度与头数,再由缩放律确定 token 预算、批大小、学习率、权重衰减与步数。于是改深度不是换一个模型,而是沿同一条幂律曲线移动采样点;排行榜上的每次改进,实质是改变曲线本身(数据、优化器、精度、结构),而不是在固定曲线上调某个点的超参数。与定义的对应关系是:缩放律定义曲线,depth 给出采样点,miniseries 是这些点的集合。

例子与代码

例子 1:读一条 speedrun 命令

runs/speedrun.sh 在 8×H100 上的核心命令如下:

# runs/speedrun.sh 第 67 行:d24 模型,ratio 8 表示相对计算最优欠训练
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
    --depth=24 \
    --target-param-data-ratio=8 \
    --device-batch-size=16 \
    --fp8 \
    --run=$WANDB_RUN

逐项解释:

  • torchrun --standalone --nproc_per_node=8:单节点 8 进程的数据并行;脚本不调用 DDP 初始化,梯度同步在优化器内部完成(05 阶段)。
  • --depth=24:24 层,宽度向上取整后为 1536,12 个头。
  • --target-param-data-ratio=8:相对计算最优欠训练,用更少 token 更快越过门槛。
  • --device-batch-size=16:d24 在 80GB 卡上放不下 32,减半后由梯度累积补回总批。
  • --fp8:把满足尺寸条件的线性层换成 FP8 训练,需要 H100 及以上;A100 上应去掉。

按代码中的打印语句,启动后应先看到以下三行(数值由公式决定):

Auto-computed optimal batch size: 1,048,576 tokens
Scaling LRs by 1.4142 for batch size 1,048,576 (reference: 524,288)
Total batch size 1,048,576 => gradient accumulation steps: 4

三行分别对应第四步、第五步与梯度累积:批大小取 ,学习率乘以 ,单卡微批 16×2048×8 = 262144,恰好是总批的四分之一。

例子 2:用二十行代码复现单旋钮

下面的脚本复现第一步至第四步与步数计算,只依赖标准库;参数近似式忽略 ve_gate 等小项。

import math

def model_dim(depth, aspect_ratio=64, head_dim=128):
    """宽度:向上取整到 head_dim 的整数倍(对应 build_model_meta)。"""
    return math.ceil(depth * aspect_ratio / head_dim) * head_dim

def scaling_params(depth, vocab=32768):
    """缩放参数量:每层 4 个注意力投影 + 8 个 MLP 投影,再加词表投影。"""
    n = model_dim(depth)
    return n, 12 * depth * n * n + n * vocab

def auto_batch(target_tokens, d_ref, b_ref=2**19):
    """Power Lines:B_opt 正比于 D^0.383,再取最近的 2 的幂。"""
    return 2 ** round(math.log2(b_ref * (target_tokens / d_ref) ** 0.383))

ratio = 8  # speedrun.sh 使用的数据:参数比
_, p_ref = scaling_params(12)
d_ref = ratio * p_ref  # d12 参考点的 token 预算
for depth in (12, 20, 24, 26):
    n, p = scaling_params(depth)
    target = ratio * p
    batch = auto_batch(target, d_ref)
    print(f"d{depth:2d} n_embd={n:4d} heads={n // 128:2d} "
          f"params={p / 1e6:6.1f}M tokens={target / 1e9:4.2f}B "
          f"batch={batch:7d} steps={target // batch:5d}")

输出:

d12 n_embd= 768 heads= 6 params= 110.1M tokens=0.88B batch= 524288 steps= 1680
d20 n_embd=1280 heads=10 params= 435.2M tokens=3.48B batch=1048576 steps= 3320
d24 n_embd=1536 heads=12 params= 729.8M tokens=5.84B batch=1048576 steps= 5568
d26 n_embd=1664 heads=13 params= 918.4M tokens=7.35B batch=1048576 steps= 7007

与真实代码的差异有三处,均不影响结论:真实代码用精确参数量而非 近似;total_batch_size 会先按 device_batch_size × max_seq_len × world_size 校验整除性;步数取整除后实际训练的 token 数可能略小于目标值。把 ratio 改为 12 会看到 token 数与步数变为 1.5 倍,而批大小不变(d12 仍为 ,其余仍为 ),这正是「批大小随规模缓慢增长」的直接体现。

易错点

可检验的错误

- 把 48 美元当成整条流水线的成本。README 的 48 美元对应约 2 小时节点时间,而排行榜的 1.65 小时只计预训练迭代;评测、SFT 与数据下载都不在这个口径内。

- 把 CORE 0.256525 与验证 bpb 混用。CORE 是 22 项任务的 centered accuracy 均值,bpb 是交叉熵按字节折算;两者量纲与含义都不同,不能互相换算或替代。

- 认为 d24 是固定的「GPT-2 等价深度」。README 的表述是 GPT-2 能力大致在 d24 到 d26 之间,取哪个深度取决于过训练或欠训练的程度;奇数深度还会让头维除法不整齐,官方不推荐。

- 认为 --depth 只改变层数。它同时改变宽度、头数、参数量、token 预算、批大小、学习率与权重衰减;只改层数而固定其余超参数,会得到非计算最优的模型,排行榜不接受这种比较。

- 把榜单上的单次数字当作可复现常数。Run 4 的七次重复极差为 0.01646,接近门槛的 6%;少于三次运行的比较不足以判断改进。

- 把 base_train.py 的默认深度当作 speedrun 配置。默认值为 d20,speedrun 显式传 --depth=24;README 也说明 GPT-2 能力在 d24 至 d26 之间。

关联笔记

  • 后续:nanochat与nanoGPT的区别 —— 逐项对比两个仓库的覆盖范围,解释为什么只做预训练不够。
  • 后续:LLM101n课程 —— 课程给出的原理骨架与 nanochat 的工程实现如何对应。
  • 后续:学习路线与前置要求 —— 把本篇的定位转化为前置清单、八周路线与硬件分级。
  • 后续:训练脚本与speedrun —— 本篇的单旋钮推导在 05 阶段展开为完整训练循环与调度器实现。
  • 跨库:预训练-微调-对齐pipeline —— 通用原理见该篇,本篇只讲 nanochat 的定位、成本口径与旋钮设计。

达标检测

  • [ ] 能不看笔记说出 micrograd、minBPE、nanoGPT、nanochat 各自隔离的变量,并解释为什么按抽象层次而不是发布时间排序。
  • [ ] 能写出 2019 年 GPT-2 的训练成本算式(32 × 168 × 8),并说明当前 48 美元对应的时间口径与硬件口径。
  • [ ] 能解释 CORE 的构造与噪声来源,并说明为什么排行榜要求同时报告 bpb。
  • [ ] 能默写 model_dim = ceil(depth × 64 / 128) × 128,并算出 d12、d20、d24、d26 的宽度与头数。
  • [ ] 能说明总批大小、学习率、权重衰减各自依赖哪个幂律,以及它们为什么都必须随深度变化。
  • [ ] 能运行本篇第二个代码块,把 ratio 改为 12 并解释输出中哪些量变了、哪些量没变。
  • [ ] 能指出至少三处「文档与代码不一致」的例子并说明应以哪一方为准。

参考来源

  • Karpathy, nanochat README(commit 92d63d4),开篇定位、48 美元成本、单旋钮设计与文件结构 —— 对应本篇定义、成本表与旋钮推导。
  • Karpathy, nanochat dev/LEADERBOARD.md(commit 92d63d4),Time-to-GPT-2 规则与 Run 1 至 Run 6 —— 对应排行榜机制、噪声与提交约束。
  • Karpathy, nanochat dev/LOG.md(commit 92d63d4),2026-02-05 Auto Batch Size Scaling 与 2026-01-27 条目中的缩放律分析 —— 对应批大小公式与 10.5 比值的历史来源。
  • Karpathy, nanoGPT README(master),仓库定位、OpenWebText 复现与约 300 行的训练与模型文件 —— 对应技术脉络表中的 nanoGPT 一行。
  • Karpathy, micrograd README(master),约 100 行自动微分引擎与约 50 行神经网络库 —— 对应技术脉络表中的 micrograd 一行。
  • Radford et al., Language Models are Unsupervised Multitask Learners(GPT-2, OpenAI, 2019)—— 对应 1.6B 模型与 2019 年 43,000 美元的历史数字。