nanochat与nanoGPT的区别
定义
nanoGPT 是只覆盖「预训练与采样」的最小 GPT 训练仓库:train.py 与 model.py 各约 300 行,在 OpenWebText 上复现 GPT-2 124M,使用现成的 GPT-2 BPE 词表与 tiktoken 分词,训练与文本微调共用同一个循环;它不训练分词器、不构造对话数据与损失掩码、不做强化学习、不提供任务评测与带缓存的推理引擎。
nanochat 是在同一设计语言下扩展到全流程的仓库:自训分词器、预训练基座模型、中段训练与有监督微调、强化学习、CORE 与 ChatCORE 评测、带键值缓存(KV Cache)的推理引擎与命令行对话。
定义中出现的术语:
- 基座模型(base model):只经过预训练下一个 token 目标的模型,能力是续写,不是对话。
- 分词器训练(tokenizer training):从语料学习合并规则并确定词表的过程,与模型训练相互独立。
- 后训练(post-training):预训练之后的所有训练阶段,包括中段训练、SFT 与 RL。
- 指令微调(instruction tuning):用「指令—回答」样本训练模型遵循格式的一类方法;nanochat 用带角色标记的对话数据实现。
- 偏好对齐(preference alignment):让模型输出符合人类偏好的训练;nanochat 的实现是简化 GRPO(组相对策略优化,Group Relative Policy Optimization)。
- CORE 与 ChatCORE:CORE 是 DCLM 的 22 项任务集成指标(GPT-2 门槛 0.256525),ChatCORE 是对话模型的 5 项任务集成指标。
- 推理引擎(inference engine):管理缓存、批处理与解码循环的推理代码;与「模型前向」不是同一件事。
- 键值缓存(Key-Value Cache, KV Cache):把每层注意力已算出的键与值保存下来,使解码每步只处理新 token 的缓存机制。
- 验证损失(validation loss)与 bits per byte(bpb):前者是每 token 的平均负对数似然,后者除以字节数,用于跨词表比较。
- 数据并行(Distributed Data Parallel, DDP):每个进程持有一份模型副本、切分数据并同步梯度的并行方式。
- 参数共享(weight tying):输入词嵌入与输出投影共用同一矩阵;nanochat 不共享,nanoGPT 的 GPT-2 复现默认共享。
- 词表大小(vocabulary size):可被编码的不同 token 数量;它决定输出投影的宽度与 softmax 的成本,也决定压缩率。
为什么重要
边界决定预期。nanoGPT 的经验是「改一个 config 文件,跑四天,用 sample.py 采样」;这套经验迁移到 nanochat 会立即失效,因为 nanochat 的入口是 runs/speedrun.sh、数据来自在线分词的 shard、评测是 CORE 而不是验证损失。把两者混为一谈,会低估后训练与推理工程的代码量,也会误解「为什么这个仓库有九个脚本」。
只做预训练在功能上不够。基座模型学到的是文本的条件概率结构,它在预训练语料里从未见过 <|user_start|>、<|assistant_start|> 这类角色标记,因此这些 token 的词嵌入在预训练结束时接近随机;模型能续写文章,但不能稳定地按「用户/助手」格式回答,更不会在需要计算时输出工具调用。SFT 提供的是格式与行为的稠密监督,RL 提供的是可验证奖励下的行为优化。
只做预训练在评测上也不够。验证损失衡量压缩率,不衡量任务正确率;GPT-2 级的判定用的是 CORE 的 22 项任务分数,对话能力用 ChatCORE 的 5 项任务分数。没有评测阶段,「训练是否变好」只能靠抽样观察,无法比较两个提交。
在三种能力中的位置。本篇属于「懂原理」的边界判断与「懂工程」的成本判断:读完应能说出每个环节缺失后的具体后果,并能解释为什么 nanochat 的训练时间比 nanoGPT 短而流程更长。后续 05 至 09 阶段逐项展开每个环节的实现。
原理与推导
1. 覆盖范围逐项对照
| 环节 | nanoGPT | nanochat | repo 证据 |
|---|---|---|---|
| 分词器 | 使用现成 GPT-2 BPE 词表,不训练;语料离线 tokenize 成 uint16 的 train.bin 与 val.bin | scripts/tok_train.py 用 rustbpe 训练 32768 词表,tiktoken 推理;9 个特殊 token | README 文件结构;nanochat/tokenizer.py |
| 预训练 | train.py 读 .bin,单文件训练循环 | scripts/base_train.py 读 ClimbMix parquet,BOS-aligned best-fit 数据加载 | nanochat/dataloader.py 文件头 |
| 中段训练与 SFT | 只有文本微调示例 config/finetune_shakespeare.py,本质是继续预训练,无角色标记与损失掩码 | scripts/chat_sft.py 混合 SmolTalk、MMLU、GSM8K,按掩码只监督助手侧 | scripts/chat_sft.py 第 28 至 31 行、第 64 至 66 行 |
| 强化学习 | 无 | scripts/chat_rl.py,用 GSM8K 奖励做简化 GRPO | README 文件结构 |
| 评测 | 训练与验证交叉熵;GPT-2 各尺寸的基线表 | CORE(22 项)、验证 bpb、ChatCORE(5 项)、infer_bench.py | scripts/base_eval.py、chat_eval.py |
| 推理 | sample.py 逐 token 朴素前向,无缓存 | nanochat/engine.py 的 KV Cache、prefill/decode 与工具状态机;scripts/chat_cli.py | nanochat/engine.py、execution.py |
| 环境与依赖 | pip install torch numpy transformers datasets tiktoken wandb tqdm | uv sync --extra gpu 或 --extra cpu,uv.lock 锁定 | README 安装段 |
| 规模控制 | 手写 n_layer、n_head、n_embd | 一个 --depth 推导全部超参数 | scripts/base_train.py |
这张表最重要的两行是「中段训练与 SFT」与「推理」。前者是 nanoGPT 与 nanochat 在方法上的分界:nanoGPT 的微调只是换数据集继续训练,nanochat 的 SFT 要构造角色标记、工具调用标记与损失掩码,还要混合多选与数学数据。后者是成本分界:朴素逐 token 前向在长上下文下重复计算前缀,交互式对话不可用。
另一个容易被忽略的差异是词表来源。nanoGPT 直接使用 GPT-2 的 50257 词表,因此与 OpenAI 权重兼容,可以用 --init_from 从 GPT-2 检查点继续训练;nanochat 自训 32768 词表,模型从随机初始化开始,与 GPT-2 权重不兼容,换来更小的输出投影与更低的 softmax 成本。这一选择决定了两个仓库「复现」的含义不同:nanoGPT 复现的是已发布检查点的训练配方,nanochat 复现的是从零到 GPT-2 能力的训练流程。
2. 为什么只做预训练不够
第一,角色标记在预训练中没有梯度。nanochat 的 9 个特殊 token 中只有 <|bos|> 出现在预训练文本里;<|user_start|> 到 <|output_end|> 只在 SFT 渲染对话时出现。词嵌入在初始化时是随机正态,预训练不会更新这些行,因此 SFT 之前模型对角色标记的条件分布没有依据。SFT 的第一批梯度主要就是在建立这套格式。
第二,监督的密度与形式不同。预训练对每个 token 都提供下一个 token 的监督,但格式信息稀疏:网页文本里没有「助手应该如何回答」的样本。SFT 数据量小得多(SmolTalk 约 460K 条对话),却把监督集中在回答、格式与工具调用上。nanochat/tokenizer.py 的 render_conversation 返回 ids 与同长度的 mask,掩码为 1 的位置才参与损失:用户消息、<|assistant_start|> 与工具输出都是 0,助手文本、工具调用标记与 <|assistant_end|> 是 1。工具输出不监督,因为推理时它由 Python 沙箱产生,不是模型该学的内容。
第三,工具调用需要数据改造。GSM8K 的答案里用 <<表达式=结果>> 标注计算,tasks/gsm8k.py 把这些片段拆成 python 与 python_output 两种部件,再渲染成 <|python_start|>、<|output_start|> 等标记。这套标注在预训练语料中不存在,只能由后训练数据构造。
把掩码写成公式更清楚。设第 个位置的监督指示为 ,模型参数为 ,则 SFT 的损失是只在被监督位置上平均的负对数似然:
分母只计被监督的 token 数,因此掩码不改变单个 token 的损失权重,只改变平均时的样本长度。实现上并不修改损失函数,而是把未监督位置的 target 置为 -1,交给交叉熵的 ignore_index 跳过;这与在损失里乘 等价。scripts/chat_sft.py 第 283 至 296 行做了两件事:先把 mask[1:] 与右移一位的 target 对齐,再把未监督位置与 padding 位置都置为 -1。少做任何一步都会把用户提示或填充 token 算进损失,模型会学会复述问题或生成空内容。
第四,评测不可替代。验证 bpb 只衡量压缩率;CORE 衡量 22 项任务上的 centered accuracy;ChatCORE 衡量对话模型在 5 项任务上的表现。没有这些分数,「这次改动是否有效」只能依赖抽样阅读,无法在提交之间比较。
第五,推理工程不可替代。朴素生成每产出一个 token 都要对整个前缀做一次前向,注意力计算量随生成长度按立方增长;KV Cache 把已计算的键值保存下来,使每步只处理一个新 token,总注意力计算量降为平方。没有引擎,模型即使训练正确也无法用于交互。
| 能力 | 预训练后是否具备 | 需要的阶段 |
|---|---|---|
| 续写文本、模仿语体 | 是 | 预训练 |
| 遵循用户/助手格式 | 否 | SFT 的角色标记与掩码 |
| 在需要时调用 Python 并读取输出 | 否 | SFT 的工具数据、推理引擎状态机、执行沙箱 |
| 数学题答案正确率 | 部分 | SFT 的 GSM8K 数据与 RL 的奖励优化 |
| 低延迟多轮对话 | 否 | KV Cache 与 prefill/decode |
| 可比较的能力分数 | 否 | CORE 与 ChatCORE |
两组数据的规模差异值得记住。d24 在数据:参数比 8 下的预训练预算约 5.84B token;SFT 的混合数据由约 460K 条 SmolTalk 对话、3 轮 MMLU(每轮 100K 样本)与 4 轮 GSM8K(每轮 8K 样本)组成,折算后的 token 数比预训练少一个数量级以上。后训练的算力占比很小,却决定了模型能否按格式回答与调用工具,这是「后训练便宜但不可省」的量化依据。
3. 从 modded-nanogpt 借鉴了什么:逐项核对
README 的致谢写了两句可核对的话:nanochat 受 modded-nanoGPT 启发,后者「用清晰的指标与排行榜把 nanoGPT 游戏化」,并且「借鉴了它的大量想法与一部分预训练实现」。二手总结常把这句总体致谢展开成一份清单,把 Muon、sliding window、FP8 与 BOS 数据加载器都归给 modded-nanogpt;逐条核对源码与实验日志后,结论需要修正。
| 项目 | 是否明确归因 | repo 证据 | 说明 |
|---|---|---|---|
| Muon 优化器 | 是 | nanochat/optim.py 文件头写明「Adapted from modded-nanogpt」,Muon 注释写明「adapted and simplified from modded-nanogpt」 | Polar Express 正交化、NorMuon 方差缩放与 cautious 权重衰减均按 modded-nanogpt 的做法引入,见 dev/LOG.md 2026-01-10 |
| 每层残差标量 | 是 | nanochat/gpt.py 第 178 行注释「inspired by modded-nanogpt」 | resid_lambdas 与 x0_lambdas 控制残差流与初始嵌入的逐层混合,见 dev/LOG.md 2026-01-11 |
| FP8 训练 | 部分 | dev/LOG.md 的 2026-02-02 条目回顾 2026 年 1 月的早期尝试时写明,只对 lm_head 做 FP8 是「following modded-nanogpt」;最终方案改用 torchao 的张量级缩放并自写 Float8Linear | 思路有借鉴,实现是本仓库自己的,且扩展到所有满足尺寸条件的线性层 |
| Sliding window | 否 | dev/LOG.md 2026-01-11 明确写「inspired by GPT-3's alternating short/long pattern」 | 默认模式 SSSL,最后一层强制全上下文;与 modded-nanogpt 无关 |
| BOS 对齐数据加载器 | 否 | dev/LOG.md 2026-01-13 把它记为 nanochat 自身对数据加载器的重构:best-fit 装箱、100% 利用率、T=2048 时约 35% token 被裁剪 | nanochat/dataloader.py 文件头未提 modded-nanogpt;对比对象是本仓库的旧版加载器 |
修正后的结论是:Muon 与每层残差标量有明确的逐项归因,FP8 属于思路借鉴加自主实现,sliding window 与 BOS 数据加载器不应归给 modded-nanogpt。README 的总体致谢成立,但不能替代逐项核对;dev/LOG.md 还记录了 2026-01-16 的「modded-nanogpt ideas sweep(多数为负结果)」,说明上游想法并非全部有效,迁移到 nanochat 需要重新验证。
核对方法本身也值得记录。证据强度从高到低是:源码文件头与注释中的直接引用、dev/LOG.md 的实验记录、README 的总体致谢。前两者能定位到具体机制,后者只能说明影响存在;当三者冲突时以源码为准,因为注释与日志会随代码一起演进。
4. 七个维度的对比
| 维度 | nanoGPT | nanochat |
|---|---|---|
| 数据 | OpenWebText,离线用 GPT-2 BPE tokenize 成 uint16 的 train.bin 与 val.bin | ClimbMix-400B,训练分片最大编号 6542(共 6543 个文件),GPT-2 级约需 150 个;在线分词,BOS 对齐 best-fit,100% 利用率 |
| 模型 | GPT-2 结构,124M 复现,可加载 OpenAI 权重;层数、头数、宽度手写 | 深度可调(本库关注 d12 至 d26);RoPE、QK norm、ReLU 平方、sliding window、value embedding、x0/resid、backout、logit softcap;词表补齐到 64 的倍数;lm_head 与词嵌入不共享 |
| 训练 | AdamW、DDP、torch.compile;8×A100 约 4 天,验证损失约 2.85 | MuonAdamW(矩阵参数用 Muon,其余用 AdamW),梯度同步在优化器内部完成;显式 dtype 管理,不用 autocast;可选 FP8;FA3 注意力;8×H100 约 1.5 至 2 小时 |
| 对齐 | 无;finetune_shakespeare.py 只是继续在文本上训练 | SFT(SmolTalk、MMLU、GSM8K,只监督助手侧)与 RL(chat_rl.py,GSM8K 奖励) |
| 推理 | sample.py 逐 token 前向,无缓存 | engine.py 的 KV Cache、prefill/decode、工具调用状态机;chat_cli.py 对话 |
| 评测 | 训练与验证交叉熵;GPT-2 四档尺寸的基线表 | CORE(22 项 centered accuracy)、验证 bpb、ChatCORE(5 项)、infer_bench.py 延迟与吞吐基准 |
| 成本 | 8×A100 约 4 天;README 未给出美元成本 | 8×H100 约 1.5 至 2 小时,约 48 美元;抢占式约 15 美元;2019 年 GPT-2 约 43,000 美元 |
对比的关键不在参数量。nanochat 的 d24 缩放参数量约 730M,仍小于 GPT-2 的 1.6B,却能达到 GPT-2 的 CORE 门槛,原因在数据质量、token 预算分配、优化器与架构细节,而不在模型更大。
时间缩短的来源可以对账。dev/LOG.md 的 2026-03-04 条目把预训练数据从 FineWeb-EDU 换成 ClimbMix 记为最大的单项改进:预训练时间从 2 小时 46 分降到 2 小时 1 分,约 27%。FP8 在能力对齐后的实测收益约 5%;总批大小从 0.5M 提高到 1M 又减少了优化步数;1.80 小时与 1.65 小时则分别来自两轮 autoresearch。把这些改动与 nanoGPT 的基线相比,时间差主要不来自「模型更小」或「卡更快」,而来自整条栈的累计优化。
5. 代码组织:复杂度来自数据类型
nanoGPT 的核心代码约 600 行,集中在 train.py 与 model.py 两个文件;nanochat 则拆成 14 个模块文件、9 个脚本与 6 个任务定义。代码量的增长不是算法变复杂,而是数据类型变多:预训练数据是连续 token 流,SFT 数据是带角色的对话,RL 数据是带奖励的对话,评测数据是任务样本。每种数据类型都需要自己的加载器、渲染器与损失口径,合并到一个文件会同时牺牲可读性与正确性。
| 文件或目录 | 承担的职责 | 为什么不能与相邻环节合并 |
|---|---|---|
nanochat/tokenizer.py | 词表、9 个特殊 token、对话渲染与掩码 | 预训练与 SFT 共用词表,但渲染只属于后训练 |
nanochat/dataloader.py | 预训练 BOS 对齐 best-fit 装箱 | 对话的打包规则不同,短对话按条装箱而非按文档裁剪 |
scripts/chat_sft.py | 对话打包、掩码、多数据源混合、热启动优化器 | 需要同时接触对话数据与预训练检查点 |
tasks/*.py | 任务样本、评分与奖励函数 | 训练与评测共用样本结构,但只有评测需要完整任务集 |
nanochat/engine.py | KV Cache、prefill/decode、工具状态机 | 训练循环不需要缓存,推理不需要梯度 |
scripts/base_eval.py 与 chat_eval.py | CORE 与 ChatCORE 两套指标 | 评测对象不同:基座模型与对话模型的输入输出格式不同 |
这张表也解释了为什么 nanochat 的阅读顺序不能按文件名排序:tokenizer.py 同时服务预训练与 SFT,engine.py 只在推理阶段使用,chat_sft.py 依赖前两个阶段的产物。按数据流阅读(词表、预训练、SFT、RL、评测、推理)比按目录阅读更有效。
代码量差异还有一个副作用:修改成本不同。nanoGPT 中改一个超参数只需动一个 config 文件,代价是实验之间不共享规模坐标系;nanochat 中改一个超参数往往触发一串联动(深度改变宽度,宽度改变参数量,参数量改变 token 预算与批大小),代价是任何改动都必须重新验证整条缩放律。前者适合学习单点机制,后者适合研究规模效应。
在 nanochat 中的落地
- 分词器:
scripts/tok_train.py训练词表,scripts/tok_eval.py报告压缩率;nanochat/tokenizer.py定义 9 个特殊 token 与render_conversation。 - 预训练:
scripts/base_train.py完成数据加载、模型构建、优化器、调度与评测钩子;nanochat/dataloader.py实现 BOS 对齐 best-fit。 - 中段训练与 SFT:当前快照没有独立的 midtraining 脚本;SFT 数据混合在
scripts/chat_sft.py中处理,--mmlu-epochs默认 3、--gsm8k-epochs默认 4,加 SmolTalk 组成混合数据。 - 强化学习:
scripts/chat_rl.py在 GSM8K 上采样、按答案精确匹配给奖励,做简化的 GRPO;它删掉了 KL 惩罚与 PPO 的比率裁剪,细节见 07 阶段。 - 评测:
scripts/base_eval.py算 CORE 与 bpb,scripts/chat_eval.py算 ChatCORE,scripts/infer_bench.py测延迟、吞吐与显存。 - 推理:
nanochat/engine.py管理 KV Cache 与工具调用状态机,nanochat/execution.py在子进程中执行 Python,scripts/chat_cli.py提供命令行对话。 - 缺失后果:没有
chat_sft.py,模型不会按格式回答;没有engine.py,长上下文对话的延迟不可接受;没有base_eval.py,无法判断预训练是否越过 GPT-2 门槛;没有tok_train.py,词表只能借用 GPT-2 的,压缩率与特殊 token 都不可控。
关键直觉
机制性直觉
预训练把「文本的统计结构」压入参数,后训练把「交互协议与可验证行为」压入同一个参数空间。前者以十亿级 token 计,后者以十万级对话计,后者的算力占比低一个数量级以上;但缺少后训练时,模型对角色标记的条件概率几乎没有依据,格式错误不是「概率略低」而是「没有学过」。与定义的对应关系是:nanoGPT 的边界止于第一个分布,nanochat 把训练延伸到第二个分布,并补上度量第二个分布的评测与承载它的推理引擎。
例子与代码
例子 1:nanoGPT 的完整流程只有三条命令
# 1) 下载 OpenWebText,并用 GPT-2 的 BPE 离线 tokenize 成 train.bin 与 val.bin
python data/openwebtext/prepare.py
# 2) 8 卡复现 GPT-2 124M,约 4 天,验证损失约 2.85
torchrun --standalone --nproc_per_node=8 train.py config/train_gpt2.py
# 3) 从检查点采样
python sample.py --out_dir=out
三条命令覆盖了 nanoGPT 的全部流程:数据准备、预训练、采样。没有训练分词器,没有构造对话,没有任务评测,也没有缓存推理。文本微调同样是训练:config/finetune_shakespeare.py 从 GPT-2 检查点初始化,用更小的学习率继续训练;它不理解「用户」与「助手」的角色。
例子 2:nanochat 的端到端序列
# 分词器:先下载 8 个 shard 供训练词表,再后台补到约 170 个供预训练
python -m nanochat.dataset -n 8
python -m scripts.tok_train
python -m scripts.tok_eval
# 预训练:d24,ratio 8,FP8,约 1.5 小时
torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- \
--depth=24 --target-param-data-ratio=8 --device-batch-size=16 --fp8
# 预训练评测:CORE、bpb 与样本
torchrun --standalone --nproc_per_node=8 -m scripts.base_eval -- --device-batch-size=16
# SFT 与对话评测
torchrun --standalone --nproc_per_node=8 -m scripts.chat_sft
torchrun --standalone --nproc_per_node=8 -m scripts.chat_eval -- -i sft
# 命令行对话
python -m scripts.chat_cli
预期输出按阶段分布:tok_eval 打印压缩率与每 token 字节数;base_eval 打印 CORE 与验证 bpb;chat_eval 打印 ChatCORE 与各任务分数;chat_cli 进入交互,按 <|user_start|> 等标记拼接对话。所有中间产物写入 NANOCHAT_BASE_DIR(默认 ~/.cache/nanochat):分词器文件、基座检查点与对话检查点分目录保存,因此重跑某个阶段不必重跑全部阶段。整条序列的耗时远大于预训练本身的 1.5 小时,因为下载、评测与 SFT 都要额外时间;README 的 48 美元对应约 2 小时节点时间,是粗略口径。
例子 3:SFT 掩码的结构
下面的脚本用字符串代替 token id,展示 render_conversation 的掩码结构;真实实现见 nanochat/tokenizer.py 第 140 至 224 行。
# 一轮对话的渲染结果:ids 与 mask 等长,mask=1 的位置参与损失
ids = ["<|bos|>", "<|user_start|>", "你好", "<|user_end|>",
"<|assistant_start|>", "你好,", "有什么可以帮你?", "<|assistant_end|>"]
mask = [0, 0, 0, 0,
0, 1, 1, 1]
supervised = [tok for tok, m in zip(ids, mask) if m == 1]
print(len(ids), len(mask))
print(supervised)
输出:
8 8
['你好,', '有什么可以帮你?', '<|assistant_end|>']
结构上有三点值得注意:用户侧全部为 0,<|assistant_start|> 为 0,<|assistant_end|> 为 1。第三点容易写错:如果结束标记不监督,模型学不会在回答结束时停止。工具调用的渲染同理,<|python_start|> 与 <|python_end|> 为 1,而 <|output_start|> 与 <|output_end|> 之间的沙箱输出为 0。
易错点
可检验的错误
- 认为 nanochat 等于「nanoGPT 加一个 SFT 脚本」。它还换了分词器训练、优化器与分布式同步方式、数据加载器、评测体系与推理引擎;SFT 只是新增阶段之一。
- 把
finetune_shakespeare.py当作 SFT。它没有角色标记、没有损失掩码、没有多轮对话,本质是继续预训练或领域适配。- 认为仓库里一定有一个
midtrain.py。当前快照没有独立的中段训练入口,相关数据混合在scripts/chat_sft.py中;dev/LOG.md的「midtraining」指该阶段的数据,而不是一个脚本。- 把 Muon、sliding window、FP8、BOS 数据加载器一律归给 modded-nanogpt。只有 Muon 与每层残差标量有明确逐项归因,FP8 是思路借鉴,sliding window 归因于 GPT-3 的交替窗口,BOS 数据加载器是本仓库自身的重构。
- 用验证损失比较两个词表不同的模型。词表不同时交叉熵不可比,应换算成 bpb,且仅在数据分布相同时比较。
- 认为预训练越久对话能力越强。格式与工具调用能力来自后训练数据;只加预训练只会改善续写与知识,不会自动产生角色格式。
- 把 CORE 与 ChatCORE 混用。前者评测基座模型的 22 项任务,后者评测对话模型的 5 项任务;同一分数在两个体系中没有可比性。
- 把「词表更小」当作纯收益。32768 词表降低输出投影与 softmax 成本,但压缩率通常低于 GPT-2 词表,同样文本会产生更多 token;净效果取决于语言分布与模型规模。
关联笔记
- 前置:Karpathy与nanochat —— 作者脉络、成本口径与单旋钮设计,是理解两仓库分工的前提。
- 后续:有监督微调SFT —— 本篇只说明 SFT 存在的必要性,掩码构造、数据混合与热启动优化器在 06 阶段展开。
- 后续:GRPO原理与实现 —— 本篇只说明 RL 是流程的最后一环,策略梯度与简化 GRPO 的取舍在 07 阶段展开。
- 后续:KV Cache原理 —— 本篇只指出推理引擎的必要性,缓存的显存公式与 prefill/decode 在 09 阶段展开。
- 对照:LLM101n课程 —— 课程按概念依赖组织,本篇按工程流水线组织;两篇合读可以看清同一套模块的两种排序。
- 跨库:从零实现小型GPT指南 —— 通用 GPT 实现见该篇,本篇只讲 nanochat 相对 nanoGPT 的扩展边界;另可对照 预训练-微调-对齐pipeline 理解三阶段划分。
达标检测
- [ ] 能不看笔记说出 nanoGPT 覆盖的三个环节(数据准备、预训练、采样)以及 nanochat 额外覆盖的五个环节。
- [ ] 能解释角色标记为什么在预训练中没有梯度,并说明 SFT 如何补上这部分监督。
- [ ] 能写出
render_conversation中至少四个位置的掩码值(用户消息、助手起始、助手文本、工具输出),并说明理由。 - [ ] 能逐项回答:Muon、sliding window、FP8、BOS 数据加载器是否归因于 modded-nanogpt,依据是哪一行注释或日志。
- [ ] 能为「数据、模型、训练、对齐、推理、评测、成本」七个维度各写出一句 nanoGPT 与 nanochat 的差异。
- [ ] 能运行本篇第三个代码块,把工具输出加入
ids与mask,验证mask为 0 时该片段不进入损失。 - [ ] 能说明没有推理引擎时,为什么长上下文对话的延迟不可接受(按每步重算前缀的复杂度分析)。
参考来源
- Karpathy, nanochat README(commit 92d63d4),定位、文件结构与致谢 —— 对应本篇的覆盖范围对照与 modded-nanogpt 总体致谢。
- Karpathy, nanochat
dev/LOG.md(commit 92d63d4),2026-01-10、2026-01-11、2026-01-13、2026-02-02 条目 —— 对应逐项归因表与 BOS 数据加载器的重构记录。 - Karpathy, nanochat
dev/LEADERBOARD.md(commit 92d63d4),Time-to-GPT-2 与提交规则 —— 对应成本与评测口径。 - Karpathy, nanoGPT README(master),三条命令的流程、OpenWebText 与 GPT-2 124M 复现、微调说明 —— 对应例子 1 与七维表中的 nanoGPT 一列。
- Karpathy, modded-nanogpt,排行榜式预训练优化与 Muon 的上游实现 —— 对应 Muon 归因与「借鉴了想法与部分实现」的说明。
- Brown et al., Language Models are Few-Shot Learners(GPT-3, 2020, arXiv:2005.14165)—— 对应 sliding window 交替短/长窗口模式的来源。