w wyl123ly 的博客
MD

LLM101n课程

22 KB 2026.10.22 原文件

LLM101n课程

定义

LLM101n(全称 LLM101n: Let's build a Storyteller)是 Andrej Karpathy 设计的项目式课程:以构建一个能够创作、修改并配图的 Storyteller 语言模型为唯一贯穿目标,从 bigram 语言模型开始,经自动微分、注意力、Transformer、分词器、优化、系统、推理与微调,最终部署为类似 ChatGPT 的 Web 应用;课程仓库 README 给出 17 章大纲与附录主题。

定义中出现的术语:

  • Storyteller:课程设定的交付物,一个能创作、润色并配图短篇故事的语言模型应用。
  • token(词元):模型处理文本的最小单位;分词器把文本切成 token,模型只在 token 序列上计算。
  • 项目式课程(project-based course):每一章都向同一个可运行产物增加一个能力,而不是按学科分支组织专题。
  • bigram 语言模型(bigram language model):只根据前一个 token 预测下一个 token 的模型,用计数即可训练,是课程的第一个语言模型。
  • 字节对编码(Byte Pair Encoding, BPE):从字节开始,反复合并语料中最高频的相邻对以扩充词表的分词算法,课程第 06 章以 minBPE 为主题。
  • 自动微分(automatic differentiation):由计算图自动求出梯度的机制;课程第 02 章以约 100 行的 micrograd 为主题。
  • 大纲(syllabus):课程 README 中按章列出的主题清单,是本篇章节脉络的唯一依据。
  • Eureka Labs:课程 README 声明的开发方。
  • 版本说明:课程尚未发布,本章所述章节编号与主题以课程仓库当前版本为准;README 注明课程仍在开发、仓库处于归档状态,因此不得把本章当作可运行教程。

为什么重要

课程提供原理骨架。nanochat 的大多数阶段在课程大纲中都有对应章节:分词对应第 06 章,注意力与 Transformer 对应第 04 与第 05 章,优化对应第 07 章,推理缓存对应第 12 章,SFT 与 RL 对应第 14 与第 15 章。读 nanochat 的代码时若不清楚某个模块为什么存在,课程章节提供的是从最小前提出发的连续叙事,而仓库只提供最终实现。

课程顺序是概念依赖顺序,不是执行顺序。课程把分词器放在 Transformer 之后,是因为教学上先让读者理解模型结构,再处理文本表示;nanochat 必须先训练分词器才能产生训练张量。理解这两种排序的差别,可以避免把「课程第 14 章才讲 SFT」误读为「SFT 在工程上排在最后一步的后面」。

课程尚未发布,这一点必须写在前面。仓库 README 明确说明课程尚不存在、正在开发并已归档;因此本库只引用其公开大纲,不引用不存在的代码、作业或时间表。读者不应期待 clone 仓库后能运行课程代码。

在三种能力中的位置。本篇属于「懂原理」的背景层:它给出概念之间的依赖关系与章节地图,不提供可运行实现、不提供评测数字,也不替代 02 至 09 阶段的推导。课程负责解释每个模块为什么存在,nanochat 负责展示当前工程上如何实现与取舍。

原理与推导

1. 课程定位:一个交付物贯穿全部章节

课程 README 对目标的表述可以拆成四个约束。第一,交付物是 Storyteller:读者最终能创建、润色并配图短篇故事。第二,端到端:从基础概念一直做到可用的 Web 应用,而不是停在训练脚本。第三,从零实现:使用 Python、C 与 CUDA,不依赖高层训练框架完成核心逻辑。第四,最小计算机科学前置:README 声明只要求最少的计算机科学基础,并把数据类型、张量与编程语言列进附录作为待融入主题。

这四个约束决定了章节的组织方式。单一交付物使每章都必须回答「这一章给 Storyteller 增加了什么能力」;从零实现使每章都必须给出可运行的中间产物;最小前置使课程可以把语言、数据类型、张量等主题后置到附录,而不破坏主线。

代价也同样明显。从零实现意味着课程要花章节讲设备、精度与分布式这些系统主题(第 08 至第 10 章),而这些内容在 nanochat 中由 PyTorch 与现成内核承担;最小前置意味着推导密度预计低于本库 02 阶段(课程正文未发布,无法核对)。读者应把课程当作叙事骨架,把本库当作推导与实现手册。

2. 章节脉络:README 公开的 17 章

下表逐字对应课程仓库 README 的 syllabus,主题列保留原英文关键词以避免转述失真;右侧两列是本库的映射,不是课程内容。

章主题(README 关键词)与本库阶段的对应关键概念
01Bigram Language Model(language modeling)05 的最小语言模型基线计数、极大似然、交叉熵
02Micrograd(machine learning, backpropagation)02 的反向传播计算图、链式法则
03N-gram model(multi-layer perceptron, matmul, gelu)02 与 04 的前馈层矩阵乘、非线性激活
04Attention(attention, softmax, positional encoder)04 的自注意力与位置编码缩放点积、位置信息
05Transformer(transformer, residual, layernorm, GPT-2)04 的残差、归一化与模型类残差流、归一化、堆叠
06Tokenization(minBPE, byte pair encoding)03 的分词器字节对编码(BPE)合并、词表
07Optimization(initialization, optimization, AdamW)02 的梯度下降与 AdamW初始化、自适应步长
08Need for Speed I: Device(device, CPU, GPU)05 与 10 的硬件与吞吐设备、并行度
09Need for Speed II: Precision(mixed precision, fp16, bf16, fp8)04 的 FP8 混合精度数值格式、缩放
10Need for Speed III: Distributed(distributed optimization, DDP, ZeRO)05 的分布式与优化器分片数据并行、状态分片
11Datasets(datasets, data loading, synthetic data)05 的数据与加载器数据管线、合成数据
12Inference I: kv-cache(kv-cache)09 的 KV Cache缓存、prefill/decode
13Inference II: Quantization(quantization)本库未设专篇量化、精度换速度
14Finetuning I: SFT(SFT, PEFT, LoRA, chat)06 的 SFT指令微调、参数高效微调
15Finetuning II: RL(RL, RLHF, PPO, DPO)07 的强化学习策略梯度、偏好优化
16Deployment(API, web app)09 的部署与成本服务化、接口
17Multimodal(VQVAE, diffusion transformers)本库不覆盖视觉分词、扩散模型

附录列出的主题是「待融入主线的进一步内容」,包括汇编、C 与 Python 三种语言,整数、浮点与字符串(ASCII、Unicode、UTF-8)三种数据类型,张量的形状、视图、步长与连续性,PyTorch 与 JAX 两种框架,GPT 1 至 4、Llama(RoPE、RMSNorm、GQA)与 MoE 等架构,以及图像、音频、视频与 VQVAE、VQGAN、扩散模型。附录不是章节,不能当作正文进度。

从表里可以读出课程的两个偏向。其一是系统主题占比高:第 08 至第 10 章连续三章讲设备、精度与分布式,说明课程把「为什么训练慢」当作理解 LLM 的一部分。第 08 章以设备(CPU、GPU)为主题,第 09 章以混合精度为主题并列出 fp16、bf16 与 fp8,第 10 章以分布式优化为主题并列出 DDP 与 ZeRO;这三章对应 nanochat 中的 COMPUTE_DTYPE、fp8.py 与优化器内部的梯度同步,读者在 04 与 05 阶段会看到同样的主题以工程形式出现。

其二是后训练篇幅集中:第 14 与第 15 章连续讲 SFT 与 RL,且第 14 章包含 PEFT、LoRA 与 chat,覆盖范围比 nanochat 的实现更广。nanochat 只做全参数 SFT 与简化 GRPO,不含 LoRA 与 DPO,这一点在 06 与 07 阶段会再次出现。第 16 章把模型包装成 API 与 Web 应用,第 17 章引入 VQVAE 与扩散 Transformer;仓库的对应物是 scripts/chat_cli.py 与 scripts/infer_bench.py,没有 Web 应用,也没有多模态。

中间的三个章节常被低估。第 11 章讲数据管线与合成数据,对应 nanochat 的 nanochat/dataset.py 与 BOS 对齐加载器;第 12 章讲 KV Cache,对应 engine.py;第 13 章讲量化,nanochat 没有实现。数据与缓存两项在仓库中是性能关键,在课程中是概念章节,这种不对称说明课程的目标是理解,而仓库的目标是跑得快。

3. 课程与 nanochat 的关系:原理骨架与工程实现

维度LLM101nnanochat
目标理解并亲手构建一个 Storyteller 应用以最低成本训练出 GPT-2 级对话模型
组织原则概念依赖:先模型结构,后文本表示与系统数据与算力依赖:先词表,再预训练,再后训练
实现语言Python、C、CUDA,从零实现核心逻辑Python、PyTorch,复用现成内核与库
产物课程(当前未发布)可运行仓库与排行榜
评测大纲未给出评测体系CORE、bpb、ChatCORE 与推理基准
状态README 注明开发中并归档持续维护,有基准提交 92d63d4

两者不是替代关系。课程解释「每个模块为什么存在、最小实现长什么样」,nanochat 展示「在当前硬件与数据条件下,工程上如何取舍」。例如课程第 12 章以 KV Cache 为主题,而 nanochat 的 engine.py 还要处理 Flash Attention 的缓存布局、prefill 与 decode 的分支、以及工具调用的状态机;课程给机制,仓库给工程约束。

两者也有明显的范围差异。课程覆盖量化(第 13 章)与多模态(第 17 章),nanochat 都不涉及;课程包含 PEFT 与 LoRA(第 14 章)以及 PPO 与 DPO(第 15 章),nanochat 只做全参数 SFT 与简化的策略梯度方法。反过来,nanochat 有排行榜、成本目标、CORE 与 ChatCORE、工具沙箱与 CLI,这些课程大纲没有给出。读者应把两者的差集记下来,避免用课程大纲推断仓库能力。

4. 章节顺序与工程顺序的差异

课程把分词器放在第 06 章,即在注意力与 Transformer 之后。一种基于章节顺序的解释是教学排序:先让读者理解模型如何工作,再理解文本如何进入模型,可以避免把分词器当作黑盒;课程未公开设计说明,此处属于推断。工程上顺序相反:没有词表就无法把语料变成 token 张量,因此 nanochat 的流水线第一步是 tok_train.py。

类似的倒置还有三处:

  1. 优化在课程中是第 07 章,位于模型结构之后;在仓库中,优化器与模型同时构建,且学习率与权重衰减由深度推导,属于训练脚本的一部分。
  2. 分布式在课程中是第 10 章,位于数据集之前;在仓库中,分布式是优化器内部的通信策略,与单卡代码共用同一套参数分组。
  3. 部署在课程中是第 16 章,接近末尾;在仓库中,推理引擎与工具沙箱是独立模块,训练完成后即可使用,不必等到最后。

这些倒置不构成矛盾,而是两种排序目标的差异:课程按「理解依赖」排序,仓库按「数据与算力依赖」排序。本库的八周路线采用仓库顺序,因为目标是复现;遇到原理缺口时回跳课程对应章节。

5. 课程的已知边界与引用纪律

课程尚未发布,这带来三条引用纪律。

第一,只引用 README 明确写出的内容。本章的 17 章标题、附录主题、课程目标与开发方都来自课程仓库 README;课程正文、作业、代码与时间表均未公开,不能引用,也不能根据章节标题推断具体实现。

第二,章节编号不是稳定契约。课程仍在开发,章节顺序与标题可能调整;涉及具体章节时写明「以课程仓库当前版本为准」。本库八周路线不依赖章节编号,只依赖主题映射,因此课程调整不会破坏路线。

第三,区分「课程声称」与「课程实现」。README 说课程会用 Python、C 与 CUDA 从零实现,但当前没有可核对代码;本库只把这句话用作设计意图,不把它当作已实现的事实。同理,附录中列出的 JAX、MoE、多模态都只是待融入主题,不是课程正文。

在 nanochat 中的落地

课程章节在仓库中的对应位置可以精确到文件:

  • 第 01 章的 bigram 基线对应本库 05 阶段的最小语言模型与 scripts/base_eval.py 的 bpb 度量:先有可计算的目标,再谈改进。
  • 第 02 章的自动微分在 nanochat 中由 PyTorch 承担;读者需要理解的是 loss.backward() 之前的计算图,而不是自己实现引擎。
  • 第 06 章的分词对应 scripts/tok_train.py、scripts/tok_eval.py 与 nanochat/tokenizer.py;课程用 Python 实现 minBPE,仓库用 Rust 的 rustbpe 训练、tiktoken 推理。
  • 第 09 章的精度对应 nanochat/fp8.py 与 nanochat/common.py 的 COMPUTE_DTYPE;课程讲 fp16、bf16、fp8 的数值差异,仓库给出显式 dtype 管理与 FP8 线性层过滤条件。
  • 第 12 章的缓存对应 nanochat/engine.py 的 KVCache;课程只讲原理,仓库还包括工具调用状态机与批内缓存复制。
  • 第 14 与第 15 章对应 scripts/chat_sft.py 与 scripts/chat_rl.py;课程覆盖 LoRA、PPO、DPO,仓库都没有实现,这是范围差异而非遗漏。
  • 第 16 章的部署对应 scripts/chat_cli.py 与 scripts/infer_bench.py;仓库提供命令行与推理基准,没有课程设想的 Web 应用。

如果只读课程不读仓库,会缺少三样东西:可运行的端到端脚本、以 CORE 为目标的成本约束、以及当前快照的具体实现取舍。如果只读仓库不读课程,会缺少概念之间的连续叙事,容易把某个实现细节当作唯一正确解。

关键直觉

机制性直觉

课程按「人类理解的依赖」排序,仓库按「数据与算力的依赖」排序。同一概念在两处出现的位置不同,是排序目标的差异而不是内容冲突:课程先讲注意力再讲分词器,因为理解模型是主线;仓库必须先有分词器才能产生训练张量。与定义中「项目式课程」的对应关系是:项目式保证每章都有产物,但不保证产物顺序等于工程流水线顺序。

例子与代码

例子 1:第 01 章的 bigram 语言模型

课程从 bigram 开始,目的是在引入神经网络之前先建立「语言模型是一个条件概率分布」与「用交叉熵度量好坏」这两件事。下面的实现只用计数与加一平滑,可独立运行:

from collections import Counter
import math

corpus = "the cat sat on the mat . the cat ate the rat .".split()
unigram = Counter(corpus)
bigram = Counter(zip(corpus, corpus[1:]))
vocab = len(unigram)

def prob(w1, w2):
    """加一平滑的 bigram 条件概率:P(w2 | w1)。"""
    return (bigram[(w1, w2)] + 1) / (unigram[w1] + vocab)

logp = sum(math.log(prob(a, b)) for a, b in zip(corpus, corpus[1:]))
n = len(corpus) - 1
print(f"vocab={vocab} tokens={len(corpus)} ppl={math.exp(-logp / n):.3f}")

输出:

vocab=8 tokens=13 ppl=4.753

三个数值都可以手算复核:语料有 13 个 token、8 个不同 token、12 个 bigram。困惑度的定义是

其中 是预测次数,本例为 12; 是加一平滑后的条件概率。这个模型没有梯度、没有参数矩阵,训练就是计数;它的意义是给出语言建模的目标函数与评估方式,第 02 章才引入自动微分,第 03 章才引入可学习的 MLP。

把困惑度与 nanochat 的验证指标对照可以看出课程与仓库的差别:困惑度按 token 平均,换词表就会改变;仓库用 bpb 按字节平均,跨词表可比。课程大纲第 01 章只列 language modeling,并未列出 bpb 这类跨词表指标;bpb 的换算属于工程评测,见 08 阶段。

例子 2:第 06 章的分词器在仓库中的位置

# 训练词表:Rust 实现,词表大小 2**15 = 32768
python -m scripts.tok_train
# 评估压缩率与每 token 字节数
python -m scripts.tok_eval

课程第 06 章以 minBPE 为主题,要求读者理解 BPE 的合并过程,即「高频相邻字节对如何被合并成新 token」;仓库把同一算法交给 rustbpe 以提速,推理交给 tiktoken 的 Rust 实现。概念上两者一致:训练产出词表与合并规则,推理只做编码与解码。区别在工程:nanochat 还要定义 9 个特殊 token、把词表大小设为 32768、并让 token_bytes 用于 bpb 计算,这些都不在课程的最小实现里。

tok_eval 的输出包含压缩率与每 token 字节数,后者直接进入 bpb 的换算:把交叉熵(nats/token)除以 与每 token 字节数,得到 bits per byte。课程大纲没有给这个指标,但它是 nanochat 判断预训练是否进步的主要平滑指标。

例子 3:核对章节覆盖情况

课程 17 章与本库阶段的映射可以写成脚本,用来检查哪些章节在本库有对应笔记、哪些没有。这不是课程内容,而是学习计划的辅助工具:

from collections import Counter

# 键为课程章号,值为本库阶段;"未覆盖" 表示本库没有专篇
mapping = {
    1: "05", 2: "02", 3: "02/04", 4: "04", 5: "04",
    6: "03", 7: "02", 8: "05/10", 9: "04", 10: "05",
    11: "05", 12: "09", 13: "未覆盖", 14: "06", 15: "07",
    16: "09", 17: "未覆盖",
}
covered = {k: v for k, v in mapping.items() if v != "未覆盖"}
missing = sorted(set(mapping) - set(covered))
print(f"章节总数={len(mapping)} 本库覆盖={len(covered)} 未覆盖={missing}")
# 按主阶段统计:复合值取第一个阶段
print(dict(sorted(Counter(v.split("/")[0] for v in covered.values()).items())))

输出:

章节总数=17 本库覆盖=15 未覆盖=[13, 17]
{'02': 3, '03': 1, '04': 3, '05': 4, '06': 1, '07': 1, '09': 2}

两个未覆盖章节是第 13 章量化与第 17 章多模态,它们不在本库的八阶段范围内;其余 15 章都能在后续阶段找到落点。统计结果也反映了 nanochat 的重心:05 预训练与 04 架构各占三到四章,后训练与推理各占一到两章,与仓库的代码量分布一致。

易错点

可检验的错误

- 认为课程已经发布、可以 clone 后直接运行。课程仓库 README 明确注明课程尚未发布、正在开发并归档;本章只引用公开大纲。

- 把 17 章当作永久不变的最终版本。章节可能随开发调整,涉及细节时以课程仓库当前版本为准;本篇标注了来源与版本状态。

- 把课程章号当作本库阶段号。课程第 06 章是分词,本库 03 阶段是分词;课程第 14 章是 SFT,本库 06 阶段是 SFT。两套编号只是映射关系,不是同一套体系。

- 认为 nanochat 是课程代码。课程用 Python、C 与 CUDA 从零实现核心逻辑,nanochat 用 PyTorch 与现成内核;两者共享设计语言,不共享代码。

- 把附录主题当作正文进度。汇编、数据类型、张量布局、JAX、MoE、多模态都在附录中,不属于 17 章主线。

- 用课程大纲推断仓库能力。课程包含量化、LoRA、PPO、DPO 与多模态,nanochat 均未实现;反过来,排行榜、CORE 与工具沙箱也不在课程大纲中。

- 把课程第 01 章的 bigram 当作过时内容跳过。它建立的是语言建模目标与困惑度,后面所有章节都在改进同一个目标;跳过它会导致看不懂「为什么交叉熵下降代表模型变好」。

- 认为课程会给出现成的 nanochat 训练脚本。课程与仓库是两条独立的产品线,课程不提供仓库代码,仓库也不按课程章节组织。

关联笔记

  • 前置:Karpathy与nanochat —— 作者脉络与项目定位;课程是同一作者的教学线,仓库是工程线。
  • 对照:nanochat与nanoGPT的区别 —— 仓库边界;本篇补上课程这条第三支线。
  • 后续:学习路线与前置要求 —— 把课程章节映射到八周路线,并给出每阶段验收标准。
  • 跨库:Transformer架构详解 —— 通用原理见该篇,本篇只讲课程脉络与仓库分工。
  • 跨库:反向传播详解 —— 对应课程第 02 章的主题;本库不重复推导,只在 02 阶段引用。

达标检测

  • [ ] 能说出 LLM101n 的四个设计约束(单一交付物、端到端、从零实现、最小前置),并各举一个章节作为证据。
  • [ ] 能按顺序列出 17 章中与本库相关的至少 10 章,并写出对应的本库阶段。
  • [ ] 能解释课程为什么把分词器放在 Transformer 之后,而仓库必须先训练分词器。
  • [ ] 能指出课程覆盖但 nanochat 未实现的三项内容(量化、LoRA/PEFT、PPO/DPO 或多模态)。
  • [ ] 能运行本篇第一个代码块,把加一平滑改为无平滑并解释为什么会得到无穷大的困惑度。
  • [ ] 能运行本篇第三个代码块,解释为什么第 13 章与第 17 章在本库没有对应阶段,以及这是有意的范围限制还是遗漏。
  • [ ] 能说明课程当前的状态(未发布、开发中、归档)以及这对引用方式的影响。
  • [ ] 能指出课程与 nanochat 在「谁负责评测」上的差别:课程大纲未给评测体系,仓库以 CORE 与 ChatCORE 为准。

参考来源

  • Karpathy, LLM101n: Let's build a Storyteller(课程仓库 README,master)—— 对应课程定位、17 章 syllabus、附录主题与未发布状态;本章的章节编号与主题均取自该 README 的当前版本。该仓库是课程的一手来源,不在本库的通用来源池内,此处仅用于核对公开大纲。
  • Karpathy, micrograd README(master),约 100 行自动微分引擎与约 50 行神经网络库 —— 对应第 02 章主题与从零实现的规模。
  • Karpathy, nn-zero-to-hero —— 对应从 bigram 到 MLP、再到 Transformer 的教学顺序。
  • Karpathy, minBPE —— 对应第 06 章以 BPE 为最小分词实现的安排。
  • Karpathy, nanochat README(commit 92d63d4),文件结构、9 个特殊 token 与词表大小 —— 对应课程章节在仓库中的落地位置。