---
tags: [nanochat, background, 课程]
阶段: 01-背景与定位
难度: ★☆☆
created: 2026-10-22
related: "[[Karpathy与nanochat]], [[nanochat与nanoGPT的区别]], [[学习路线与前置要求]], [[MOC-背景与定位]]"
---

# LLM101n课程

## 定义

**LLM101n**（全称 `LLM101n: Let's build a Storyteller`）是 Andrej Karpathy 设计的项目式课程：以构建一个能够创作、修改并配图的 Storyteller 语言模型为唯一贯穿目标，从 bigram 语言模型开始，经自动微分、注意力、Transformer、分词器、优化、系统、推理与微调，最终部署为类似 ChatGPT 的 Web 应用；课程仓库 README 给出 17 章大纲与附录主题。

定义中出现的术语：

- Storyteller：课程设定的交付物，一个能创作、润色并配图短篇故事的语言模型应用。
- token（词元）：模型处理文本的最小单位；分词器把文本切成 token，模型只在 token 序列上计算。
- 项目式课程（project-based course）：每一章都向同一个可运行产物增加一个能力，而不是按学科分支组织专题。
- bigram 语言模型（bigram language model）：只根据前一个 token 预测下一个 token 的模型，用计数即可训练，是课程的第一个语言模型。
- 字节对编码（Byte Pair Encoding, BPE）：从字节开始，反复合并语料中最高频的相邻对以扩充词表的分词算法，课程第 06 章以 minBPE 为主题。
- 自动微分（automatic differentiation）：由计算图自动求出梯度的机制；课程第 02 章以约 100 行的 micrograd 为主题。
- 大纲（syllabus）：课程 README 中按章列出的主题清单，是本篇章节脉络的唯一依据。
- Eureka Labs：课程 README 声明的开发方。
- 版本说明：课程尚未发布，本章所述章节编号与主题以课程仓库当前版本为准；README 注明课程仍在开发、仓库处于归档状态，因此不得把本章当作可运行教程。

## 为什么重要

课程提供原理骨架。nanochat 的大多数阶段在课程大纲中都有对应章节：分词对应第 06 章，注意力与 Transformer 对应第 04 与第 05 章，优化对应第 07 章，推理缓存对应第 12 章，SFT 与 RL 对应第 14 与第 15 章。读 nanochat 的代码时若不清楚某个模块为什么存在，课程章节提供的是从最小前提出发的连续叙事，而仓库只提供最终实现。

课程顺序是概念依赖顺序，不是执行顺序。课程把分词器放在 Transformer 之后，是因为教学上先让读者理解模型结构，再处理文本表示；nanochat 必须先训练分词器才能产生训练张量。理解这两种排序的差别，可以避免把「课程第 14 章才讲 SFT」误读为「SFT 在工程上排在最后一步的后面」。

课程尚未发布，这一点必须写在前面。仓库 README 明确说明课程尚不存在、正在开发并已归档；因此本库只引用其公开大纲，不引用不存在的代码、作业或时间表。读者不应期待 clone 仓库后能运行课程代码。

在三种能力中的位置。本篇属于「懂原理」的背景层：它给出概念之间的依赖关系与章节地图，不提供可运行实现、不提供评测数字，也不替代 02 至 09 阶段的推导。课程负责解释每个模块为什么存在，nanochat 负责展示当前工程上如何实现与取舍。

## 原理与推导

### 1. 课程定位：一个交付物贯穿全部章节

课程 README 对目标的表述可以拆成四个约束。第一，交付物是 Storyteller：读者最终能创建、润色并配图短篇故事。第二，端到端：从基础概念一直做到可用的 Web 应用，而不是停在训练脚本。第三，从零实现：使用 Python、C 与 CUDA，不依赖高层训练框架完成核心逻辑。第四，最小计算机科学前置：README 声明只要求最少的计算机科学基础，并把数据类型、张量与编程语言列进附录作为待融入主题。

这四个约束决定了章节的组织方式。单一交付物使每章都必须回答「这一章给 Storyteller 增加了什么能力」；从零实现使每章都必须给出可运行的中间产物；最小前置使课程可以把语言、数据类型、张量等主题后置到附录，而不破坏主线。

代价也同样明显。从零实现意味着课程要花章节讲设备、精度与分布式这些系统主题（第 08 至第 10 章），而这些内容在 nanochat 中由 PyTorch 与现成内核承担；最小前置意味着推导密度预计低于本库 02 阶段（课程正文未发布，无法核对）。读者应把课程当作叙事骨架，把本库当作推导与实现手册。

### 2. 章节脉络：README 公开的 17 章

下表逐字对应课程仓库 README 的 syllabus，主题列保留原英文关键词以避免转述失真；右侧两列是本库的映射，不是课程内容。

| 章 | 主题（README 关键词） | 与本库阶段的对应 | 关键概念 |
|---|---|---|---|
| 01 | Bigram Language Model（language modeling） | 05 的最小语言模型基线 | 计数、极大似然、交叉熵 |
| 02 | Micrograd（machine learning, backpropagation） | 02 的反向传播 | 计算图、链式法则 |
| 03 | N-gram model（multi-layer perceptron, matmul, gelu） | 02 与 04 的前馈层 | 矩阵乘、非线性激活 |
| 04 | Attention（attention, softmax, positional encoder） | 04 的自注意力与位置编码 | 缩放点积、位置信息 |
| 05 | Transformer（transformer, residual, layernorm, GPT-2） | 04 的残差、归一化与模型类 | 残差流、归一化、堆叠 |
| 06 | Tokenization（minBPE, byte pair encoding） | 03 的分词器 | 字节对编码（BPE）合并、词表 |
| 07 | Optimization（initialization, optimization, AdamW） | 02 的梯度下降与 AdamW | 初始化、自适应步长 |
| 08 | Need for Speed I: Device（device, CPU, GPU） | 05 与 10 的硬件与吞吐 | 设备、并行度 |
| 09 | Need for Speed II: Precision（mixed precision, fp16, bf16, fp8） | 04 的 FP8 混合精度 | 数值格式、缩放 |
| 10 | Need for Speed III: Distributed（distributed optimization, DDP, ZeRO） | 05 的分布式与优化器分片 | 数据并行、状态分片 |
| 11 | Datasets（datasets, data loading, synthetic data） | 05 的数据与加载器 | 数据管线、合成数据 |
| 12 | Inference I: kv-cache（kv-cache） | 09 的 KV Cache | 缓存、prefill/decode |
| 13 | Inference II: Quantization（quantization） | 本库未设专篇 | 量化、精度换速度 |
| 14 | Finetuning I: SFT（SFT, PEFT, LoRA, chat） | 06 的 SFT | 指令微调、参数高效微调 |
| 15 | Finetuning II: RL（RL, RLHF, PPO, DPO） | 07 的强化学习 | 策略梯度、偏好优化 |
| 16 | Deployment（API, web app） | 09 的部署与成本 | 服务化、接口 |
| 17 | Multimodal（VQVAE, diffusion transformers） | 本库不覆盖 | 视觉分词、扩散模型 |

附录列出的主题是「待融入主线的进一步内容」，包括汇编、C 与 Python 三种语言，整数、浮点与字符串（ASCII、Unicode、UTF-8）三种数据类型，张量的形状、视图、步长与连续性，PyTorch 与 JAX 两种框架，GPT 1 至 4、Llama（RoPE、RMSNorm、GQA）与 MoE 等架构，以及图像、音频、视频与 VQVAE、VQGAN、扩散模型。附录不是章节，不能当作正文进度。

从表里可以读出课程的两个偏向。其一是系统主题占比高：第 08 至第 10 章连续三章讲设备、精度与分布式，说明课程把「为什么训练慢」当作理解 LLM 的一部分。第 08 章以设备（CPU、GPU）为主题，第 09 章以混合精度为主题并列出 fp16、bf16 与 fp8，第 10 章以分布式优化为主题并列出 DDP 与 ZeRO；这三章对应 nanochat 中的 `COMPUTE_DTYPE`、`fp8.py` 与优化器内部的梯度同步，读者在 04 与 05 阶段会看到同样的主题以工程形式出现。

其二是后训练篇幅集中：第 14 与第 15 章连续讲 SFT 与 RL，且第 14 章包含 PEFT、LoRA 与 chat，覆盖范围比 nanochat 的实现更广。nanochat 只做全参数 SFT 与简化 GRPO，不含 LoRA 与 DPO，这一点在 06 与 07 阶段会再次出现。第 16 章把模型包装成 API 与 Web 应用，第 17 章引入 VQVAE 与扩散 Transformer；仓库的对应物是 `scripts/chat_cli.py` 与 `scripts/infer_bench.py`，没有 Web 应用，也没有多模态。

中间的三个章节常被低估。第 11 章讲数据管线与合成数据，对应 nanochat 的 `nanochat/dataset.py` 与 BOS 对齐加载器；第 12 章讲 KV Cache，对应 `engine.py`；第 13 章讲量化，nanochat 没有实现。数据与缓存两项在仓库中是性能关键，在课程中是概念章节，这种不对称说明课程的目标是理解，而仓库的目标是跑得快。

### 3. 课程与 nanochat 的关系：原理骨架与工程实现

| 维度 | LLM101n | nanochat |
|---|---|---|
| 目标 | 理解并亲手构建一个 Storyteller 应用 | 以最低成本训练出 GPT-2 级对话模型 |
| 组织原则 | 概念依赖：先模型结构，后文本表示与系统 | 数据与算力依赖：先词表，再预训练，再后训练 |
| 实现语言 | Python、C、CUDA，从零实现核心逻辑 | Python、PyTorch，复用现成内核与库 |
| 产物 | 课程（当前未发布） | 可运行仓库与排行榜 |
| 评测 | 大纲未给出评测体系 | CORE、bpb、ChatCORE 与推理基准 |
| 状态 | README 注明开发中并归档 | 持续维护，有基准提交 `92d63d4` |

两者不是替代关系。课程解释「每个模块为什么存在、最小实现长什么样」，nanochat 展示「在当前硬件与数据条件下，工程上如何取舍」。例如课程第 12 章以 KV Cache 为主题，而 nanochat 的 `engine.py` 还要处理 Flash Attention 的缓存布局、prefill 与 decode 的分支、以及工具调用的状态机；课程给机制，仓库给工程约束。

两者也有明显的范围差异。课程覆盖量化（第 13 章）与多模态（第 17 章），nanochat 都不涉及；课程包含 PEFT 与 LoRA（第 14 章）以及 PPO 与 DPO（第 15 章），nanochat 只做全参数 SFT 与简化的策略梯度方法。反过来，nanochat 有排行榜、成本目标、CORE 与 ChatCORE、工具沙箱与 CLI，这些课程大纲没有给出。读者应把两者的差集记下来，避免用课程大纲推断仓库能力。

### 4. 章节顺序与工程顺序的差异

课程把分词器放在第 06 章，即在注意力与 Transformer 之后。一种基于章节顺序的解释是教学排序：先让读者理解模型如何工作，再理解文本如何进入模型，可以避免把分词器当作黑盒；课程未公开设计说明，此处属于推断。工程上顺序相反：没有词表就无法把语料变成 token 张量，因此 nanochat 的流水线第一步是 `tok_train.py`。

类似的倒置还有三处：

1. 优化在课程中是第 07 章，位于模型结构之后；在仓库中，优化器与模型同时构建，且学习率与权重衰减由深度推导，属于训练脚本的一部分。
2. 分布式在课程中是第 10 章，位于数据集之前；在仓库中，分布式是优化器内部的通信策略，与单卡代码共用同一套参数分组。
3. 部署在课程中是第 16 章，接近末尾；在仓库中，推理引擎与工具沙箱是独立模块，训练完成后即可使用，不必等到最后。

这些倒置不构成矛盾，而是两种排序目标的差异：课程按「理解依赖」排序，仓库按「数据与算力依赖」排序。本库的八周路线采用仓库顺序，因为目标是复现；遇到原理缺口时回跳课程对应章节。

### 5. 课程的已知边界与引用纪律

课程尚未发布，这带来三条引用纪律。

第一，只引用 README 明确写出的内容。本章的 17 章标题、附录主题、课程目标与开发方都来自课程仓库 README；课程正文、作业、代码与时间表均未公开，不能引用，也不能根据章节标题推断具体实现。

第二，章节编号不是稳定契约。课程仍在开发，章节顺序与标题可能调整；涉及具体章节时写明「以课程仓库当前版本为准」。本库八周路线不依赖章节编号，只依赖主题映射，因此课程调整不会破坏路线。

第三，区分「课程声称」与「课程实现」。README 说课程会用 Python、C 与 CUDA 从零实现，但当前没有可核对代码；本库只把这句话用作设计意图，不把它当作已实现的事实。同理，附录中列出的 JAX、MoE、多模态都只是待融入主题，不是课程正文。

### 在 nanochat 中的落地

课程章节在仓库中的对应位置可以精确到文件：

- 第 01 章的 bigram 基线对应本库 05 阶段的最小语言模型与 `scripts/base_eval.py` 的 bpb 度量：先有可计算的目标，再谈改进。
- 第 02 章的自动微分在 nanochat 中由 PyTorch 承担；读者需要理解的是 `loss.backward()` 之前的计算图，而不是自己实现引擎。
- 第 06 章的分词对应 `scripts/tok_train.py`、`scripts/tok_eval.py` 与 `nanochat/tokenizer.py`；课程用 Python 实现 minBPE，仓库用 Rust 的 `rustbpe` 训练、`tiktoken` 推理。
- 第 09 章的精度对应 `nanochat/fp8.py` 与 `nanochat/common.py` 的 `COMPUTE_DTYPE`；课程讲 fp16、bf16、fp8 的数值差异，仓库给出显式 dtype 管理与 FP8 线性层过滤条件。
- 第 12 章的缓存对应 `nanochat/engine.py` 的 `KVCache`；课程只讲原理，仓库还包括工具调用状态机与批内缓存复制。
- 第 14 与第 15 章对应 `scripts/chat_sft.py` 与 `scripts/chat_rl.py`；课程覆盖 LoRA、PPO、DPO，仓库都没有实现，这是范围差异而非遗漏。
- 第 16 章的部署对应 `scripts/chat_cli.py` 与 `scripts/infer_bench.py`；仓库提供命令行与推理基准，没有课程设想的 Web 应用。

如果只读课程不读仓库，会缺少三样东西：可运行的端到端脚本、以 CORE 为目标的成本约束、以及当前快照的具体实现取舍。如果只读仓库不读课程，会缺少概念之间的连续叙事，容易把某个实现细节当作唯一正确解。

## 关键直觉

> [!tip] 机制性直觉
> 课程按「人类理解的依赖」排序，仓库按「数据与算力的依赖」排序。同一概念在两处出现的位置不同，是排序目标的差异而不是内容冲突：课程先讲注意力再讲分词器，因为理解模型是主线；仓库必须先有分词器才能产生训练张量。与定义中「项目式课程」的对应关系是：项目式保证每章都有产物，但不保证产物顺序等于工程流水线顺序。

## 例子与代码

### 例子 1：第 01 章的 bigram 语言模型

课程从 bigram 开始，目的是在引入神经网络之前先建立「语言模型是一个条件概率分布」与「用交叉熵度量好坏」这两件事。下面的实现只用计数与加一平滑，可独立运行：

```python
from collections import Counter
import math

corpus = "the cat sat on the mat . the cat ate the rat .".split()
unigram = Counter(corpus)
bigram = Counter(zip(corpus, corpus[1:]))
vocab = len(unigram)

def prob(w1, w2):
    """加一平滑的 bigram 条件概率：P(w2 | w1)。"""
    return (bigram[(w1, w2)] + 1) / (unigram[w1] + vocab)

logp = sum(math.log(prob(a, b)) for a, b in zip(corpus, corpus[1:]))
n = len(corpus) - 1
print(f"vocab={vocab} tokens={len(corpus)} ppl={math.exp(-logp / n):.3f}")
```

输出：

```text
vocab=8 tokens=13 ppl=4.753
```

三个数值都可以手算复核：语料有 13 个 token、8 个不同 token、12 个 bigram。困惑度的定义是

$$\mathrm{PPL} = \exp\left(-\frac{1}{N}\sum_{t=1}^{N}\log p(w_t \mid w_{t-1})\right)$$

其中 $N$ 是预测次数，本例为 12；$p(w_t\mid w_{t-1})$ 是加一平滑后的条件概率。这个模型没有梯度、没有参数矩阵，训练就是计数；它的意义是给出语言建模的目标函数与评估方式，第 02 章才引入自动微分，第 03 章才引入可学习的 MLP。

把困惑度与 nanochat 的验证指标对照可以看出课程与仓库的差别：困惑度按 token 平均，换词表就会改变；仓库用 bpb 按字节平均，跨词表可比。课程大纲第 01 章只列 language modeling，并未列出 bpb 这类跨词表指标；bpb 的换算属于工程评测，见 08 阶段。

### 例子 2：第 06 章的分词器在仓库中的位置

```bash
# 训练词表：Rust 实现，词表大小 2**15 = 32768
python -m scripts.tok_train
# 评估压缩率与每 token 字节数
python -m scripts.tok_eval
```

课程第 06 章以 minBPE 为主题，要求读者理解 BPE 的合并过程，即「高频相邻字节对如何被合并成新 token」；仓库把同一算法交给 `rustbpe` 以提速，推理交给 `tiktoken` 的 Rust 实现。概念上两者一致：训练产出词表与合并规则，推理只做编码与解码。区别在工程：nanochat 还要定义 9 个特殊 token、把词表大小设为 32768、并让 `token_bytes` 用于 bpb 计算，这些都不在课程的最小实现里。

`tok_eval` 的输出包含压缩率与每 token 字节数，后者直接进入 bpb 的换算：把交叉熵（nats/token）除以 $\ln 2$ 与每 token 字节数，得到 bits per byte。课程大纲没有给这个指标，但它是 nanochat 判断预训练是否进步的主要平滑指标。

### 例子 3：核对章节覆盖情况

课程 17 章与本库阶段的映射可以写成脚本，用来检查哪些章节在本库有对应笔记、哪些没有。这不是课程内容，而是学习计划的辅助工具：

```python
from collections import Counter

# 键为课程章号，值为本库阶段；"未覆盖" 表示本库没有专篇
mapping = {
    1: "05", 2: "02", 3: "02/04", 4: "04", 5: "04",
    6: "03", 7: "02", 8: "05/10", 9: "04", 10: "05",
    11: "05", 12: "09", 13: "未覆盖", 14: "06", 15: "07",
    16: "09", 17: "未覆盖",
}
covered = {k: v for k, v in mapping.items() if v != "未覆盖"}
missing = sorted(set(mapping) - set(covered))
print(f"章节总数={len(mapping)} 本库覆盖={len(covered)} 未覆盖={missing}")
# 按主阶段统计：复合值取第一个阶段
print(dict(sorted(Counter(v.split("/")[0] for v in covered.values()).items())))
```

输出：

```text
章节总数=17 本库覆盖=15 未覆盖=[13, 17]
{'02': 3, '03': 1, '04': 3, '05': 4, '06': 1, '07': 1, '09': 2}
```

两个未覆盖章节是第 13 章量化与第 17 章多模态，它们不在本库的八阶段范围内；其余 15 章都能在后续阶段找到落点。统计结果也反映了 nanochat 的重心：05 预训练与 04 架构各占三到四章，后训练与推理各占一到两章，与仓库的代码量分布一致。

## 易错点

> [!warning] 可检验的错误
> - 认为课程已经发布、可以 clone 后直接运行。课程仓库 README 明确注明课程尚未发布、正在开发并归档；本章只引用公开大纲。
> - 把 17 章当作永久不变的最终版本。章节可能随开发调整，涉及细节时以课程仓库当前版本为准；本篇标注了来源与版本状态。
> - 把课程章号当作本库阶段号。课程第 06 章是分词，本库 03 阶段是分词；课程第 14 章是 SFT，本库 06 阶段是 SFT。两套编号只是映射关系，不是同一套体系。
> - 认为 nanochat 是课程代码。课程用 Python、C 与 CUDA 从零实现核心逻辑，nanochat 用 PyTorch 与现成内核；两者共享设计语言，不共享代码。
> - 把附录主题当作正文进度。汇编、数据类型、张量布局、JAX、MoE、多模态都在附录中，不属于 17 章主线。
> - 用课程大纲推断仓库能力。课程包含量化、LoRA、PPO、DPO 与多模态，nanochat 均未实现；反过来，排行榜、CORE 与工具沙箱也不在课程大纲中。
> - 把课程第 01 章的 bigram 当作过时内容跳过。它建立的是语言建模目标与困惑度，后面所有章节都在改进同一个目标；跳过它会导致看不懂「为什么交叉熵下降代表模型变好」。
> - 认为课程会给出现成的 nanochat 训练脚本。课程与仓库是两条独立的产品线，课程不提供仓库代码，仓库也不按课程章节组织。

## 关联笔记

- 前置：[[Karpathy与nanochat]] —— 作者脉络与项目定位；课程是同一作者的教学线，仓库是工程线。
- 对照：[[nanochat与nanoGPT的区别]] —— 仓库边界；本篇补上课程这条第三支线。
- 后续：[[学习路线与前置要求]] —— 把课程章节映射到八周路线，并给出每阶段验收标准。
- 跨库：[[Transformer架构详解]] —— 通用原理见该篇，本篇只讲课程脉络与仓库分工。
- 跨库：[[反向传播详解]] —— 对应课程第 02 章的主题；本库不重复推导，只在 02 阶段引用。

## 达标检测

- [ ] 能说出 LLM101n 的四个设计约束（单一交付物、端到端、从零实现、最小前置），并各举一个章节作为证据。
- [ ] 能按顺序列出 17 章中与本库相关的至少 10 章，并写出对应的本库阶段。
- [ ] 能解释课程为什么把分词器放在 Transformer 之后，而仓库必须先训练分词器。
- [ ] 能指出课程覆盖但 nanochat 未实现的三项内容（量化、LoRA/PEFT、PPO/DPO 或多模态）。
- [ ] 能运行本篇第一个代码块，把加一平滑改为无平滑并解释为什么会得到无穷大的困惑度。
- [ ] 能运行本篇第三个代码块，解释为什么第 13 章与第 17 章在本库没有对应阶段，以及这是有意的范围限制还是遗漏。
- [ ] 能说明课程当前的状态（未发布、开发中、归档）以及这对引用方式的影响。
- [ ] 能指出课程与 nanochat 在「谁负责评测」上的差别：课程大纲未给评测体系，仓库以 CORE 与 ChatCORE 为准。

## 参考来源

- Karpathy, *LLM101n: Let's build a Storyteller*（课程仓库 README，master）—— 对应课程定位、17 章 syllabus、附录主题与未发布状态；本章的章节编号与主题均取自该 README 的当前版本。该仓库是课程的一手来源，不在本库的通用来源池内，此处仅用于核对公开大纲。
- Karpathy, *micrograd* README（master），约 100 行自动微分引擎与约 50 行神经网络库 —— 对应第 02 章主题与从零实现的规模。
- Karpathy, *nn-zero-to-hero* —— 对应从 bigram 到 MLP、再到 Transformer 的教学顺序。
- Karpathy, *minBPE* —— 对应第 06 章以 BPE 为最小分词实现的安排。
- Karpathy, *nanochat* README（commit 92d63d4），文件结构、9 个特殊 token 与词表大小 —— 对应课程章节在仓库中的落地位置。
