MOC · 分词器
本阶段地图
本阶段回答一个问题:一段原始文本如何变成模型可训练的整数序列,以及这个转换过程的每个选择如何进入参数、计算与评测。四篇笔记的依赖是单向的:先建立「词表大小与序列长度互相牵制」的取舍框架,再学从字节序列产生合并表的 BPE 算法,然后固定词表的两段结构与 9 个特殊 token,最后由 Rust 实现把三者组装成可训练、可保存、可评测的分词器。读完应能重训一个 32768 词表的分词器,并解释
token_bytes.pt与 bpb 的关系。
flowchart LR
A[为什么需要分词] --> B[字节对编码BPE原理]
B --> C[词表与特殊token]
C --> D[nanochat的Rust分词器实现]
D --> E[数据加载器dataloader]
D --> F[有监督微调SFT]
A --> G[对比GPT-2核心指标]
A --> H[KV Cache原理]
图中实线表示阅读依赖,指向阶段外的边表示使用关系:数据加载器dataloader 消费 prepend=bos 与压缩率,有监督微调SFT 消费 render_conversation 的 mask,对比GPT-2核心指标 消费 bpb,KV Cache原理 消费序列长度。它们都在后续阶段展开,本阶段只负责把接口定义清楚。
学习顺序与理由
- 为什么需要分词:建立三个量——词表 、序列长度 、每字节比特数 bpb——并给出它们进入参数、注意力与评测的位置。先读这篇的理由是后续三篇都在回答「 与 如何被具体机制决定」,没有这套符号会看不懂 32768 的分解与 bpb 公式。
- 字节对编码BPE原理:从字节序列出发,用可手算的 7 次合并走完训练过程,再说明编码为何是「按合并序重放」,最后逐段解释
SPLIT_PATTERN与\p{N}{1,2}的实验依据。放在第二位的理由是它产出合并表,而合并表是词表的前两段。 - 词表与特殊token:把合并表与 9 个特殊 token 拼成 32768 的完整词表,给出 id 区间、BOS 的三种角色、chat 协议与
render_conversation的 mask 规则。先有合并表再读 id 分配,32759 这个偏移量才有来源。 - nanochat的Rust分词器实现:讲 rustbpe 训练与 tiktoken 推理的分工,逐行拆解
train_from_iterator,并说明token_bytes.pt为什么按原始字节计数。放在最后是因为它同时用到前三篇的结论,且包含可独立运行的训练脚本。
不建议调换 3 与 4 的顺序:train_from_iterator 中 special_tokens = {name: tokens_offset + i ...} 这一行只有在知道「特殊 token 从合并段末尾开始编号」之后才能读懂。也不建议跳过 1 直接读 2:例 1 的手算依赖 与 的定义。
笔记索引
| 笔记 | 核心问题 | 难度 | 读完应能 | 关键 repo 位置 |
|---|---|---|---|---|
| [[为什么需要分词]] | 为什么必须分词,粒度与词表如何影响成本 | ★★☆ | 用 bpb 比较不同词表,并核算 d24 的参数与显存 | nanochat/gpt.py、nanochat/loss_eval.py |
| [[字节对编码BPE原理]] | BPE 如何从字节产生合并表,pattern 如何限定合并 | ★★★ | 手算 7 次合并,解释 \p{N}{1,2} 的取舍 | nanochat/tokenizer.py 的 SPLIT_PATTERN |
| [[词表与特殊token]] | 9 个特殊 token 如何构成 chat 协议与 mask | ★★★ | 画出带工具调用的渲染序列并标注 mask | render_conversation、scripts/chat_sft.py |
| [[nanochat的Rust分词器实现]] | rustbpe 与 tiktoken 如何分工,token_bytes 如何生成 | ★★★ | 独立运行最小训练脚本并核对产物 | train_from_iterator、scripts/tok_train.py |
本阶段不重复通用教程。BPE、WordPiece、Unigram 的完整对比与编码算法见 Tokenizer与BPE;token 如何变成向量见 GPT系列架构 与 从生成式到对话式 的嵌入部分。
符号约定与关键事实
| 事实 | 取值 | 可核对位置 |
|---|---|---|
| 词表大小 | 32768 = | scripts/tok_train.py 的 --vocab-size、GPTConfig.vocab_size |
| 单字节 token | 256 个,id 0–255 | train_from_iterator 的断言 |
| 合并次数 | 32503,id 256–32758 | |
| 特殊 token | 9 个,id 32759–32767 | SPECIAL_TOKENS 的 enumerate |
| BOS id | 32759 | tokens_offset = len(mergeable_ranks) |
| 词表对齐 | 32768 是 64 的倍数,pad_vocab_size_to=64 不触发 | GPT.__init__ |
| 数字预切分 | \p{N}{1,2},d12 上 val_bpb 0.965 | dev/LOG.md 2026-01-13 |
| bpb | loss_eval.evaluate_bpb | |
| 特殊 token 字节数 | 0 | tok_train.py 的 token_bytes 循环 |
| SFT 填充 | BOS,mask 0,target 置 -1 | chat_sft.py 的打包与掩码 |
符号沿用各篇: 为字节数, 为 token 数,, 为隐藏维度, 为层数。跨篇引用时不再重复定义。
达标清单
- [ ] 能写出字符、词、子词三种粒度的定义,并对同一段中英混排文本给出三种粒度下的 token 数。
- [ ] 能推导 bpb ,并说明为什么平均损失不可跨词表比较。
- [ ] 能在 20 分钟内手算一篇 7 次合并的 BPE 训练过程,写出合并表、词表大小与压缩率。
- [ ] 能逐段解释
SPLIT_PATTERN的 7 个分支,并预测给定输入(含数字、缩略形式、换行)的片段划分。 - [ ] 能说明 中每一项的来源,以及
vocab_size_no_special >= 256的必要性。 - [ ] 能画出「system + user + 带 python 工具调用的 assistant」的渲染序列,并标注每个位置的 mask。
- [ ] 能解释 BOS 在预训练、SFT、推理中的三种角色,以及 SFT 用 BOS 填充的四条理由。
- [ ] 能说明 rustbpe 与 tiktoken 的分工,独立训练一个 300 词表分词器并核对
ranks、n_vocab、bos三个数值。 - [ ] 能解释
token_bytes为什么按原始字节计数,并用一个不能单独构成 UTF-8 的 token 验证。
参考来源
- Karpathy, nanochat 仓库(commit 92d63d4):
nanochat/tokenizer.py、scripts/tok_train.py、scripts/tok_eval.py、tests/test_tokenizer.py、dev/LOG.md—— 对应本阶段全部事实与代码位置。 - Sennrich et al., "Neural Machine Translation of Rare Words with Subword Units", arXiv:1508.07909 —— 对应 BPE 训练算法。
- OpenAI, tiktoken 仓库与 GPT-4 分词器说明 —— 对应
cl100k_base、rank 合并与预切分 pattern 的来源。 - Karpathy, rustbpe 仓库 —— 对应训练接口与
get_mergeable_ranks。 - Radford et al., "Language Models are Unsupervised Multitask Learners", 2019 —— 对应 byte-level BPE 与
<|endoftext|>的历史用法。