---
tags: [nanochat, MOC, tokenizer]
阶段: 03-分词器Tokenizer
难度: ★★☆
created: 2026-10-22
related: "[[为什么需要分词]], [[字节对编码BPE原理]], [[词表与特殊token]], [[nanochat的Rust分词器实现]]"
---

# MOC · 分词器

> [!summary] 本阶段地图
> 本阶段回答一个问题：一段原始文本如何变成模型可训练的整数序列，以及这个转换过程的每个选择如何进入参数、计算与评测。四篇笔记的依赖是单向的：先建立「词表大小与序列长度互相牵制」的取舍框架，再学从字节序列产生合并表的 BPE 算法，然后固定词表的两段结构与 9 个特殊 token，最后由 Rust 实现把三者组装成可训练、可保存、可评测的分词器。读完应能重训一个 32768 词表的分词器，并解释 `token_bytes.pt` 与 bpb 的关系。

```mermaid
flowchart LR
    A[为什么需要分词] --> B[字节对编码BPE原理]
    B --> C[词表与特殊token]
    C --> D[nanochat的Rust分词器实现]
    D --> E[数据加载器dataloader]
    D --> F[有监督微调SFT]
    A --> G[对比GPT-2核心指标]
    A --> H[KV Cache原理]
```

图中实线表示阅读依赖，指向阶段外的边表示使用关系：`数据加载器dataloader` 消费 `prepend=bos` 与压缩率，`有监督微调SFT` 消费 `render_conversation` 的 mask，`对比GPT-2核心指标` 消费 bpb，`KV Cache原理` 消费序列长度。它们都在后续阶段展开，本阶段只负责把接口定义清楚。

## 学习顺序与理由

1. [[为什么需要分词]]：建立三个量——词表 $V$、序列长度 $T$、每字节比特数 bpb——并给出它们进入参数、注意力与评测的位置。先读这篇的理由是后续三篇都在回答「$V$ 与 $T$ 如何被具体机制决定」，没有这套符号会看不懂 32768 的分解与 bpb 公式。
2. [[字节对编码BPE原理]]：从字节序列出发，用可手算的 7 次合并走完训练过程，再说明编码为何是「按合并序重放」，最后逐段解释 `SPLIT_PATTERN` 与 `\p{N}{1,2}` 的实验依据。放在第二位的理由是它产出合并表，而合并表是词表的前两段。
3. [[词表与特殊token]]：把合并表与 9 个特殊 token 拼成 32768 的完整词表，给出 id 区间、BOS 的三种角色、chat 协议与 `render_conversation` 的 mask 规则。先有合并表再读 id 分配，32759 这个偏移量才有来源。
4. [[nanochat的Rust分词器实现]]：讲 rustbpe 训练与 tiktoken 推理的分工，逐行拆解 `train_from_iterator`，并说明 `token_bytes.pt` 为什么按原始字节计数。放在最后是因为它同时用到前三篇的结论，且包含可独立运行的训练脚本。

不建议调换 3 与 4 的顺序：`train_from_iterator` 中 `special_tokens = {name: tokens_offset + i ...}` 这一行只有在知道「特殊 token 从合并段末尾开始编号」之后才能读懂。也不建议跳过 1 直接读 2：例 1 的手算依赖 $T=B-\sum n_{k}$ 与 $\kappa$ 的定义。

## 笔记索引

| 笔记 | 核心问题 | 难度 | 读完应能 | 关键 repo 位置 |
|---|---|---|---|---|
| [[为什么需要分词]] | 为什么必须分词，粒度与词表如何影响成本 | ★★☆ | 用 bpb 比较不同词表，并核算 d24 的参数与显存 | `nanochat/gpt.py`、`nanochat/loss_eval.py` |
| [[字节对编码BPE原理]] | BPE 如何从字节产生合并表，pattern 如何限定合并 | ★★★ | 手算 7 次合并，解释 `\p{N}{1,2}` 的取舍 | `nanochat/tokenizer.py` 的 `SPLIT_PATTERN` |
| [[词表与特殊token]] | 9 个特殊 token 如何构成 chat 协议与 mask | ★★★ | 画出带工具调用的渲染序列并标注 mask | `render_conversation`、`scripts/chat_sft.py` |
| [[nanochat的Rust分词器实现]] | rustbpe 与 tiktoken 如何分工，`token_bytes` 如何生成 | ★★★ | 独立运行最小训练脚本并核对产物 | `train_from_iterator`、`scripts/tok_train.py` |

本阶段不重复通用教程。BPE、WordPiece、Unigram 的完整对比与编码算法见 [[Tokenizer与BPE]]；token 如何变成向量见 [[GPT系列架构]] 与 [[从生成式到对话式]] 的嵌入部分。

## 符号约定与关键事实

| 事实 | 取值 | 可核对位置 |
|---|---|---|
| 词表大小 $V$ | 32768 = $2^{15}$ | `scripts/tok_train.py` 的 `--vocab-size`、`GPTConfig.vocab_size` |
| 单字节 token | 256 个，id 0–255 | `train_from_iterator` 的断言 |
| 合并次数 $K$ | 32503，id 256–32758 | $32768-256-9$ |
| 特殊 token | 9 个，id 32759–32767 | `SPECIAL_TOKENS` 的 `enumerate` |
| BOS id | 32759 | `tokens_offset = len(mergeable_ranks)` |
| 词表对齐 | 32768 是 64 的倍数，`pad_vocab_size_to=64` 不触发 | `GPT.__init__` |
| 数字预切分 | `\p{N}{1,2}`，d12 上 val_bpb 0.965 | `dev/LOG.md` 2026-01-13 |
| bpb | $\sum\text{nats}/(\ln2\cdot\sum\text{bytes})$ | `loss_eval.evaluate_bpb` |
| 特殊 token 字节数 | 0 | `tok_train.py` 的 `token_bytes` 循环 |
| SFT 填充 | BOS，mask 0，target 置 -1 | `chat_sft.py` 的打包与掩码 |

符号沿用各篇：$B$ 为字节数，$T$ 为 token 数，$\kappa=B/T$，$d$ 为隐藏维度，$L$ 为层数。跨篇引用时不再重复定义。

## 达标清单

- [ ] 能写出字符、词、子词三种粒度的定义，并对同一段中英混排文本给出三种粒度下的 token 数。
- [ ] 能推导 bpb $=\bar{\mathcal{L}}/(\ln2\cdot\kappa)$，并说明为什么平均损失不可跨词表比较。
- [ ] 能在 20 分钟内手算一篇 7 次合并的 BPE 训练过程，写出合并表、词表大小与压缩率。
- [ ] 能逐段解释 `SPLIT_PATTERN` 的 7 个分支，并预测给定输入（含数字、缩略形式、换行）的片段划分。
- [ ] 能说明 $32768=256+32503+9$ 中每一项的来源，以及 `vocab_size_no_special >= 256` 的必要性。
- [ ] 能画出「system + user + 带 python 工具调用的 assistant」的渲染序列，并标注每个位置的 mask。
- [ ] 能解释 BOS 在预训练、SFT、推理中的三种角色，以及 SFT 用 BOS 填充的四条理由。
- [ ] 能说明 rustbpe 与 tiktoken 的分工，独立训练一个 300 词表分词器并核对 `ranks`、`n_vocab`、`bos` 三个数值。
- [ ] 能解释 `token_bytes` 为什么按原始字节计数，并用一个不能单独构成 UTF-8 的 token 验证。

## 参考来源

- Karpathy, *nanochat* 仓库（commit 92d63d4）：`nanochat/tokenizer.py`、`scripts/tok_train.py`、`scripts/tok_eval.py`、`tests/test_tokenizer.py`、`dev/LOG.md` —— 对应本阶段全部事实与代码位置。
- Sennrich et al., "Neural Machine Translation of Rare Words with Subword Units", arXiv:1508.07909 —— 对应 BPE 训练算法。
- OpenAI, *tiktoken* 仓库与 GPT-4 分词器说明 —— 对应 `cl100k_base`、rank 合并与预切分 pattern 的来源。
- Karpathy, *rustbpe* 仓库 —— 对应训练接口与 `get_mergeable_ranks`。
- Radford et al., "Language Models are Unsupervised Multitask Learners", 2019 —— 对应 byte-level BPE 与 `<|endoftext|>` 的历史用法。
