w wyl123ly 的博客
MD

MOC-分词器

7 KB 2026.10.22 原文件

MOC · 分词器

本阶段地图

本阶段回答一个问题:一段原始文本如何变成模型可训练的整数序列,以及这个转换过程的每个选择如何进入参数、计算与评测。四篇笔记的依赖是单向的:先建立「词表大小与序列长度互相牵制」的取舍框架,再学从字节序列产生合并表的 BPE 算法,然后固定词表的两段结构与 9 个特殊 token,最后由 Rust 实现把三者组装成可训练、可保存、可评测的分词器。读完应能重训一个 32768 词表的分词器,并解释 token_bytes.pt 与 bpb 的关系。

flowchart LR
    A[为什么需要分词] --> B[字节对编码BPE原理]
    B --> C[词表与特殊token]
    C --> D[nanochat的Rust分词器实现]
    D --> E[数据加载器dataloader]
    D --> F[有监督微调SFT]
    A --> G[对比GPT-2核心指标]
    A --> H[KV Cache原理]

图中实线表示阅读依赖,指向阶段外的边表示使用关系:数据加载器dataloader 消费 prepend=bos 与压缩率,有监督微调SFT 消费 render_conversation 的 mask,对比GPT-2核心指标 消费 bpb,KV Cache原理 消费序列长度。它们都在后续阶段展开,本阶段只负责把接口定义清楚。

学习顺序与理由

  1. 为什么需要分词:建立三个量——词表 、序列长度 、每字节比特数 bpb——并给出它们进入参数、注意力与评测的位置。先读这篇的理由是后续三篇都在回答「 与 如何被具体机制决定」,没有这套符号会看不懂 32768 的分解与 bpb 公式。
  2. 字节对编码BPE原理:从字节序列出发,用可手算的 7 次合并走完训练过程,再说明编码为何是「按合并序重放」,最后逐段解释 SPLIT_PATTERN 与 \p{N}{1,2} 的实验依据。放在第二位的理由是它产出合并表,而合并表是词表的前两段。
  3. 词表与特殊token:把合并表与 9 个特殊 token 拼成 32768 的完整词表,给出 id 区间、BOS 的三种角色、chat 协议与 render_conversation 的 mask 规则。先有合并表再读 id 分配,32759 这个偏移量才有来源。
  4. nanochat的Rust分词器实现:讲 rustbpe 训练与 tiktoken 推理的分工,逐行拆解 train_from_iterator,并说明 token_bytes.pt 为什么按原始字节计数。放在最后是因为它同时用到前三篇的结论,且包含可独立运行的训练脚本。

不建议调换 3 与 4 的顺序:train_from_iterator 中 special_tokens = {name: tokens_offset + i ...} 这一行只有在知道「特殊 token 从合并段末尾开始编号」之后才能读懂。也不建议跳过 1 直接读 2:例 1 的手算依赖 与 的定义。

笔记索引

笔记核心问题难度读完应能关键 repo 位置
[[为什么需要分词]]为什么必须分词,粒度与词表如何影响成本★★☆用 bpb 比较不同词表,并核算 d24 的参数与显存nanochat/gpt.py、nanochat/loss_eval.py
[[字节对编码BPE原理]]BPE 如何从字节产生合并表,pattern 如何限定合并★★★手算 7 次合并,解释 \p{N}{1,2} 的取舍nanochat/tokenizer.py 的 SPLIT_PATTERN
[[词表与特殊token]]9 个特殊 token 如何构成 chat 协议与 mask★★★画出带工具调用的渲染序列并标注 maskrender_conversation、scripts/chat_sft.py
[[nanochat的Rust分词器实现]]rustbpe 与 tiktoken 如何分工,token_bytes 如何生成★★★独立运行最小训练脚本并核对产物train_from_iterator、scripts/tok_train.py

本阶段不重复通用教程。BPE、WordPiece、Unigram 的完整对比与编码算法见 Tokenizer与BPE;token 如何变成向量见 GPT系列架构 与 从生成式到对话式 的嵌入部分。

符号约定与关键事实

事实取值可核对位置
词表大小 32768 = scripts/tok_train.py 的 --vocab-size、GPTConfig.vocab_size
单字节 token256 个,id 0–255train_from_iterator 的断言
合并次数 32503,id 256–32758
特殊 token9 个,id 32759–32767SPECIAL_TOKENS 的 enumerate
BOS id32759tokens_offset = len(mergeable_ranks)
词表对齐32768 是 64 的倍数,pad_vocab_size_to=64 不触发GPT.__init__
数字预切分\p{N}{1,2},d12 上 val_bpb 0.965dev/LOG.md 2026-01-13
bpbloss_eval.evaluate_bpb
特殊 token 字节数0tok_train.py 的 token_bytes 循环
SFT 填充BOS,mask 0,target 置 -1chat_sft.py 的打包与掩码

符号沿用各篇: 为字节数, 为 token 数,, 为隐藏维度, 为层数。跨篇引用时不再重复定义。

达标清单

  • [ ] 能写出字符、词、子词三种粒度的定义,并对同一段中英混排文本给出三种粒度下的 token 数。
  • [ ] 能推导 bpb ,并说明为什么平均损失不可跨词表比较。
  • [ ] 能在 20 分钟内手算一篇 7 次合并的 BPE 训练过程,写出合并表、词表大小与压缩率。
  • [ ] 能逐段解释 SPLIT_PATTERN 的 7 个分支,并预测给定输入(含数字、缩略形式、换行)的片段划分。
  • [ ] 能说明 中每一项的来源,以及 vocab_size_no_special >= 256 的必要性。
  • [ ] 能画出「system + user + 带 python 工具调用的 assistant」的渲染序列,并标注每个位置的 mask。
  • [ ] 能解释 BOS 在预训练、SFT、推理中的三种角色,以及 SFT 用 BOS 填充的四条理由。
  • [ ] 能说明 rustbpe 与 tiktoken 的分工,独立训练一个 300 词表分词器并核对 ranks、n_vocab、bos 三个数值。
  • [ ] 能解释 token_bytes 为什么按原始字节计数,并用一个不能单独构成 UTF-8 的 token 验证。

参考来源

  • Karpathy, nanochat 仓库(commit 92d63d4):nanochat/tokenizer.py、scripts/tok_train.py、scripts/tok_eval.py、tests/test_tokenizer.py、dev/LOG.md —— 对应本阶段全部事实与代码位置。
  • Sennrich et al., "Neural Machine Translation of Rare Words with Subword Units", arXiv:1508.07909 —— 对应 BPE 训练算法。
  • OpenAI, tiktoken 仓库与 GPT-4 分词器说明 —— 对应 cl100k_base、rank 合并与预切分 pattern 的来源。
  • Karpathy, rustbpe 仓库 —— 对应训练接口与 get_mergeable_ranks。
  • Radford et al., "Language Models are Unsupervised Multitask Learners", 2019 —— 对应 byte-level BPE 与 <|endoftext|> 的历史用法。