MOC · Transformer 与 LLM 原理
本阶段地图
本阶段是全库重心,回答一个问题:给定 token 序列,如何用可并行、可扩展的注意力结构建模其条件分布,并通过预训练获得通用能力。阅读顺序按「表示 → 序列建模动机 → 注意力 → 结构 → 生成 → 模型族 → 效率优化 → 工程管线 → 复现」推进。全部推导要求能独立复写,从零实现小型GPT指南 为阶段验收项目。
flowchart TD
PRE[[预备知识-token与嵌入]] --> TOK[[Tokenizer与BPE]]
TOK --> RNN2ATT[[从RNN到注意力机制]]
RNN2ATT --> QKV[[注意力机制与QKV]]
QKV --> MHA[[因果注意力与多头注意力]]
MHA --> PE[[位置编码-正弦与RoPE]]
PE --> TRANS[[Transformer架构详解]]
TRANS --> GEN[[自回归生成与采样]]
GEN --> GPT[[GPT系列架构]]
TRANS --> BERT[[BERT与双向编码模型]]
GEN --> KV[[KV缓存]]
KV --> GQA[[分组查询注意力GQA]]
TRANS --> MOE[[专家混合MoE]]
KV --> INF[[超长上下文-无限注意力]]
GQA --> LLAMA[[Llama-2架构复盘]]
MOE --> LLAMA
GPT --> PIPE[[预训练-微调-对齐pipeline]]
LLAMA --> PIPE
PIPE --> NANO[[从零实现小型GPT指南]]
学习顺序与理由
- 预备知识-token与嵌入:语言模型的操作对象是离散 token 的连续向量;先明确词表、嵌入矩阵与查表语义。
- Tokenizer与BPE:分词决定序列长度、词表规模与多语言行为,是复现 GPT 时必须先实现的一环。
- 从RNN到注意力机制:从 seq2seq 的固定向量瓶颈出发,推导注意力的必要性,避免把注意力当作凭空出现的公式。
- 注意力机制与QKV:核心机制。必须完成缩放点积注意力与 的方差推导。
- 因果注意力与多头注意力:把注意力改造成可自回归训练、可并行提取多种关系的形式。
- 位置编码-正弦与RoPE:注意力本身对顺序不敏感,位置信息必须显式注入;RoPE 是当代模型的默认方案。
- Transformer架构详解:把上述组件组装为 encoder/decoder 层,明确残差、LayerNorm、FFN 与参数量。
- 自回归生成与采样:训练目标与推理过程不同;温度、top-k、top-p 决定输出分布。
- GPT系列架构:decoder-only 路线的规模演进与能力来源。
- BERT与双向编码模型:对照路线,理解掩码语言建模与双向表示。
- KV缓存:推理加速的第一个关键工程优化,显存公式必须会算。
- 分组查询注意力GQA:在 KV Cache 显存与质量之间取折中,Llama-2 70B 的实际选择。
- 专家混合MoE:以稀疏激活扩大参数量而不等比增加计算量。
- 超长上下文-无限注意力:上下文扩展的压缩记忆与稀疏化路线。
- Llama-2架构复盘:把 RMSNorm、SwiGLU、RoPE、GQA 组合成一个真实模型。
- 预训练-微调-对齐pipeline:从 next-token prediction 到可用助手的完整训练阶段与数据。
- 从零实现小型GPT指南:阶段验收,完成 tokenizer、模型、训练、采样四部分并给出可运行结果。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[预备知识-token与嵌入]] | ★☆☆ | token、词表、嵌入矩阵、查表 | [[线性代数]] |
| [[Tokenizer与BPE]] | ★★☆ | BPE 训练与编码、byte-level、词表权衡 | [[预备知识-token与嵌入]] |
| [[从RNN到注意力机制]] | ★★☆ | seq2seq、瓶颈、Bahdanau 注意力 | [[循环神经网络RNN]] |
| [[注意力机制与QKV]] | ★★★ | Q/K/V、缩放点积、 推导 | [[从RNN到注意力机制]] |
| [[因果注意力与多头注意力]] | ★★★ | 因果掩码、多头拆分与拼接 | [[注意力机制与QKV]] |
| [[位置编码-正弦与RoPE]] | ★★★ | 正弦编码、复数旋转、相对位置 | [[注意力机制与QKV]] |
| [[Transformer架构详解]] | ★★★ | 子层、残差、LayerNorm、FFN、参数量 | [[因果注意力与多头注意力]] |
| [[自回归生成与采样]] | ★★☆ | 贪心、束搜索、温度、top-k、top-p | [[Transformer架构详解]] |
| [[GPT系列架构]] | ★★☆ | GPT-1/2/3、上下文学习、scaling | [[自回归生成与采样]] |
| [[BERT与双向编码模型]] | ★★☆ | MLM、NSP、微调范式 | [[Transformer架构详解]] |
| [[KV缓存]] | ★★★ | 缓存 K/V、显存公式、prefill/decode | [[自回归生成与采样]] |
| [[专家混合MoE]] | ★★★ | 路由、负载均衡、容量因子 | [[Transformer架构详解]] |
| [[分组查询注意力GQA]] | ★★★ | MHA/MQA/GQA、KV 头共享 | [[KV缓存]] |
| [[超长上下文-无限注意力]] | ★★★ | 压缩记忆、线性注意力、稀疏化 | [[KV缓存]] |
| [[Llama-2架构复盘]] | ★★★ | RMSNorm、SwiGLU、RoPE、GQA | [[Transformer架构详解]] |
| [[预训练-微调-对齐pipeline]] | ★★☆ | 三阶段训练、数据与目标 | [[GPT系列架构]] |
| [[从零实现小型GPT指南]] | ★★★ | 端到端 nanoGPT 式实现 | [[Transformer架构详解]] |
关键公式清单
达标清单
- [ ] 能独立推导缩放点积注意力,并解释除以 的方差依据。
- [ ] 能写出因果掩码的实现方式,说明为何不能在 softmax 之后加掩码。
- [ ] 能推导 RoPE 的相对位置性质,并说明其外推局限。
- [ ] 能画出 Transformer decoder 层结构,计算指定配置的参数量。
- [ ] 能写出 KV Cache 显存公式,解释 prefill 与 decode 的计算特征差异。
- [ ] 能说明 MoE 的路由、容量因子与负载均衡损失的作用。
- [ ] 能对比 MHA、MQA、GQA 的显存与质量权衡。
- [ ] 能独立完成 从零实现小型GPT指南 的训练与采样,并解释每一行关键代码。
阶段项目
复现一个小型 decoder-only 语言模型:
- 实现 byte-level BPE 或字符级 tokenizer,报告词表大小与平均序列长度。
- 实现带 RoPE、因果多头注意力、Pre-LN、SwiGLU 的 6 层模型,参数量约 10M。
- 在字符级莎士比亚语料上训练,报告训练与验证损失曲线。
- 实现 KV Cache 采样,测量有无缓存时每 token 延迟差异。
- 输出技术报告:结构图、参数量表、损失曲线、生成样例、失败分析。
验收标准:训练损失显著下降,生成文本具备局部语法结构;KV Cache 加速比可测量;报告中每个设计选择引用本阶段对应笔记的结论。
参考来源
- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762。
- Su et al., "RoFormer: Enhanced Transformer with Rotary Position Embedding", arXiv:2104.09864。
- Touvron et al., "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288。
- Ainslie et al., "GQA: Training Generalized Multi-Query Transformer Models", arXiv:2305.13245。
- Shazeer et al., "Switch Transformers", arXiv:2101.03961。
- Munkhdalai et al., "Infini-attention", arXiv:2404.07143。
- Karpathy, nanoGPT 仓库 与 "Let's build GPT" 讲义。
- Raschka, Build a Large Language Model (From Scratch), 2024。