---
tags: [AI, MOC, LLM, Transformer]
阶段: 05-Transformer与LLM原理
难度: ★★★
created: 2026-10-18
related: "[[00-MOC]], [[注意力机制与QKV]], [[从零实现小型GPT指南]]"
---

# MOC · Transformer 与 LLM 原理

> [!summary] 本阶段地图
> 本阶段是全库重心，回答一个问题：给定 token 序列，如何用可并行、可扩展的注意力结构建模其条件分布，并通过预训练获得通用能力。阅读顺序按「表示 → 序列建模动机 → 注意力 → 结构 → 生成 → 模型族 → 效率优化 → 工程管线 → 复现」推进。全部推导要求能独立复写，[[从零实现小型GPT指南]] 为阶段验收项目。

```mermaid
flowchart TD
    PRE[[预备知识-token与嵌入]] --> TOK[[Tokenizer与BPE]]
    TOK --> RNN2ATT[[从RNN到注意力机制]]
    RNN2ATT --> QKV[[注意力机制与QKV]]
    QKV --> MHA[[因果注意力与多头注意力]]
    MHA --> PE[[位置编码-正弦与RoPE]]
    PE --> TRANS[[Transformer架构详解]]
    TRANS --> GEN[[自回归生成与采样]]
    GEN --> GPT[[GPT系列架构]]
    TRANS --> BERT[[BERT与双向编码模型]]
    GEN --> KV[[KV缓存]]
    KV --> GQA[[分组查询注意力GQA]]
    TRANS --> MOE[[专家混合MoE]]
    KV --> INF[[超长上下文-无限注意力]]
    GQA --> LLAMA[[Llama-2架构复盘]]
    MOE --> LLAMA
    GPT --> PIPE[[预训练-微调-对齐pipeline]]
    LLAMA --> PIPE
    PIPE --> NANO[[从零实现小型GPT指南]]
```

## 学习顺序与理由

1. [[预备知识-token与嵌入]]：语言模型的操作对象是离散 token 的连续向量；先明确词表、嵌入矩阵与查表语义。
2. [[Tokenizer与BPE]]：分词决定序列长度、词表规模与多语言行为，是复现 GPT 时必须先实现的一环。
3. [[从RNN到注意力机制]]：从 seq2seq 的固定向量瓶颈出发，推导注意力的必要性，避免把注意力当作凭空出现的公式。
4. [[注意力机制与QKV]]：核心机制。必须完成缩放点积注意力与 $\sqrt{d_k}$ 的方差推导。
5. [[因果注意力与多头注意力]]：把注意力改造成可自回归训练、可并行提取多种关系的形式。
6. [[位置编码-正弦与RoPE]]：注意力本身对顺序不敏感，位置信息必须显式注入；RoPE 是当代模型的默认方案。
7. [[Transformer架构详解]]：把上述组件组装为 encoder/decoder 层，明确残差、LayerNorm、FFN 与参数量。
8. [[自回归生成与采样]]：训练目标与推理过程不同；温度、top-k、top-p 决定输出分布。
9. [[GPT系列架构]]：decoder-only 路线的规模演进与能力来源。
10. [[BERT与双向编码模型]]：对照路线，理解掩码语言建模与双向表示。
11. [[KV缓存]]：推理加速的第一个关键工程优化，显存公式必须会算。
12. [[分组查询注意力GQA]]：在 KV Cache 显存与质量之间取折中，Llama-2 70B 的实际选择。
13. [[专家混合MoE]]：以稀疏激活扩大参数量而不等比增加计算量。
14. [[超长上下文-无限注意力]]：上下文扩展的压缩记忆与稀疏化路线。
15. [[Llama-2架构复盘]]：把 RMSNorm、SwiGLU、RoPE、GQA 组合成一个真实模型。
16. [[预训练-微调-对齐pipeline]]：从 next-token prediction 到可用助手的完整训练阶段与数据。
17. [[从零实现小型GPT指南]]：阶段验收，完成 tokenizer、模型、训练、采样四部分并给出可运行结果。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[预备知识-token与嵌入]] | ★☆☆ | token、词表、嵌入矩阵、查表 | [[线性代数]] |
| [[Tokenizer与BPE]] | ★★☆ | BPE 训练与编码、byte-level、词表权衡 | [[预备知识-token与嵌入]] |
| [[从RNN到注意力机制]] | ★★☆ | seq2seq、瓶颈、Bahdanau 注意力 | [[循环神经网络RNN]] |
| [[注意力机制与QKV]] | ★★★ | Q/K/V、缩放点积、$\sqrt{d_k}$ 推导 | [[从RNN到注意力机制]] |
| [[因果注意力与多头注意力]] | ★★★ | 因果掩码、多头拆分与拼接 | [[注意力机制与QKV]] |
| [[位置编码-正弦与RoPE]] | ★★★ | 正弦编码、复数旋转、相对位置 | [[注意力机制与QKV]] |
| [[Transformer架构详解]] | ★★★ | 子层、残差、LayerNorm、FFN、参数量 | [[因果注意力与多头注意力]] |
| [[自回归生成与采样]] | ★★☆ | 贪心、束搜索、温度、top-k、top-p | [[Transformer架构详解]] |
| [[GPT系列架构]] | ★★☆ | GPT-1/2/3、上下文学习、scaling | [[自回归生成与采样]] |
| [[BERT与双向编码模型]] | ★★☆ | MLM、NSP、微调范式 | [[Transformer架构详解]] |
| [[KV缓存]] | ★★★ | 缓存 K/V、显存公式、prefill/decode | [[自回归生成与采样]] |
| [[专家混合MoE]] | ★★★ | 路由、负载均衡、容量因子 | [[Transformer架构详解]] |
| [[分组查询注意力GQA]] | ★★★ | MHA/MQA/GQA、KV 头共享 | [[KV缓存]] |
| [[超长上下文-无限注意力]] | ★★★ | 压缩记忆、线性注意力、稀疏化 | [[KV缓存]] |
| [[Llama-2架构复盘]] | ★★★ | RMSNorm、SwiGLU、RoPE、GQA | [[Transformer架构详解]] |
| [[预训练-微调-对齐pipeline]] | ★★☆ | 三阶段训练、数据与目标 | [[GPT系列架构]] |
| [[从零实现小型GPT指南]] | ★★★ | 端到端 nanoGPT 式实现 | [[Transformer架构详解]] |

## 关键公式清单

$$ \mathrm{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\mathrm{softmax}\!\left(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d_k}}+\mathbf{M}\right)\mathbf{V} $$

$$ \mathrm{RoPE}(\mathbf{q},m)=\mathbf{R}_{\Theta,m}\mathbf{q},\qquad \mathbf{R}_{\Theta,m}^{\top}\mathbf{R}_{\Theta,n}=\mathbf{R}_{\Theta,n-m} $$

$$ \text{KV 显存}=2\times L\times H_{kv}\times d_h\times S\times B\times \text{bytes} $$

## 达标清单

- [ ] 能独立推导缩放点积注意力，并解释除以 $\sqrt{d_k}$ 的方差依据。
- [ ] 能写出因果掩码的实现方式，说明为何不能在 softmax 之后加掩码。
- [ ] 能推导 RoPE 的相对位置性质，并说明其外推局限。
- [ ] 能画出 Transformer decoder 层结构，计算指定配置的参数量。
- [ ] 能写出 KV Cache 显存公式，解释 prefill 与 decode 的计算特征差异。
- [ ] 能说明 MoE 的路由、容量因子与负载均衡损失的作用。
- [ ] 能对比 MHA、MQA、GQA 的显存与质量权衡。
- [ ] 能独立完成 [[从零实现小型GPT指南]] 的训练与采样，并解释每一行关键代码。

## 阶段项目

复现一个小型 decoder-only 语言模型：

1. 实现 byte-level BPE 或字符级 tokenizer，报告词表大小与平均序列长度。
2. 实现带 RoPE、因果多头注意力、Pre-LN、SwiGLU 的 6 层模型，参数量约 10M。
3. 在字符级莎士比亚语料上训练，报告训练与验证损失曲线。
4. 实现 KV Cache 采样，测量有无缓存时每 token 延迟差异。
5. 输出技术报告：结构图、参数量表、损失曲线、生成样例、失败分析。

验收标准：训练损失显著下降，生成文本具备局部语法结构；KV Cache 加速比可测量；报告中每个设计选择引用本阶段对应笔记的结论。

## 参考来源

- Vaswani et al., "Attention Is All You Need", arXiv:1706.03762。
- Su et al., "RoFormer: Enhanced Transformer with Rotary Position Embedding", arXiv:2104.09864。
- Touvron et al., "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288。
- Ainslie et al., "GQA: Training Generalized Multi-Query Transformer Models", arXiv:2305.13245。
- Shazeer et al., "Switch Transformers", arXiv:2101.03961。
- Munkhdalai et al., "Infini-attention", arXiv:2404.07143。
- Karpathy, nanoGPT 仓库 与 "Let's build GPT" 讲义。
- Raschka, *Build a Large Language Model (From Scratch)*, 2024。
