---
tags: [AI, GPT, scaling]
阶段: 05-Transformer与LLM原理
难度: ★★☆
created: 2026-10-18
related: "[[自回归生成与采样]], [[Transformer架构详解]], [[预训练-微调-对齐pipeline]]"
---

# GPT系列架构

## 定义

**GPT**（Generative Pre-trained Transformer）指一类 decoder-only 的因果语言模型：主体为 $L$ 个带因果掩码的 Transformer 解码层，参数 $\theta$ 通过最大化语料上的条件对数似然 $\sum_t\log p_\theta(x_t\mid x_{<t})$ 预训练，推理时按 [[自回归生成与采样]] 的流程逐 token 生成。GPT-1、GPT-2、GPT-3 是同一目标下的三个系统，差别在规模、训练数据与下游适配方式，不在目标函数。

符号约定如下。

| 符号 | 含义 |
|---|---|
| $L$ | 解码层数 |
| $d$ | 模型隐藏维度 $d_{\text{model}}$ |
| $H$ | 注意力头数，每头维度 $d/H$（要求整除） |
| $d_{ff}$ | 前馈层中间维度，GPT 系列取 $d_{ff}=4d$ |
| $n_{\text{ctx}}$ | 上下文长度上限，即位置嵌入的行数 |
| $V$ | 词表大小 |
| $N$ | 模型参数量（不含优化器状态） |
| $D$ | 训练 token 数 |
| $C$ | 训练计算量，单位浮点运算次数，近似 $C\approx6ND$ |
| $B$ | 训练批大小，单位为 token |
| $T$ | 序列长度，$T\le n_{\text{ctx}}$ |

其余术语在正文首次出现处定义：**因果语言建模**（causal language modeling，CLM）指以左侧前缀为条件预测下一个 token 的目标；**零样本**（zero-shot）指不提供任务示例、仅以任务描述作为提示；**少样本**（few-shot）指在提示中给出少量输入输出示例；**上下文学习**（in-context learning，ICL）指不更新参数、仅通过上下文中的示例改变模型输出的现象；**缩放律**（scaling law）指损失与参数量、数据量、计算量之间的经验幂律关系。

## 为什么重要

GPT 系列确立了当前大模型的主流路线：不在结构上为每个任务做设计，而是用一个统一的生成目标在大规模语料上训练，再用提示或微调适配任务。这个选择带来三个可量化的后果。

第一，参数量成为部署成本的主要变量。参数量 $N$ 决定 fp16 权重占用 $2N$ 字节与每 token 前向计算量约 $2N$ 次浮点运算；GPT-3 175B 的权重即约 325 GiB，单卡无法容纳，推理必须多卡切分，见 [[模型推理优化]]。第二，缩放律使规模成为训练前可估计的设计变量：损失随 $N$、$D$ 的幂律下降，因此可以用小规模实验外推大规模结果。第三，上下文学习把"适配任务"的成本从训练降到一次前向，这直接支撑了 [[Prompt工程]] 与 [[上下文工程与Few-shot]] 的整套方法。

在本库中的位置：[[Transformer架构详解]] 给出解码层的结构，本篇给出该结构在 GPT-1/2/3 中的具体配置与参数核算；[[自回归生成与采样]] 的采样策略决定这些模型的实际输出；[[BERT与双向编码模型]] 是同一时期另一条路线的对照，二者的目标函数差异决定了生成能力的有无；[[预训练-微调-对齐pipeline]] 把本篇的预训练目标放到三阶段训练流程中；[[Llama-2架构复盘]] 说明 GPT 结构在 2023 年之后的具体改进（RMSNorm、SwiGLU、RoPE、GQA）。对应学习目标中的"懂原理"与"会评估"：能手算指定配置的参数量，能判断一个能力声明来自规模、数据还是提示设计。

## 原理与推导

### 1 因果语言建模目标

给定长度为 $T$ 的 token 序列 $x_{1:T}$，模型在位置 $t$ 的输出为

$$ \mathbf{h}_t=\mathrm{Decoder}_\theta(x_{\le t}),\qquad \mathbf{z}_t=\mathbf{W}_o\mathbf{h}_t,\qquad p_\theta(x_t=v\mid x_{<t})=\frac{\exp(z_{t,v})}{\sum_{u}\exp(z_{t,u})}, $$

训练目标为负对数似然的样本均值：

$$ \mathcal{L}(\theta)=-\frac{1}{T}\sum_{t=1}^{T}\log p_\theta(x_t\mid x_{<t}). $$

对 logits 求梯度得到标准的 softmax 交叉熵形式：

$$ \frac{\partial\mathcal{L}}{\partial\mathbf{z}_t}=\frac{1}{T}\left(p_\theta(\cdot\mid x_{<t})-\mathbf{e}_{x_t}\right), $$

其中 $\mathbf{e}_{x_t}$ 是真实 token 的 one-hot 向量。因此每个位置的梯度只依赖该位置的预测分布与真实 token，$T$ 个位置可以一次前向并行计算。

**困惑度**（perplexity）定义为损失的指数：

$$ \mathrm{PPL}=\exp(\mathcal{L})=\exp\!\left(-\frac{1}{T}\sum_t\log p_\theta(x_t\mid x_{<t})\right). $$

它等于每 token 平均负对数似然的指数，可解释为"模型在每一步等效地在多少个等概率候选中犹豫"。$\mathrm{PPL}=1$ 表示每步都以概率 1 命中，$\mathrm{PPL}=V$ 表示均匀分布。它只在同一词表下可比：词表不同时，一个 token 覆盖的字符数不同，每 token 的负对数似然不能直接比较，应换算为每字节的比特数（bits per byte）。

因果掩码是训练可并行的结构前提：注意力矩阵中 $j>i$ 的位置被置为 $-\infty$，使 $\mathbf{h}_t$ 只依赖 $x_{\le t}$。若去掉掩码，位置 $t$ 的表示会包含 $x_{t+1}$ 及其后所有位置，目标退化为平凡解（直接复制输入），这也是 [[BERT与双向编码模型]] 必须改用掩码语言建模的原因。

监督密度是本篇与 BERT 的关键差异之一。CLM 对每个位置都产生损失，密度为 1；MLM 只对被选中的 15% 位置产生损失，密度为 0.15。在相同 token 预算下，前者的梯度信号约为后者的 6.7 倍。

两种目标的形式化对照如下（$\tilde{\mathbf{x}}$ 为被破坏后的输入，$\mathcal{M}$ 为被掩码的位置集合），详细推导见 [[BERT与双向编码模型]]。

| 维度 | GPT：因果语言建模 | BERT：掩码语言建模 |
|---|---|---|
| 条件变量 | 左侧前缀 $x_{<t}$ | 双侧上下文 $\tilde{\mathbf{x}}$（含人为破坏） |
| 损失 | $-\sum_t\log p_\theta(x_t\mid x_{<t})$ | $-\sum_{t\in\mathcal{M}}\log p_\theta(x_t\mid\tilde{\mathbf{x}})$ |
| 监督位置比例 | 1.0 | 0.15 |
| 位置可见范围 | 左侧 | 全部位置 |
| 是否给出联合概率 | 是，$\prod_t p_\theta(x_t\mid x_{<t})$ | 否，只给逐位置边缘分布 |
| 能否直接生成 | 能 | 不能 |
| 特殊 token | 无 | `[CLS]`、`[SEP]`、`[MASK]` |
| 典型用途 | 生成、对话、少样本任务 | 分类、序列标注、句向量 |

同一骨架下，目标函数决定了两件事：模型能算什么（联合概率还是逐位置条件分布），以及它在推理时能做什么（自回归生成还是编码后接任务头）。

### 2 三代配置对照

| 项目 | GPT-1（2018） | GPT-2（2019） | GPT-3（2020） |
|---|---|---|---|
| 层数 $L$ | 12 | 12 / 24 / 36 / 48 | 12 至 96（8 个规模） |
| $d_{\text{model}}$ | 768 | 768 / 1024 / 1280 / 1600 | 768 至 12288 |
| 头数 $H$ | 12 | 12 / 16 / 20 / 25 | 12 至 96 |
| 每头维度 | 64 | 64 | 128（最大模型） |
| $d_{ff}$ | 3072 | $4d$ | 49152（最大模型） |
| 上下文 | 512 | 1024 | 2048 |
| 词表 | 40,000 次 BPE 合并 | 50257，byte-level BPE | 50257 |
| 参数量 | 117M | 117M 至 1.5B | 125M 至 175B |
| 预训练数据 | BooksCorpus（约 7000 本书） | WebText，约 40 GB、800 万文档 | 300B token（过滤后 CommonCrawl 为主，另含书籍与维基） |
| 下游适配 | 全参数微调 | 零样本 | 上下文学习（零/单/少样本） |
| 位置编码 | 学习式绝对位置 | 学习式绝对位置 | 学习式绝对位置 |
| 归一化 | 子层之后（post-LN） | 子层之前（pre-LN），末端加 LN | 同 GPT-2 |

三点需要强调。第一，三代模型的位置编码都是**学习式绝对位置嵌入**，不是正弦编码；位置嵌入矩阵形状为 $n_{\text{ctx}}\times d$，因此上下文上限由该矩阵的行数硬性决定，超出部分没有对应向量。GPT-2 的 1024 与 GPT-3 的 2048 都是这样设定的。第二，GPT-2 相对 GPT-1 的结构改动集中在训练稳定性：把 LayerNorm 移到每个子层的输入端（pre-LN），在最后一个子层之后再加一个 LayerNorm，并把残差路径上的权重按 $1/\sqrt{N_{\text{res}}}$ 缩放（$N_{\text{res}}$ 为残差层数），同时让输入嵌入与输出投影共享权重。第三，GPT-3 的架构基本沿用 GPT-2，论文另说明其层间采用交替的稠密注意力与带状稀疏注意力。

### 3 训练目标的差异：三种使用方式

三代的预训练目标相同，适配方式不同，这一差异常被规模差异掩盖。

**GPT-1：预训练加微调。** 第一阶段在 BooksCorpus 上做 CLM。第二阶段为每个下游任务构造输入序列（例如把前提与假设拼接，中间加分隔符），接一个线性分类头，全参数微调，并保留一个辅助的 LM 目标：

$$ \mathcal{L}_{\text{finetune}}=\mathcal{L}_{\text{task}}+\lambda\,\mathcal{L}_{\text{LM}}, $$

论文取 $\lambda=0.5$，理由是辅助目标能改善泛化并加速收敛。这一阶段需要标注数据与每个任务独立的训练过程。

**GPT-2：零样本。** 移除微调，假设"在足够多样、足够大的语料上训练的 LM 会学到执行任务的能力"。训练数据 WebText 由 Reddit 上获得至少 3 个赞同的外链页面构成，约 800 万文档、40 GB 文本；论文强调去重与清洗。任务通过自然语言提示表达，例如把翻译写成 `translate to french: ...`。这一假设在部分任务上成立，在需要精确格式或长推理的任务上不成立。

**GPT-3：上下文学习。** 完全不更新参数，只在提示中给出 $k$ 个示例（$k=0,1,\dots$）。同一个 175B 模型通过改变提示即可执行翻译、问答、算术、格式转换等任务。

| 维度 | GPT-1 微调 | GPT-2 零样本 | GPT-3 上下文学习 |
|---|---|---|---|
| 是否更新参数 | 是 | 否 | 否 |
| 需要的标注 | 每任务数千条 | 无 | 每任务 0 至数十条示例 |
| 适配成本 | 一次训练 | 一次前向 | 一次前向 |
| 上下文开销 | 无 | 任务描述 | 任务描述加示例，占用窗口 |
| 效果稳定性 | 高（有监督信号） | 低，依赖提示 | 中，随规模提升 |
| 持久性 | 权重持久 | 会话内 | 会话内 |

### 4 上下文学习为何不更新参数

设参数为 $\theta$，上下文为 $c=(z_1,\dots,z_k,q)$，其中 $z_i=(u_i,v_i)$ 是示例对、$q$ 是查询。模型输出的是 $p_\theta(y\mid c)$，而 $p_\theta(y\mid q)$ 是同一模型在无示例时的输出。二者不同，但参数完全相同。

机制可以逐层追踪。前缀中的每个 token 在每一层产生键与值，查询位置的注意力在这些键值上做加权聚合。一个 pre-LN 解码层写成

$$ \mathbf{h}'_t=\mathbf{h}_t^{(l)}+\mathrm{Attn}\!\left(\mathrm{LN}(\mathbf{h}_t^{(l)})\right),\qquad \mathbf{h}_t^{(l+1)}=\mathbf{h}'_t+\mathrm{FFN}\!\left(\mathrm{LN}(\mathbf{h}'_t)\right), $$

其中的注意力只读取位置 $t$ 及其左侧的键值。

上下文改变的是被读取的 $\mathbf{k}_j$、$\mathbf{v}_j$ 的内容，从而改变 $\mathbf{h}_t$。因此 ICL 改变的是给定输入下的条件分布，不是参数化的映射本身。把这一现象称为"模型在上下文里学到了任务"，在术语上把条件化误称为学习；准确表述是"上下文选择了模型已具备的某个条件分布"。

由此可以推出几个可检验的性质，它们都与观察一致：

- 示例数量增加通常改善性能，但受上下文长度限制，且存在边际递减。
- 示例顺序影响结果，因为注意力对位置敏感，且示例之间会互相干扰。
- 示例标签被随机替换后，性能通常下降但一般不会降到零，说明模型部分依赖的是任务格式而非标签语义；下降幅度随任务差异很大。
- 效果不随"训练步数"提升，因为没有优化过程；同一提示重复调用结果只受采样随机性影响。

与微调的对照说明了 ICL 的适用边界：示例数在数十量级、任务可由格式描述、无需新知识时，ICL 的成本最低；需要注入领域知识、固定输出格式或大量标注样本时，微调仍必要，见 [[微调方法全景]]。

### 5 缩放律

Kaplan 等人用不同规模的模型拟合损失与规模的关系，得到三条幂律（论文报告的拟合指数）：

$$ L(N)=\left(\frac{N_c}{N}\right)^{\alpha_N},\quad \alpha_N\approx0.076;\qquad L(D)=\left(\frac{D_c}{D}\right)^{\alpha_D},\quad \alpha_D\approx0.095;\qquad L(C)=\left(\frac{C_c}{C}\right)^{\alpha_C},\quad \alpha_C\approx0.050. $$

其中 $N_c$、$D_c$、$C_c$ 为拟合常数。在数据不受限时，损失对参数量与数据量的联合形式为

$$ L(N,D)=\left[\left(\frac{N_c}{N}\right)^{\alpha_N/\alpha_D}+\frac{D_c}{D}\right]^{\alpha_D}. $$

含义可以直接从指数读出。损失随 $N$ 按幂律下降，在双对数坐标下近似为直线；参数扩大 10 倍，损失乘 $10^{-0.076}=0.8395$，即下降 16.1%。若基线损失为 3.0 nats，10 倍参数使其降为约 2.52 nats，困惑度从 20.1 降到 12.4，约 1.62 倍。这个量级说明规模收益是稳定但缓慢的：按同一基线外推，把困惑度减半需要约 30 倍参数，同时数据量须同步扩张，否则数据会成为瓶颈。

在固定计算预算下，$C\approx6ND$ 给出参数与数据的权衡。论文报告的分配为 $N\propto C^{0.73}$、$D\propto C^{0.27}$，即新增算力的约四分之三用于增大模型、四分之一用于增加数据。Chinchilla 随后修正了这一分配：在相同计算预算下，参数量与 token 数应大致同比扩张，约每参数 20 个 token（例如 70B 参数配 1.4T token）。GPT-3 的 300B token 对 175B 参数只有 1.71 token/参数，按这一口径属于训练不足。

缩放律的适用范围必须写清楚，否则会被误用：

- 幂律是在特定数据分布、特定架构与优化器下拟合的经验关系，换数据分布或换分词方案后指数会变。
- 它预测的是交叉熵，不是具体任务准确率；下游指标与损失的相关性在部分任务上弱。
- 它不预测能力的有无，只预测平均损失的走势；某项能力在某个规模后突然可用，需要单独测量。
- 数据质量、去重与重复训练会改变曲线；在数据受限时，幂律形式需要换成带数据上限的饱和形式。

### 6 参数量逐项估算

以 $d_{ff}=4d$、输入嵌入与输出投影共享权重、位置嵌入为学习式绝对位置为前提，逐项计数如下。

| 组件 | 参数量 | 说明 |
|---|---|---|
| token 嵌入 | $Vd$ | 与输出投影共享，只计一次 |
| 位置嵌入 | $n_{\text{ctx}}d$ | 学习式，行数等于上下文上限 |
| 每层注意力 | $4d^{2}$ | $\mathbf{W}_Q,\mathbf{W}_K,\mathbf{W}_V,\mathbf{W}_O$ 各 $d\times d$ |
| 每层前馈 | $2d\,d_{ff}=8d^{2}$ | 升维与降维两个矩阵 |
| 每层 LayerNorm | $4d$ | 两个 LN，各含缩放与平移 |
| 末端 LayerNorm | $2d$ | pre-LN 结构在最后一层之后加一个 |
| 合计 | $Vd+n_{\text{ctx}}d+L(12d^{2}+4d)+2d$ | 未计偏置 |

两个容易出错的地方。第一，**头数不改变参数量**：$H$ 个头每个维度 $d/H$，其 $\mathbf{W}_Q$ 合计为 $H\cdot(d/H)\cdot d=d^{2}$，与单头相同；改变 $H$ 只改变计算的组织方式与每头维度。第二，**权重共享只计一次**：若嵌入与输出投影共享，总参数中 $Vd$ 只出现一次；若不共享，需再加 $Vd$，GPT-2 的 $d=1600$、$V=50257$ 时这一项为 80.4M，占总量 5%。

GPT-2 small 的算例（$L=12$，$d=768$，$H=12$，$d_{ff}=3072$，$n_{\text{ctx}}=1024$，$V=50257$）：

| 项 | 数值 | 占比 |
|---|---|---|
| token 嵌入 $Vd$ | 38,597,376 | 31.0% |
| 位置嵌入 $n_{\text{ctx}}d$ | 786,432 | 0.6% |
| 每层 $12d^{2}+4d$ | 7,080,960 | — |
| 12 层合计 | 84,971,520 | 68.3% |
| 末端 LN | 1,536 | 0.0% |
| 总计 | 124,356,864 | 100% |

$12d^{2}=12\times589{,}824=7{,}077{,}888$，加 $4d=3072$ 得每层 7,080,960；乘以 12 得 84,971,520；加 $Vd=38{,}597{,}376$、$n_{\text{ctx}}d=786{,}432$、$2d=1{,}536$，总计 124,356,864，即约 124.4M。

这一结果与论文标注不一致，值得单独核对。GPT-2 论文给出四个规模为 117M、345M、762M、1542M，而按 50257 词表核算分别得到 124.4M、354.6M、773.6M、1556.9M，系统性偏高 7 至 15M。改用约 4 万的词表（GPT-1 的口径）重算：

| 模型 | 论文标注 | $V=50257$ 核算 | $V=40478$ 核算 |
|---|---|---|---|
| small | 117M | 124.36M | 116.85M |
| medium | 345M | 354.60M | 344.59M |
| large | 762M | 773.62M | 761.10M |
| XL | 1542M | 1556.92M | 1541.27M |

四个值全部落在 1M 误差内。因此论文表格的参数量是按约 4 万词表核算的，与 50257 词表的实际模型不一致；引用 GPT-2 参数量时应说明口径，否则会低估 1% 至 6%。GPT-3 的 175B 在 $V=50257$、$n_{\text{ctx}}=2048$ 下核算为 174.59B，与标注一致。

### 7 计算量与显存

训练计算量按每参数每 token 前向 2 次、反向 4 次浮点运算估算：

$$ C_{\text{train}}\approx6ND. $$

GPT-3 以 $N=1.746\times10^{11}$、$D=3\times10^{11}$ 代入得 $C\approx3.14\times10^{23}$ 次浮点运算，对应批大小 320 万 token 时约 93,750 个训练步。

推理计算量分两段。prefill 阶段一次处理 $T$ 个 token，计算量约 $2NT$；decode 阶段每步处理 1 个 token，约 $2N$。GPT-3 的 $2N\approx3.49\times10^{11}$，2048 token 的 prefill 约 $7.15\times10^{14}$ 次浮点运算。由于 decode 阶段每步只做一次矩阵向量乘，其瓶颈是显存带宽而不是算力，提升批大小可以提高吞吐但不能降低单请求延迟，见 [[KV缓存]]。

显存方面，fp16 权重的下界为 $2N$ 字节：GPT-3 175B 约 325 GiB，GPT-2 small 约 249 MB（237 MiB）。推理时还需为每层缓存键与值，其容量随批大小、上下文长度与 KV 头数线性增长，通常与权重同量级甚至更大。

### 8 能力与局限

GPT 系列可验证的能力包括：语言建模与补全、在提示格式下执行分类与抽取、少样本条件下的格式模仿、跨任务的零样本迁移。这些能力随参数量与数据量提升，且在 GPT-3 的规模上表现出对提示格式的敏感性。

局限同样明确：

- **幻觉**：训练目标是拟合文本分布，模型没有内建的事实核查机制；流畅与正确不是同一目标，模型可以以高概率生成错误陈述。
- **上下文窗口**：GPT-3 的 2048 token 上限由位置嵌入行数硬性限制，超出部分没有对应的位置向量；同时注意力的 $O(T^{2})$ 计算量使扩展窗口代价高昂，后续工作用稀疏化与位置外推缓解，见 [[超长上下文-无限注意力]]。
- **数据截止与分布偏差**：模型只见过训练语料，语料中的时间、地域与群体偏差会进入输出。
- **字符级任务弱**：byte-level BPE 把字符串切成子词，模型没有直接的字符视图，拼写、字符计数、数字对齐类任务因此偏弱，见 [[Tokenizer与BPE]]。
- **多步推理**：一次前向的计算深度固定为 $L$ 层，不能按问题难度自适应增加串行步骤；需要外部工具或显式的中间步骤（链式提示）补偿。
- **提示敏感与评测污染**：同一任务换一种表述结果可能显著变化；训练语料可能包含测试集，公开基准的分数需要谨慎解读。

## 关键直觉

> [!tip] 一个 decoder-only 模型可以视为一个函数 $f_\theta:\mathcal{V}^{*}\to\Delta(\mathcal{V})$，输入任意前缀、输出下一个 token 上的分布；GPT-1 到 GPT-3 的变化发生在三个位置：函数的容量（$L$、$d$、$V$）、训练分布（BooksCorpus、WebText、过滤后的 CommonCrawl）与调用方式（微调、零样本、上下文示例），函数形式始终是同一个条件似然。上下文学习改变的是输入，不是函数；缩放律描述的是容量增大时该函数在训练分布上的平均交叉熵如何下降。

这一表述与严格定义的关系是：定义给出了目标函数与结构，上述分解说明了三代系统的差异落在哪些维度，也说明了为什么"规模"不是唯一变量——适配方式改变了函数的调用点，而不改变函数本身。

## 例子与代码

以下代码只依赖 Python 3.10 标准库，输出为实际运行结果。

### 例 1：配置与参数量核算

```python
from dataclasses import dataclass

@dataclass
class GPTConfig:
    n_layer: int
    n_head: int
    d_model: int
    n_ctx: int
    vocab_size: int
    d_ff: int = 0
    tied: bool = True

    def __post_init__(self):
        if self.d_ff == 0:
            self.d_ff = 4 * self.d_model          # GPT 系列的默认比例

    @property
    def head_dim(self):
        assert self.d_model % self.n_head == 0, "d_model 必须能被头数整除"
        return self.d_model // self.n_head

    def breakdown(self):
        emb = self.vocab_size * self.d_model        # 词嵌入，tied 时只计一次
        pos = self.n_ctx * self.d_model             # 学习式绝对位置嵌入
        attn = 4 * self.d_model ** 2                # Q K V O 四个 d×d 矩阵
        ffn = 2 * self.d_model * self.d_ff          # 升维 + 降维
        ln = 4 * self.d_model                       # 两个 LayerNorm
        layer = attn + ffn + ln
        total = emb + pos + self.n_layer * layer + 2 * self.d_model
        if not self.tied:
            total += self.vocab_size * self.d_model
        return dict(emb=emb, pos=pos, attn=attn, ffn=ffn, layer=layer, total=total)

CFG = {
    "GPT-1":        GPTConfig(12, 12, 768, 512, 40478, 3072),
    "GPT-2 small":  GPTConfig(12, 12, 768, 1024, 50257, 3072),
    "GPT-2 medium": GPTConfig(24, 16, 1024, 1024, 50257, 4096),
    "GPT-2 large":  GPTConfig(36, 20, 1280, 1024, 50257, 5120),
    "GPT-2 XL":     GPTConfig(48, 25, 1600, 1024, 50257, 6400),
    "GPT-3 175B":   GPTConfig(96, 96, 12288, 2048, 50257, 49152),
}

print(f"{'model':<13}{'L':>3}{'H':>4}{'d':>7}{'d/H':>5}{'ctx':>6}{'V':>7}"
      f"{'layer(M)':>10}{'total(M)':>10}")
for name, c in CFG.items():
    b = c.breakdown()
    print(f"{name:<13}{c.n_layer:>3}{c.n_head:>4}{c.d_model:>7}{c.head_dim:>5}"
          f"{c.n_ctx:>6}{c.vocab_size:>7}{b['layer']/1e6:>10.2f}{b['total']/1e6:>10.1f}")

b = CFG["GPT-2 small"].breakdown()
print("\nGPT-2 small")
for k in ("emb", "pos", "attn", "ffn", "layer"):
    print(f"  {k:<6}{b[k]:>12,}  {b[k]/1e6:7.3f}M")
print(f"  total {b['total']:>12,}  {b['total']/1e6:7.3f}M")
```

```text
model          L   H      d  d/H   ctx      V  layer(M)  total(M)
GPT-1         12  12    768   64   512  40478      7.08     116.5
GPT-2 small   12  12    768   64  1024  50257      7.08     124.4
GPT-2 medium  24  16   1024   64  1024  50257     12.59     354.6
GPT-2 large   36  20   1280   64  1024  50257     19.67     773.6
GPT-2 XL      48  25   1600   64  1024  50257     30.73    1556.9
GPT-3 175B    96  96  12288  128  2048  50257   1811.99  174593.6

GPT-2 small
  emb     38,597,376   38.597M
  pos        786,432    0.786M
  attn     2,359,296    2.359M
  ffn      4,718,592    4.719M
  layer    7,080,960    7.081M
  total  124,356,864  124.357M
```

`head_dim` 一列说明 GPT-2 四个规模都把每头维度固定为 64，$d$ 增大时增加的是头数而不是每头宽度；GPT-3 的最大模型改用每头 128 维，$96\times128=12288$ 恰好等于 $d$。`layer(M)` 一列是单层参数量，它与总参数的比值随规模下降：GPT-2 small 为 5.7%，GPT-3 为 1.0%，因为词嵌入项 $Vd$ 与层数无关，在小模型上占比更高。

去掉 `d_model % n_head == 0` 的断言，$d=768$、$H=12$ 这类合法配置照常工作；若配置成 $H=10$，断言会先触发，而去掉断言后每头维度变成 76.8，后续 reshape 在运行时报形状错误，且错误信息不指向配置本身。`tied` 开关用于核对不共享权重的情形，GPT-2 与 GPT-3 均为共享。

### 例 2：计算量与显存

```python
N = CFG["GPT-3 175B"].breakdown()["total"]
print("params", N, "=", round(N / 1e9, 2), "B")
print("train 6ND (D=300e9)", f"{6 * N * 300e9:.3e}", "FLOPs")
print("per token 2N      ", f"{2 * N:.3e}")
print("prefill 2048      ", f"{2 * N * 2048:.3e}")
print("fp16 weights GiB  ", round(2 * N / 2**30, 1))
print("steps at 3.2M/batch", int(300e9 // 3.2e6))
print("tokens per param  ", round(300e9 / 175e9, 2))
print("10x params ratio  ", round(10 ** -0.076, 4))
```

```text
params 174593642496 = 174.59 B
train 6ND (D=300e9) 3.143e+23 FLOPs
per token 2N       3.492e+11
prefill 2048       7.151e+14
fp16 weights GiB   325.2
steps at 3.2M/batch 93750
tokens per param   1.71
10x params ratio   0.8395
```

第一行说明按 $V=50257$、$n_{\text{ctx}}=2048$ 逐项核算得到 174.59B，与论文的 175B 一致，误差来自取整。第七行的 1.71 token/参数是判断"训练是否充分"的量：按约 20 token/参数的口径，175B 参数对应约 3.5T token，GPT-3 的 300B 只有该量的 8.6%。最后一行的 0.8395 是缩放律的量级计算，说明 10 倍参数的收益约为 16% 的损失下降，而不是数量级下降。

`6ND` 只适用于训练，不能用于推理估算；`2N` 是单 token 前向的下界，实际值还要加上注意力与 KV 读取的开销。把 `6ND` 当作推理成本会高估约 3 倍（$6N$ 对每 token 的 $2N$），把 `2N` 当作训练成本则低估 3 倍。

## 易错点

> [!warning] 以下六条均可通过核算或文献对照直接检验。
> 1. 把 GPT-2 论文的 117M 当作 GPT-2 small 的真实参数量：按 50257 词表核算为 124.36M，117M 是按约 4 万词表核算的口径。引用时须写明词表口径，否则与实现不符。
> 2. 漏算词嵌入或位置嵌入，或在权重共享时重复计算输出投影：$Vd$ 在 $10^{7}$ 至 $10^{9}$ 量级，位置嵌入在 $10^{5}$ 至 $10^{7}$ 量级，漏算任一项都会产生两位数百分比误差；共享时多算一次 $Vd$ 同样如此。
> 3. 认为增加头数会增加参数：$H$ 个头每头 $d/H$ 维，$\mathbf{W}_Q$ 合计恒为 $d\times d$，改变 $H$ 只改变并行粒度与每头维度，不改变参数量。
> 4. 把上下文学习描述为"模型在上下文里更新了参数"：参数在同一会话内是常量，改变的是注意力读到的键值内容，即条件分布 $p_\theta(y\mid c)$ 而非参数 $\theta$。由此可推出 ICL 的效果不随调用次数累积、会话结束即消失。
> 5. 把缩放律当作跨数据分布、跨架构的定律，或用它预测某项具体能力何时出现：幂律拟合的是特定分布下的交叉熵，指数随数据与分词方案变化，下游准确率与损失的相关性在部分任务上很弱。
> 6. 用 $6ND$ 估算推理成本或用 $2N$ 估算训练成本：前者高估约 3 倍，后者低估约 3 倍；推理的 decode 阶段还受显存带宽限制，实际延迟不能用 FLOPs 直接换算。

## 关联笔记

- 前置 [[Transformer架构详解]]：本篇的每一层参数都按该篇的子层结构计数，残差、LayerNorm 与 FFN 的位置决定了项数。
- 前置 [[自回归生成与采样]]：GPT 的推理过程即该篇的解码循环；温度、top-p 与束宽的选择直接改变本系列模型的实际输出。
- 对照 [[BERT与双向编码模型]]：同一 Transformer 骨架，CLM 与 MLM 的目标差异导致生成能力的有无与监督密度的 6.7 倍差距。
- 后续 [[Llama-2架构复盘]]：RMSNorm、SwiGLU、RoPE、GQA 是对本篇所述 GPT 结构的逐项替换，理解替换动机需要本篇的参数量与计算量公式。
- 后续 [[预训练-微调-对齐pipeline]]：本篇只覆盖第一阶段，该篇给出预训练、监督微调与偏好对齐的完整流程与数据配比。

## 达标检测

- [ ] 写出 CLM 的损失与对 logits 的梯度，说明为何一次前向可以产生 $T$ 个监督信号，并解释因果掩码在其中的作用。
- [ ] 默写参数量公式 $Vd+n_{\text{ctx}}d+L(12d^{2}+4d)+2d$，说明每一项的来源，并计算 GPT-2 medium（$L=24$、$d=1024$、$V=50257$、$n_{\text{ctx}}=1024$）的参数量，与论文标注的 345M 比较并解释差额。
- [ ] 解释为什么头数不改变参数量，给出 $\mathbf{W}_Q$ 的参数计数推导。
- [ ] 用 200 字说明上下文学习为何不更新参数，并从该机制推出两条可检验的性质。
- [ ] 写出缩放律的三条幂律形式，说明 $10^{-0.076}$ 的含义，并计算参数扩大 100 倍时损失的比例变化。
- [ ] 用 $6ND$ 与 $2N$ 分别估算 GPT-3 的训练与单 token 推理计算量，说明两者的适用阶段与误差来源。
- [ ] 列出一项 GPT 系列的能力与一项局限，各给出一个能区分"模型能力"与"解码配置"的对照实验设计。

## 参考来源

- Radford et al., "Improving Language Understanding by Generative Pre-Training", 2018 —— 对应本篇第 2 节的 GPT-1 配置、第 3 节的预训练加微调流程与辅助 LM 损失。
- Radford et al., "Language Models are Unsupervised Multitask Learners", 2019 —— 对应第 2 节的四个规模与 50257 byte-level 词表、第 3 节的零样本设定与 WebText 构造、第 6 节的参数量口径核对。
- Brown et al., "Language Models are Few-Shot Learners", arXiv:2005.14165, 2020 —— 对应第 2 节的 175B 配置、第 3 与第 4 节的上下文学习、第 7 节的计算量与批大小。
- Kaplan et al., "Scaling Laws for Neural Language Models", arXiv:2001.08361, 2020 —— 对应第 5 节的三条幂律、联合形式与计算最优分配。
- Hoffmann et al., "Training Compute-Optimal Large Language Models", arXiv:2203.15556, 2022 —— 对应第 5 节末尾的每参数约 20 token 口径与对 GPT-3 训练充分性的判断。
- Raschka, *Build a Large Language Model (From Scratch)*, 2024, 第 4 章 —— 对应第 1 节的损失实现与第 6 节的逐项参数计数，以及 pre-LN 与 post-LN 的差异。
