---
tags: [AI, 微调, peft, 参数高效]
阶段: 07-微调与对齐
难度: ★★☆
created: 2026-10-18
related: "[[LoRA与QLoRA]], [[继续预训练与领域适配]], [[RAG原理与流程]]"
---

# 微调方法全景

## 定义

**微调**（fine-tuning）指以预训练权重 $\theta_0\in\mathbb{R}^{N}$ 为初始化，在目标任务数据 $\mathcal{D}=\{(\mathbf{x}_i,\mathbf{y}_i)\}_{i=1}^{M}$ 上最小化经验风险 $L(\theta)$，得到 $\theta=\theta_0+\Delta\theta$，其中 $N$ 为参数总数，$\Delta\theta$ 为更新量。**参数高效微调**（parameter-efficient fine-tuning，PEFT）是微调的子类：只训练参数集合 $\phi\subseteq\theta$（$|\phi|=P\ll N$），其余参数在训练全程冻结，前向计算可以额外引入不属于 $\theta_0$ 的结构（瓶颈层、前缀、缩放向量）。

本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $N$ | 基座模型参数总数 |
| $P$ | 可训练参数数目 |
| $d$ | 隐藏维度 |
| $d_{ff}$ | 前馈网络中间维度 |
| $L$ | Transformer 层数 |
| $B,T$ | 批大小、序列长度 |
| $r$ | LoRA 的秩 |
| $\alpha$ | LoRA 的缩放超参数 |
| $m$ | Adapter 的瓶颈维度 |
| $l$ | 前缀长度 |
| $b_w,b_g,b_o,b_a$ | 权重、梯度、优化器状态、激活的每元素字节数 |

术语定义。**冻结**（freeze）指把参数的 `requires_grad` 置为假，反向传播不为其计算梯度，优化器也不为其保存状态。**重参数化**（reparameterization）指用另一组维数更低的变量表示更新量，训练完成后可还原为原参数空间的张量。**可合并**（mergeable）指训练得到的更新能通过代数变换写入原权重，使推理时的计算图与基座模型完全一致。**瓶颈**（bottleneck）指中间维度小于输入输出维度的线性层组合。**前缀**（prefix）指拼接在键值或输入嵌入之前的一段可训练向量。

## 为什么重要

微调的可行性由显存决定，显存由四项构成：权重、梯度、优化器状态、激活。对 $N=6.74\times10^{9}$ 的 7B 模型，混合精度 AdamW 的参数与优化器状态需要 $16N\approx107.8$ GB，单张 80 GB 加速卡无法容纳，必须引入 ZeRO 切分或多卡并行（[[分布式训练与部署]]）。PEFT 把这一项降到 $2N+16P$（LoRA $r=8$ 时为 13.8 GB），使单卡 24 GB 的实验成为可能。可尝试的配置数量与单次实验成本成反比，因此 PEFT 改变的不只是显存占用，还有调参与消融的迭代速度。

PEFT 同时改变了部署形态。可合并的方法（LoRA、IA3、BitFit）在推理前把更新写入权重，服务端只加载一份基座；不可合并的方法（Adapter、Prefix）必须常驻额外结构，每个请求都要经过这些算子。多任务场景下，一个冻结基座可以挂载多组低秩适配器，按租户切换，权重副本从每任务 13.5 GB 降到每任务数十 MB。

PEFT 也改变了失败模式。全量微调在小数据上容易过拟合与遗忘；PEFT 把更新限制在低维子空间，对遗忘有一定抑制作用，但容量受限，任务距离远时无法达到全量微调的效果。判断"该用哪种方法"需要同时估计三个量：数据量、任务与预训练分布的差异、可接受的部署开销。本篇给出这些量的计算方式与决策顺序。

在笔记库中的位置：本篇承接 [[预训练-微调-对齐pipeline]] 的三阶段划分，给出第二阶段可选方法的坐标；[[LoRA与QLoRA]] 展开使用最广的一种；[[指令微调SFT]] 给出数据组织与损失掩码；[[继续预训练与领域适配]] 处理"需要新知识"的情形；[[RAG原理与流程]] 处理"知识频繁变化"的情形。对应学习目标中的"懂原理"与"会评估"：能算出每种方法的参数量与显存，能说明其效果边界。

## 原理与推导

### 1 全量微调的成本分解

训练一步需要同时驻留四类张量。以 bf16 前向、fp32 更新的混合精度 AdamW 为例，每参数字节数为：

$$
\underbrace{2}_{w\ \text{bf16}}+\underbrace{2}_{g\ \text{bf16}}+\underbrace{4}_{\text{fp32 主权重}}+\underbrace{4}_{m}+\underbrace{4}_{v}=16\ \text{字节}.
$$

其中 $\mathbf{m},\mathbf{v}$ 是 Adam 的一阶矩与二阶矩（[[优化器与学习率]]）。写成通式：

$$
M_{\text{state}}=N\left(b_w+b_g+b_o\right),\qquad b_o=b_{\text{master}}+2b_{\text{adam}}.
$$

fp32 主权重存在的原因是 bf16 只有 8 位有效尾数，参数更新量 $\eta\cdot\hat{g}$ 常小于相邻 bf16 数的间距，直接累加会被舍入为零；用 fp32 保存一份可更新的副本，前向时再转 bf16。去掉主权重（纯 bf16 状态）可把每参数字节降到 8，8-bit Adam 降到 10，代价是数值稳定性或精度。

| 配置 | $b_w+b_g$ | $b_o$ | 每参数总字节 | 7B 模型状态显存 |
|---|---|---|---|---|
| bf16 权重 + fp32 AdamW | 4 | 12 | 16 | 107.8 GB |
| bf16 权重 + 8-bit Adam | 4 | 6 | 10 | 67.4 GB |
| 纯 bf16 权重与状态 | 4 | 4 | 8 | 53.9 GB |
| SGD + Momentum（fp32） | 4 | 8 | 12 | 80.9 GB |

7B 模型的参数量可按结构逐项核对：词嵌入 $32000\times4096=131{,}072{,}000$；每层注意力 $4\times4096^{2}=67{,}108{,}864$、前馈 $3\times4096\times11008=135{,}266{,}304$、两个归一化 $2\times4096$，合计 $202{,}383{,}360$；32 层为 $6{,}476{,}267{,}520$；输出层 $131{,}072{,}000$；末端归一化 $4096$。总计

$$
131{,}072{,}000+6{,}476{,}267{,}520+131{,}072{,}000+4096=6{,}738{,}415{,}616 .
$$

激活是第四项，其规模由 $B,T,L,d,d_{ff}$ 决定，与是否使用 PEFT 无关。按每层保留 8 个 $B\times T\times d$ 张量与 2 个 $B\times T\times d_{ff}$ 张量估算：

$$
M_{\text{act}}\approx L\left(8BTd+2BTd_{ff}+\mathbf{1}_{\text{标准注意力}}\,hBT^{2}\right)b_a .
$$

取 $B=1$、$T=2048$、$b_a=2$、$h=32$：每层 $224$ MB，32 层为 7.2 GB；标准注意力还要物化 $h\times T\times T$ 的分数矩阵，每层 268 MB，32 层为 8.6 GB。三种配置的估算如下。

| 配置 | 每层激活 | 32 层合计 |
|---|---|---|
| 标准注意力，不检查点 | 492 MB | 15.8 GB |
| FlashAttention，不检查点 | 224 MB | 7.2 GB |
| FlashAttention + 梯度检查点 | 16.8 MB（仅存层输入） | 0.54 GB + 首尾约 0.3 GB |

梯度检查点用一次额外前向换显存，代价约 30% 的训练时间。表中数字是公式估算，实测还需加上通信缓冲、cuBLAS 工作区与显存碎片，通常高出 10%–30%。

### 2 PEFT 的分类

按"更新作用在哪个空间"分类，比按方法名罗列更能说明差异。

| 类别 | 代表方法 | 更新对象 | 是否改结构 | 是否可合并 | $P$ 的量级 |
|---|---|---|---|---|---|
| 加性低秩分解 | LoRA | 权重矩阵的低秩增量 $\Delta W=BA$ | 否 | 是 | $r(d+k)$ 每模块 |
| 加性瓶颈 | Adapter | 子层输出上的 $d\to m\to d$ 变换 | 是 | 否 | $2dm$ 每适配器 |
| 选择性 | BitFit | 偏置项 | 否 | 是（偏置本身） | 偏置元素总数 |
| 缩放向量 | IA3 | 激活的逐通道缩放 | 否 | 是（折入相邻权重） | $d$ 或 $d_{ff}$ 每处 |
| 前缀/重参数化 | Prefix Tuning、Prompt Tuning | 键值对或输入嵌入 | 否 | 否 | $2ldL$ 或 $ld$ |

判断一个方法是否可合并，只需看更新是否以加性或乘性方式直接作用于线性映射。LoRA 是 $W_0x+\Delta Wx=(W_0+\Delta W)x$，可合并；Adapter 是 $h+\sigma(hW_{\text{down}})W_{\text{up}}$，中间的激活函数阻断代数吸收，不可合并；IA3 是 $\boldsymbol{l}\odot(xW)$，可写成 $x(W\,\mathrm{diag}(\boldsymbol{l}))$，可折入；Prefix 改变的是键值序列的长度，与权重无关，不可合并。

### 3 Adapter

在原论文的插入方式中，每个子层输出先经过一个瓶颈变换，再与原输出相加：

$$
\mathbf{h}'=\mathbf{h}+\mathrm{GeLU}\left(\mathbf{h}\mathbf{W}_{\text{down}}\right)\mathbf{W}_{\text{up}},
\qquad
\mathbf{W}_{\text{down}}\in\mathbb{R}^{d\times m},\;
\mathbf{W}_{\text{up}}\in\mathbb{R}^{m\times d}.
$$

可训练参数量（含偏置）为

$$
P_{\text{adapter}}=dm+md+d+m=2dm+d+m .
$$

取 $d=4096$、$m=64$：$2\times4096\times64+4096+64=528{,}448$。每层放两个（注意力后与前馈后），32 层合计 $33{,}820{,}672$，占 7B 的 $0.5019\%$。若按原论文再加一个 LayerNorm，每个适配器增加 $2d=8192$。

插入位置有若干变体，差别在于归一化的顺序：原论文把 LayerNorm 放在适配器之后，作为残差分支的一部分；后续工作把 LayerNorm 放在适配器之前，并置于残差旁路中。两种写法都可行，但归一化位置不同会改变各层输入的尺度，跨论文比较结果时必须确认采用的是哪一种。

推理开销不能只看 FLOPs。每个适配器每 token 的额外乘加为 $2\times2dm=4dm\approx1.05$ MFLOP，一层两个为 2.10 MFLOP；该层本身的乘加约为 $2\times202.4\text{M}\approx405$ MFLOP，比例 $0.52\%$。实际墙钟延迟高于此比例：瓶颈层是 $(BT\times d)\cdot(d\times m)$ 的窄 GEMM，$m=64$ 时算术强度低，接近内存带宽上限；解码阶段 $B=1$，GEMM 退化为矩阵向量乘，启动开销占比进一步上升。此外适配器增加了算子数量，影响算子融合与流水线切分。

### 4 Prefix Tuning 与 Prompt Tuning

Prefix Tuning 在每一层的键与值之前拼接 $l$ 个可训练向量：

$$
\mathbf{K}'=\left[\mathbf{P}_{K};\mathbf{K}\right]\in\mathbb{R}^{(l+T)\times d},
\qquad
\mathbf{V}'=\left[\mathbf{P}_{V};\mathbf{V}\right]\in\mathbb{R}^{(l+T)\times d},
\qquad
\mathbf{P}_{K},\mathbf{P}_{V}\in\mathbb{R}^{l\times d}.
$$

参数量为 $2ldL$（若采用 MLP 重参数化生成前缀，训练时另有生成网络参数，训练后丢弃）。取 $l=10$、$d=4096$、$L=32$：$2{,}621{,}440$，占 $0.0389\%$。

由于前缀位于序列之前，因果掩码允许其后所有位置看到它们，因此真实 token 的查询可以读取前缀的键值，而前缀位置自身的输出不参与损失。这使前缀等价于给每层注入 $l$ 个"所有查询都能访问的上下文位置"，其作用方式与提示词不同：提示词只影响输入嵌入，前缀直接影响每层的注意力分布。

Prompt Tuning 只在前端嵌入处拼接 $l$ 个可训练向量，参数量为 $ld$，取 $l=100$ 时仅 $409{,}600$（$0.0061\%$）。它不改变任何一层的计算图，但可调自由度也最小，通常在模型规模足够大时才能接近其他方法的效果。

前缀对显存的影响有两处。其一，它占用上下文窗口的 $l$ 个位置，可用序列长度减少 $l$；其二，它进入 KV 缓存，每条序列增加 $2ldLb$ 字节；取 $l=10$，每序列增加 5.24 MB，批大小 32 时为 168 MB（[[KV缓存]]）。前缀不能在中途丢弃，否则后续 token 的注意力分布改变。使用旋转位置编码时，前缀与真实 token 的位置索引必须统一：若把前缀作为序列前段拼接，真实 token 的位置整体平移 $l$，与在文本前加提示词相同；若以 `past_key_values` 方式注入，需确认位置索引是否同步偏移，否则相位错位会削弱前缀的作用。

### 5 LoRA

LoRA 把更新写成两个窄矩阵的乘积，前向为

$$
\mathbf{y}=\mathbf{W}_{0}\mathbf{x}+\frac{\alpha}{r}\mathbf{B}\mathbf{A}\mathbf{x},
\qquad
\mathbf{B}\in\mathbb{R}^{d\times r},\;
\mathbf{A}\in\mathbb{R}^{r\times k},\;
r\ll\min(d,k).
$$

可训练参数量为 $r(d+k)$，与满秩的 $dk$ 之比为 $r(1/d+1/k)$。7B 模型对全部线性层取 $r=8$ 时为 $19{,}988{,}480$（$0.2966\%$），只对 $q,v$ 取 $r=8$ 时为 $4{,}194{,}304$（$0.0622\%$）。初始化取 $\mathbf{B}=0$、$\mathbf{A}$ 随机，保证训练起点 $\Delta W=0$。由于更新是加性的，可在推理前合并为 $\mathbf{W}'=\mathbf{W}_{0}+\frac{\alpha}{r}\mathbf{B}\mathbf{A}$，推理延迟与基座相同。低秩假设的依据、$\alpha/r$ 的作用、显存逐项分析与 QLoRA 的量化方案见 [[LoRA与QLoRA]]。

### 6 IA3

IA3 用三个逐通道缩放向量分别作用于键、值与前馈中间激活：

$$
\mathbf{K}'=\boldsymbol{l}_{k}\odot\mathbf{K},\qquad
\mathbf{V}'=\boldsymbol{l}_{v}\odot\mathbf{V},\qquad
\mathbf{h}_{ff}'=\boldsymbol{l}_{ff}\odot\phi\left(\mathbf{h}\mathbf{W}_{1}\right),
$$

其中 $\odot$ 为逐元素乘，$\phi$ 为激活函数，$\boldsymbol{l}_{k},\boldsymbol{l}_{v}\in\mathbb{R}^{d}$，$\boldsymbol{l}_{ff}\in\mathbb{R}^{d_{ff}}$，初始化为全 1，因此训练起点与基座一致。每层参数量为 $d+d+d_{ff}=19{,}200$，32 层合计 $614{,}400$（$0.0091\%$），是表中最小的一档。

可合并性来自对角矩阵的结合律。以键为例，$\boldsymbol{l}_{k}\odot(\mathbf{x}\mathbf{W}_{K})=\mathbf{x}\left(\mathbf{W}_{K}\mathrm{diag}(\boldsymbol{l}_{k})\right)$，缩放被吸收进 $\mathbf{W}_{K}$ 的列，值同理吸收进 $\mathbf{W}_{V}$ 的列。前馈的缩放作用在激活函数之后，由于 $\phi$ 非线性，不能吸收进 $\mathbf{W}_{1}$，只能吸收进下一层的 $\mathbf{W}_{2}$：$\left(\boldsymbol{l}_{ff}\odot\mathbf{z}\right)\mathbf{W}_{2}=\mathbf{z}\left(\mathrm{diag}(\boldsymbol{l}_{ff})\mathbf{W}_{2}\right)$，即改写 $\mathbf{W}_{2}$ 的行。吸收后推理计算图不变，延迟为零。代价是表达能力：逐通道缩放只能改变各通道的增益，不能改变通道之间的混合方式，因此其可表示的更新集合小于低秩矩阵。

### 7 BitFit

BitFit 只训练所有偏置项，冻结其余参数：

$$
\mathbf{h}=\mathbf{x}\mathbf{W}+\mathbf{b},\qquad \mathbf{b}\ \text{可训练},\ \mathbf{W}\ \text{冻结}.
$$

参数量等于模型中偏置元素的总数。对含偏置的 GPT 类结构，每层为 $4d$（$q,k,v,o$ 的偏置）加 $d_{ff}+d$（前馈两层偏置），即 $31{,}488$；32 层合计 $1{,}007{,}616$（$0.0150\%$）。归一化的缩放与平移参数按定义不计入。

这一方法有一个结构前提：模型中必须存在线性层偏置。Llama 系架构的线性层无偏置，只有 RMSNorm 的缩放参数，若不修改结构，BitFit 的可训练参数为零。把归一化参数也纳入可训练集合后它不再是 BitFit，而是"只训练归一化"的另一种选择性方法。因此在无偏置架构上引用 BitFit 的实验结论前，必须确认其实验对象含偏置。

BitFit 有效的部分原因是偏置为每个通道提供一个可加的平移量，能在不改动特征混合的前提下调整各层的工作点；但它无法改变权重矩阵的输入输出关系，容量上限明显低于低秩方法。

### 8 方法对比

统一假设：基座为 7B（$N=6{,}738{,}415{,}616$），bf16 存储，$B=1$、$T=2048$，使用 FlashAttention 与梯度检查点，激活按 1.0 GB、logits 按 0.26 GB 计。

| 方法 | 注入位置 | 可训练参数 | 占比 | 训练显存估算 | 推理额外开销 | 可合并 | 效果（相对全量） |
|---|---|---|---|---|---|---|---|
| 全量微调 | 全部权重 | 6,738,415,616 | 100% | 约 110 GB | 无 | — | 上界 |
| Adapter $m=64$ | 子层输出 | 33,820,672 | 0.5019% | 约 15.3 GB | $+0.52\%$ FLOPs，不可合并 | 否 | 接近，低数据下常更好 |
| Prefix $l=10$ | 每层 K/V | 2,621,440 | 0.0389% | 约 14.8 GB | 占 $l$ 个位置，KV 缓存增加 | 否 | 生成任务接近，理解任务偏弱 |
| Prompt $l=100$ | 输入嵌入 | 409,600 | 0.0061% | 约 14.8 GB | 占 $l$ 个位置 | 否 | 依赖模型规模，小模型偏弱 |
| IA3 | K/V/FFN 激活 | 614,400 | 0.0091% | 约 14.8 GB | 折入权重后为零 | 是 | 接近，容量略低 |
| BitFit | 线性层偏置 | 1,007,616 | 0.0150% | 约 14.8 GB | 零（偏置本身即参数） | 是 | 明显偏低 |
| LoRA $r=8$ | 线性层权重 | 19,988,480 | 0.2966% | 约 15.1 GB | 合并后为零 | 是 | 接近 |
| LoRA $r=16$ | 线性层权重 | 39,976,960 | 0.5933% | 约 15.4 GB | 合并后为零 | 是 | 接近或持平 |
| QLoRA $r=16$ | 线性层权重 | 39,976,960 | 0.5933% | 约 6 GB | 合并后为零（合并需反量化） | 是 | 接近 bf16 LoRA，4-bit 有损 |

效果一列不宜用单一数字概括，只能给出条件性结论：数据量在数千条指令、任务与预训练分布接近时，LoRA、Adapter 与全量微调的差距通常在评测噪声范围内；任务距离远（新语言、新符号系统）时，低秩与瓶颈方法的差距扩大，需要提高 $r$ 或改为全量；Prompt Tuning 在小模型上明显弱于其他方法，随模型规模增大而改善。

### 9 选择决策

```mermaid
flowchart TD
    A["有标注任务数据"] --> B{"需要新知识还是新行为"}
    B -->|新知识| C["继续预训练，再 SFT"]
    B -->|新行为| D{"显存上限"}
    D -->|"< 24 GB"| E["QLoRA"]
    D -->|">= 24 GB"| F["LoRA"]
    E --> G{"需要零延迟或多租户"}
    F --> G
    G -->|是| H["合并权重，单基座多适配器"]
    G -->|否| I["保留适配器，运行时加载"]
```

按约束排序的决策表：

| 约束 | 首选 | 判据 |
|---|---|---|
| 单卡显存 16–24 GB | QLoRA | 4-bit 基座把权重降到 3.9 GB，余量留给激活 |
| 需要与原模型完全一致的推理延迟 | LoRA（合并）或 IA3 | 只有可合并的方法能做到零额外算子 |
| 一个基座服务多个任务 | LoRA | 每任务一份数十 MB 适配器，可热切换 |
| 数据少于 1000 条 | Prompt/Prefix 或 RAG | 低秩方法在小数据上仍会过拟合，全量更差 |
| 任务与预训练分布差距大 | 继续预训练 + LoRA | 先扩展分布，再学习任务格式 |
| 需要注入时效性事实 | RAG | 权重更新无法按天迭代，且无法溯源 |
| 数据量超过 $10^{6}$ 且追求上限 | 全量微调 | PEFT 的容量成为瓶颈 |

### 10 全量微调何时仍必要

以下情形 PEFT 不足以替代全量微调，判断依据是"受限参数化能否表示所需的更新"。

1. 需要改变的是分布而不是行为。新语言、新代码体系、新数学符号需要模型重新分配大量表示，低秩更新的秩 $r$ 远小于所需的有效秩，此时应先做继续预训练，且通常采用全量或接近全量的配置。
2. 数据量远大于可训练参数。数千万条样本下，$P\approx2\times10^{7}$ 的适配器容量不足，增加 $r$ 会迅速接近全量参数量，失去成本优势。
3. 需要更新词嵌入与输出层。新增词表时，嵌入矩阵的行必须改变；PEFT 通常冻结嵌入，若强行训练嵌入，其参数量（$V\times d$）往往超过适配器本身。
4. 需要产出可独立分发的基座。若目标是把能力固化到一个可直接部署的模型（例如蒸馏的教师），全量微调的产物不依赖额外结构。
5. 研究与对照。报告 PEFT 的效果时必须给出全量微调基线，否则无法区分"方法有效"与"任务简单"。

### 11 与 RAG 的取舍

微调改变参数中的条件分布，RAG 改变输入中的上下文，两者的作用位置不同，因此不是互斥选项（[[RAG原理与流程]]）。

| 维度 | 微调 | RAG |
|---|---|---|
| 知识载体 | 权重中的隐式关联 | 外部索引中的原文 |
| 更新成本 | 重新训练，小时到天 | 重建索引，分钟到小时 |
| 可溯源性 | 弱，无法给出出处 | 强，可返回文档与片段 |
| 延迟 | 合并后与基座相同 | 增加检索与更长上下文的开销 |
| 事实准确性 | 受训练数据时效约束 | 受检索质量与上下文长度约束 |
| 擅长 | 输出格式、语气、工具调用协议、推理步骤 | 时效性事实、长尾实体、私有文档 |

判据可以写成两个问题：答案是否存在于某份文档中且需要引用？若是，用 RAG。模型是否需要改变输出的结构、粒度或推理方式？若是，用 SFT。两者都需要时，先做 SFT 固定输出契约，再接入 RAG 提供事实，避免模型把检索内容改写成训练时见过的格式。

### 12 与继续预训练的边界

继续预训练（continual pre-training，CPT）与监督微调的目标函数不同：前者仍在无标注语料上最小化 $-\sum_t\log p(x_t\mid x_{<t})$，优化的是领域分布本身；后者在有标注对上最小化 $-\sum_t\log p(y_t\mid x,y_{<t})$，只对回答部分计损失（[[指令微调SFT]]）。

| 维度 | 继续预训练 | 监督微调 |
|---|---|---|
| 目标分布 | $p(x)$，领域语言模型 | $p(y\mid x)$，条件生成 |
| 数据 | 领域无标注语料，百万到十亿 token | 指令-回答对，千到十万条 |
| 学习率 | 小，通常 $10^{-5}$ 或更低 | 较大，$10^{-5}$ 到 $2\times10^{-4}$ |
| PEFT 适用性 | 通常全量或高秩，低秩容量不足 | LoRA/QLoRA 足够 |
| 主要风险 | 灾难遗忘、通用能力下降 | 过拟合模板、输出同质化 |

边界判据：如果模型缺少的是"词与概念的分布"（读不懂领域文本），做 CPT；如果模型能读懂但不会按要求输出，做 SFT。CPT 之后必须重新做 SFT，因为 CPT 会削弱指令跟随行为；缓解遗忘的手段包括混入通用语料、降低学习率、早停与在通用评测集上监控（[[继续预训练与领域适配]]）。

### 13 手算例：7B 模型全量微调与 LoRA 的参数量与显存

第一步，算参数量。7B 的分解已在上文给出，$N=6{,}738{,}415{,}616$。

第二步，算全量微调的状态显存：

$$
M_{\text{state}}=16\times6{,}738{,}415{,}616=107{,}814{,}649{,}856\ \text{字节}\approx107.8\ \text{GB}.
$$

加上激活 1.0 GB 与 logits 0.26 GB，约 109 GB；考虑临时缓冲与碎片，规划时按 112–120 GB 预留。单张 80 GB 卡不足，需要两张以上做 ZeRO 切分，或使用 8 卡数据并行。

第三步，算 LoRA 的可训练参数。对 $q,k,v,o$ 四个 $4096\times4096$ 矩阵与 $gate,up,down$ 三个 $4096\times11008$ 矩阵取 $r=8$：

$$
P=32\times\left[4\times8(4096+4096)+3\times8(4096+11008)\right]=32\times624{,}640=19{,}988{,}480 .
$$

第四步，算 LoRA 的状态显存：

$$
M_{\text{adapter}}=16\times19{,}988{,}480=319{,}815{,}680\ \text{字节}\approx0.32\ \text{GB}.
$$

第五步，汇总：

$$
M_{\text{LoRA}}=\underbrace{13.48}_{\text{bf16 冻结权重}}+\underbrace{0.32}_{\text{适配器状态}}+\underbrace{1.0}_{\text{激活}}+\underbrace{0.26}_{\text{logits}}\approx15.06\ \text{GB}.
$$

结论：参数量降低 $337$ 倍（$6.74\times10^{9}/2.0\times10^{7}$），状态显存降低 $337$ 倍，但总显存只降低 $7.2$ 倍，因为冻结权重与激活不受 PEFT 影响。这一差距说明"可训练参数少"与"训练显存少"不是同一件事。

## 关键直觉

> [!tip] PEFT 的统一形式：用受限参数化近似全量更新
> 全量微调在 $N$ 维参数空间中搜索；PEFT 把搜索限制在低维子空间（LoRA、Adapter）、稀疏坐标集（BitFit）、缩放向量（IA3）或输入与键值空间（Prefix、Prompt）。四类限制对应四种不同的可表示集合，容量依次递减，可合并性依次不同。
> 显存可以分解为 $2N+16P+M_{\text{act}}+M_{\text{logits}}$。PEFT 压缩的是 $16P$ 与（对 QLoRA）$2N$，不压缩 $M_{\text{act}}$。因此序列长度与批大小对 PEFT 训练的影响与全量微调同阶，长上下文场景下激活会成为主项。
> 与定义的关系：定义只要求 $|\phi|\ll N$。由定义可直接推出优化器状态按 $P$ 缩放；但"推理是否变慢""效果是否等价"都不能由定义推出，前者取决于更新能否合并，后者取决于受限集合是否包含所需的 $\Delta\theta$，两者都需要单独论证与测量。

## 例子与代码

### 例 1：六种方法的参数量与显存对照

以下代码只使用标准库，Python 3.10 及以上可运行，输出为按上节公式计算的结果。

```python
N = 6_738_415_616            # Llama-2-7B 总参数量
D, FFN, L = 4096, 11008, 32  # 隐藏维度、前馈中间维度、层数

def lora(r):                 # q,k,v,o + gate,up,down 全部线性层
    per_layer = 4 * r * (D + D) + 2 * r * (D + FFN) + r * (FFN + D)
    return per_layer * L

def adapter(m=64):           # 每层 2 个瓶颈适配器，含偏置
    return 2 * (2 * D * m + D + m) * L

def ia3():                   # 每层缩放 K、V 与 FFN 中间激活
    return (D + D + FFN) * L

def prefix(l=10):            # 每层 l 组可训练 K/V
    return 2 * l * D * L

def prompt(l=100):           # 仅输入嵌入处的前缀
    return l * D

def bitfit():                # 假设架构的线性层含偏置
    return (4 * D + FFN + D) * L

rows = [
    ("Adapter m=64", adapter()),
    ("Prefix l=10", prefix()),
    ("Prompt l=100", prompt()),
    ("IA3", ia3()),
    ("BitFit", bitfit()),
    ("LoRA r=8", lora(8)),
    ("LoRA r=16", lora(16)),
    ("full FT", N),
]
for name, p in rows:
    print(f"{name:<14}{p:>14,}{100 * p / N:>9.4f}%")

base = 2 * N / 1e9           # bf16 冻结权重
act = 1.0                    # 梯度检查点下的激活估计
logits = 4 * 1 * 2048 * 32000 / 1e9
print(f"\nfull FT : {(16 * N) / 1e9:.1f} GB + act {act} + logits {logits:.2f}")
print(f"LoRA r=8: {base:.2f} + {16 * lora(8) / 1e9:.2f} + {act} + {logits:.2f} = "
      f"{base + 16 * lora(8) / 1e9 + act + logits:.2f} GB")
```

```text
Adapter m=64      33,820,672   0.5019%
Prefix l=10        2,621,440   0.0389%
Prompt l=100         409,600   0.0061%
IA3                  614,400   0.0091%
BitFit             1,007,616   0.0150%
LoRA r=8          19,988,480   0.2966%
LoRA r=16         39,976,960   0.5933%
full FT        6,738,415,616 100.0000%

full FT : 107.8 GB + act 1.0 + logits 0.26
LoRA r=8: 13.48 + 0.32 + 1.0 + 0.26 = 15.06 GB
```

代码把每种方法的参数量写成维度的函数，再用同一分母 $N$ 归一化，因此各行的百分比可横向比较。`lora` 中的三项分别对应四个方阵、两个升维矩阵与一个降维矩阵；`adapter` 的系数 2 表示每层两个适配器，括号内是 $2dm+d+m$；`bitfit` 的 $4d+d_{ff}+d$ 只有在该架构的线性层确实带偏置时成立。

输出说明三点。第一，BitFit 的 $0.0150\%$ 是"假设有偏置"的结果，Llama 系上该值为零。第二，Adapter 与 LoRA $r=8$ 的参数量相差不到 1.7 倍（33.8M 对 20.0M），但前者不可合并，后者可以，说明参数量不是选择方法的唯一依据。第三，全量的总显存是 LoRA 的 7 倍，而状态显存相差 337 倍，两者的差距正是冻结权重与激活。

### 例 2：Adapter 的插入位置与 FLOPs 占比

以下代码片段在 PyTorch 2.0 及以上运行，用于核对适配器的参数量与额外计算量。

```python
import torch
import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, d=4096, m=64):
        super().__init__()
        self.down = nn.Linear(d, m)     # (B,T,d) -> (B,T,m)
        self.up = nn.Linear(m, d)       # (B,T,m) -> (B,T,d)
        self.act = nn.GELU()

    def forward(self, h):
        return h + self.up(self.act(self.down(h)))   # 残差旁路，形状不变

adapter = Adapter()
h = torch.randn(1, 8, 4096)
print(tuple(adapter(h).shape))
print(sum(p.numel() for p in adapter.parameters()))
per_layer = 2 * 202_383_360          # 一层每 token 的乘加：2 倍于该层参数量
extra = 4 * 4096 * 64 * 2            # 两个适配器每 token 的乘加
print(f"{100 * extra / per_layer:.2f}%")
```

```text
(1, 8, 4096)
528448
0.52%
```

`down` 把 $d$ 维压到 $m$ 维，`up` 还原，激活函数在低维空间执行，因此参数量是 $2dm+d+m$ 而非 $2d^{2}$。`forward` 中的 `h +` 是残差相加，保证 $m$ 与初始化方式选择不当时模型仍能退化为恒等映射。第二行输出与手算的 $528{,}448$ 一致；第三行把适配器的乘加与整层乘加相比，得到 $0.52\%$，这个数字只反映计算量，不反映延迟，原因见第 3 节。

## 易错点

> [!warning] 以下六条均可在参数量或显存计算中直接检验。
> 1. 把"可训练参数少"等同于"训练显存少"。7B 模型做 LoRA 仍需 13.5 GB 存放冻结权重，激活按 $B,T,L,d$ 增长；把 $r$ 从 8 降到 4 只节省 0.16 GB，而把 $T$ 从 1024 增到 4096 会使激活增加约 4 倍。
> 2. 混用 Adapter 的归一化顺序。原论文是子层输出经适配器后再做 LayerNorm，后续变体是先 LayerNorm 再进适配器；两种实现的参数量相同，但深层训练的稳定性与最终指标不同，跨论文比较时必须核对。
> 3. 认为前缀不占上下文与显存。Prefix 占用 $l$ 个位置并进入 KV 缓存，每条序列增加 $2ldLb$ 字节；若把 $l$ 设得很大又使用长输入，实际可用长度会被压缩，且注意力分数矩阵的宽度随之增加。
> 4. 在无偏置架构上直接套用 BitFit。Llama 系线性层无偏置，BitFit 的可训练参数为零，训练不会报错但损失不下降；需要先确认架构，或改为训练归一化参数（此时方法已不是 BitFit）。
> 5. 换 $r$ 时不同步调整 $\alpha$ 或学习率。LoRA 的有效更新幅度由 $\alpha/r$ 与学习率共同决定，固定 $\alpha$ 而把 $r$ 加倍会使每步的有效更新尺度改变，实验结论会被超参变化污染。
> 6. 合并后继续训练或重复合并。合并把 $\Delta W$ 写入 $\mathbf{W}_{0}$，适配器的梯度路径随之消失；若保留适配器再次合并，等价于把同一个 $\Delta W$ 加两次，输出偏移且无法通过损失曲线察觉。

## 关联笔记

- 前置 [[预训练-微调-对齐pipeline]]：该篇给出预训练、监督微调、偏好对齐三阶段的目标与数据形态，本篇只讨论第二阶段内部的方法选择。
- 前置 [[矩阵分解-SVD与特征分解]]：秩、奇异值与低秩近似的定义来自该篇，是理解 LoRA 容量上界与 Eckart–Young 截断误差的基础。
- 后续 [[LoRA与QLoRA]]：展开本篇第 5 节，给出 $\Delta W=BA$ 的梯度推导、合并的一致性验证、NF4 量化与 QLoRA 的完整显存算例。
- 对照 [[RAG原理与流程]]：该篇给出把知识放在上下文中的完整流程，与本篇第 11 节构成"改参数"与"改输入"的取舍。
- 对照 [[继续预训练与领域适配]]：该篇处理分布偏移与灾难遗忘，与本篇第 12 节的边界判据配套使用。

## 达标检测

- [ ] 写出混合精度 AdamW 的每参数显存公式，说明 fp32 主权重存在的数值原因，并计算 7B 与 70B 模型的状态显存。
- [ ] 推导 Adapter 的参数量 $2dm+d+m$，在 $d=4096$、$m=64$、每层 2 个、32 层的配置下算出总数与占比。
- [ ] 说明 Prefix Tuning 与 Prompt Tuning 在参数量、注入位置、对 KV 缓存的影响三方面的差别，并各给出一个不适用场景。
- [ ] 写出 LoRA 的参数量 $r(d+k)$ 与满秩 $dk$ 的比值，说明 $r$ 固定时哪类模块贡献的参数最多，并用 7B 的数值验证。
- [ ] 运行例 1，报告六种方法的占比；再给定 24 GB 单卡、7B 模型、$T=2048$ 的约束，列出可行方法及其显存预算表，指出哪一项会成为瓶颈。
- [ ] 列出三种应当选择全量微调而非 PEFT 的情形，并为每种给出可检验的判据。
- [ ] 识别以下错误：在 Llama 结构上把 BitFit 作为基线、把 $\alpha$ 固定而把 $r$ 从 8 改为 64、在合并后的模型上继续训练适配器。

## 参考来源

- Houlsby et al., "Parameter-Efficient Transfer Learning for NLP", arXiv:1902.00751, 2019 —— 对应本篇第 3 节 Adapter 的插入位置、瓶颈结构与参数量公式。
- Li & Liang, "Prefix-Tuning: Optimizing Continuous Prompts for Generation", arXiv:2101.00190, 2021 —— 对应第 4 节前缀的构造、$2ldL$ 参数量与重参数化训练方式。
- Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", arXiv:2106.09685, 2021 —— 对应第 5 节低秩旁路的形式、$r(d+k)$ 参数量与可合并性。
- Hugging Face PEFT 官方文档 —— 对应第 2 节的方法分类、第 6 至 7 节 IA3 与 BitFit 的实现细节、第 8 节对比表中的可训练参数统计方式。
- Goodfellow et al., *Deep Learning*, 2016, 第 8 章 —— 对应第 1 节优化器状态（一阶矩、二阶矩）与混合精度更新的显存构成。
- 张奇等《大规模语言模型：从理论到实践》 —— 对应第 9 节的方法选择流程与第 12 节继续预训练和监督微调的边界划分。
