微调方法全景
定义
微调(fine-tuning)指以预训练权重 为初始化,在目标任务数据 上最小化经验风险 ,得到 ,其中 为参数总数, 为更新量。参数高效微调(parameter-efficient fine-tuning,PEFT)是微调的子类:只训练参数集合 (),其余参数在训练全程冻结,前向计算可以额外引入不属于 的结构(瓶颈层、前缀、缩放向量)。
本篇符号约定如下。
| 符号 | 含义 |
|---|---|
| 基座模型参数总数 | |
| 可训练参数数目 | |
| 隐藏维度 | |
| 前馈网络中间维度 | |
| Transformer 层数 | |
| 批大小、序列长度 | |
| LoRA 的秩 | |
| LoRA 的缩放超参数 | |
| Adapter 的瓶颈维度 | |
| 前缀长度 | |
| 权重、梯度、优化器状态、激活的每元素字节数 |
术语定义。冻结(freeze)指把参数的 requires_grad 置为假,反向传播不为其计算梯度,优化器也不为其保存状态。重参数化(reparameterization)指用另一组维数更低的变量表示更新量,训练完成后可还原为原参数空间的张量。可合并(mergeable)指训练得到的更新能通过代数变换写入原权重,使推理时的计算图与基座模型完全一致。瓶颈(bottleneck)指中间维度小于输入输出维度的线性层组合。前缀(prefix)指拼接在键值或输入嵌入之前的一段可训练向量。
为什么重要
微调的可行性由显存决定,显存由四项构成:权重、梯度、优化器状态、激活。对 的 7B 模型,混合精度 AdamW 的参数与优化器状态需要 GB,单张 80 GB 加速卡无法容纳,必须引入 ZeRO 切分或多卡并行(分布式训练与部署)。PEFT 把这一项降到 (LoRA 时为 13.8 GB),使单卡 24 GB 的实验成为可能。可尝试的配置数量与单次实验成本成反比,因此 PEFT 改变的不只是显存占用,还有调参与消融的迭代速度。
PEFT 同时改变了部署形态。可合并的方法(LoRA、IA3、BitFit)在推理前把更新写入权重,服务端只加载一份基座;不可合并的方法(Adapter、Prefix)必须常驻额外结构,每个请求都要经过这些算子。多任务场景下,一个冻结基座可以挂载多组低秩适配器,按租户切换,权重副本从每任务 13.5 GB 降到每任务数十 MB。
PEFT 也改变了失败模式。全量微调在小数据上容易过拟合与遗忘;PEFT 把更新限制在低维子空间,对遗忘有一定抑制作用,但容量受限,任务距离远时无法达到全量微调的效果。判断"该用哪种方法"需要同时估计三个量:数据量、任务与预训练分布的差异、可接受的部署开销。本篇给出这些量的计算方式与决策顺序。
在笔记库中的位置:本篇承接 预训练-微调-对齐pipeline 的三阶段划分,给出第二阶段可选方法的坐标;LoRA与QLoRA 展开使用最广的一种;指令微调SFT 给出数据组织与损失掩码;继续预训练与领域适配 处理"需要新知识"的情形;RAG原理与流程 处理"知识频繁变化"的情形。对应学习目标中的"懂原理"与"会评估":能算出每种方法的参数量与显存,能说明其效果边界。
原理与推导
1 全量微调的成本分解
训练一步需要同时驻留四类张量。以 bf16 前向、fp32 更新的混合精度 AdamW 为例,每参数字节数为:
其中 是 Adam 的一阶矩与二阶矩(优化器与学习率)。写成通式:
fp32 主权重存在的原因是 bf16 只有 8 位有效尾数,参数更新量 常小于相邻 bf16 数的间距,直接累加会被舍入为零;用 fp32 保存一份可更新的副本,前向时再转 bf16。去掉主权重(纯 bf16 状态)可把每参数字节降到 8,8-bit Adam 降到 10,代价是数值稳定性或精度。
| 配置 | 每参数总字节 | 7B 模型状态显存 | ||
|---|---|---|---|---|
| bf16 权重 + fp32 AdamW | 4 | 12 | 16 | 107.8 GB |
| bf16 权重 + 8-bit Adam | 4 | 6 | 10 | 67.4 GB |
| 纯 bf16 权重与状态 | 4 | 4 | 8 | 53.9 GB |
| SGD + Momentum(fp32) | 4 | 8 | 12 | 80.9 GB |
7B 模型的参数量可按结构逐项核对:词嵌入 ;每层注意力 、前馈 、两个归一化 ,合计 ;32 层为 ;输出层 ;末端归一化 。总计
激活是第四项,其规模由 决定,与是否使用 PEFT 无关。按每层保留 8 个 张量与 2 个 张量估算:
取 、、、:每层 MB,32 层为 7.2 GB;标准注意力还要物化 的分数矩阵,每层 268 MB,32 层为 8.6 GB。三种配置的估算如下。
| 配置 | 每层激活 | 32 层合计 |
|---|---|---|
| 标准注意力,不检查点 | 492 MB | 15.8 GB |
| FlashAttention,不检查点 | 224 MB | 7.2 GB |
| FlashAttention + 梯度检查点 | 16.8 MB(仅存层输入) | 0.54 GB + 首尾约 0.3 GB |
梯度检查点用一次额外前向换显存,代价约 30% 的训练时间。表中数字是公式估算,实测还需加上通信缓冲、cuBLAS 工作区与显存碎片,通常高出 10%–30%。
2 PEFT 的分类
按"更新作用在哪个空间"分类,比按方法名罗列更能说明差异。
| 类别 | 代表方法 | 更新对象 | 是否改结构 | 是否可合并 | 的量级 |
|---|---|---|---|---|---|
| 加性低秩分解 | LoRA | 权重矩阵的低秩增量 | 否 | 是 | 每模块 |
| 加性瓶颈 | Adapter | 子层输出上的 变换 | 是 | 否 | 每适配器 |
| 选择性 | BitFit | 偏置项 | 否 | 是(偏置本身) | 偏置元素总数 |
| 缩放向量 | IA3 | 激活的逐通道缩放 | 否 | 是(折入相邻权重) | 或 每处 |
| 前缀/重参数化 | Prefix Tuning、Prompt Tuning | 键值对或输入嵌入 | 否 | 否 | 或 |
判断一个方法是否可合并,只需看更新是否以加性或乘性方式直接作用于线性映射。LoRA 是 ,可合并;Adapter 是 ,中间的激活函数阻断代数吸收,不可合并;IA3 是 ,可写成 ,可折入;Prefix 改变的是键值序列的长度,与权重无关,不可合并。
3 Adapter
在原论文的插入方式中,每个子层输出先经过一个瓶颈变换,再与原输出相加:
可训练参数量(含偏置)为
取 、:。每层放两个(注意力后与前馈后),32 层合计 ,占 7B 的 。若按原论文再加一个 LayerNorm,每个适配器增加 。
插入位置有若干变体,差别在于归一化的顺序:原论文把 LayerNorm 放在适配器之后,作为残差分支的一部分;后续工作把 LayerNorm 放在适配器之前,并置于残差旁路中。两种写法都可行,但归一化位置不同会改变各层输入的尺度,跨论文比较结果时必须确认采用的是哪一种。
推理开销不能只看 FLOPs。每个适配器每 token 的额外乘加为 MFLOP,一层两个为 2.10 MFLOP;该层本身的乘加约为 MFLOP,比例 。实际墙钟延迟高于此比例:瓶颈层是 的窄 GEMM, 时算术强度低,接近内存带宽上限;解码阶段 ,GEMM 退化为矩阵向量乘,启动开销占比进一步上升。此外适配器增加了算子数量,影响算子融合与流水线切分。
4 Prefix Tuning 与 Prompt Tuning
Prefix Tuning 在每一层的键与值之前拼接 个可训练向量:
参数量为 (若采用 MLP 重参数化生成前缀,训练时另有生成网络参数,训练后丢弃)。取 、、:,占 。
由于前缀位于序列之前,因果掩码允许其后所有位置看到它们,因此真实 token 的查询可以读取前缀的键值,而前缀位置自身的输出不参与损失。这使前缀等价于给每层注入 个"所有查询都能访问的上下文位置",其作用方式与提示词不同:提示词只影响输入嵌入,前缀直接影响每层的注意力分布。
Prompt Tuning 只在前端嵌入处拼接 个可训练向量,参数量为 ,取 时仅 ()。它不改变任何一层的计算图,但可调自由度也最小,通常在模型规模足够大时才能接近其他方法的效果。
前缀对显存的影响有两处。其一,它占用上下文窗口的 个位置,可用序列长度减少 ;其二,它进入 KV 缓存,每条序列增加 字节;取 ,每序列增加 5.24 MB,批大小 32 时为 168 MB(KV缓存)。前缀不能在中途丢弃,否则后续 token 的注意力分布改变。使用旋转位置编码时,前缀与真实 token 的位置索引必须统一:若把前缀作为序列前段拼接,真实 token 的位置整体平移 ,与在文本前加提示词相同;若以 past_key_values 方式注入,需确认位置索引是否同步偏移,否则相位错位会削弱前缀的作用。
5 LoRA
LoRA 把更新写成两个窄矩阵的乘积,前向为
可训练参数量为 ,与满秩的 之比为 。7B 模型对全部线性层取 时为 (),只对 取 时为 ()。初始化取 、 随机,保证训练起点 。由于更新是加性的,可在推理前合并为 ,推理延迟与基座相同。低秩假设的依据、 的作用、显存逐项分析与 QLoRA 的量化方案见 LoRA与QLoRA。
6 IA3
IA3 用三个逐通道缩放向量分别作用于键、值与前馈中间激活:
其中 为逐元素乘, 为激活函数,,,初始化为全 1,因此训练起点与基座一致。每层参数量为 ,32 层合计 (),是表中最小的一档。
可合并性来自对角矩阵的结合律。以键为例,,缩放被吸收进 的列,值同理吸收进 的列。前馈的缩放作用在激活函数之后,由于 非线性,不能吸收进 ,只能吸收进下一层的 :,即改写 的行。吸收后推理计算图不变,延迟为零。代价是表达能力:逐通道缩放只能改变各通道的增益,不能改变通道之间的混合方式,因此其可表示的更新集合小于低秩矩阵。
7 BitFit
BitFit 只训练所有偏置项,冻结其余参数:
参数量等于模型中偏置元素的总数。对含偏置的 GPT 类结构,每层为 ( 的偏置)加 (前馈两层偏置),即 ;32 层合计 ()。归一化的缩放与平移参数按定义不计入。
这一方法有一个结构前提:模型中必须存在线性层偏置。Llama 系架构的线性层无偏置,只有 RMSNorm 的缩放参数,若不修改结构,BitFit 的可训练参数为零。把归一化参数也纳入可训练集合后它不再是 BitFit,而是"只训练归一化"的另一种选择性方法。因此在无偏置架构上引用 BitFit 的实验结论前,必须确认其实验对象含偏置。
BitFit 有效的部分原因是偏置为每个通道提供一个可加的平移量,能在不改动特征混合的前提下调整各层的工作点;但它无法改变权重矩阵的输入输出关系,容量上限明显低于低秩方法。
8 方法对比
统一假设:基座为 7B(),bf16 存储,、,使用 FlashAttention 与梯度检查点,激活按 1.0 GB、logits 按 0.26 GB 计。
| 方法 | 注入位置 | 可训练参数 | 占比 | 训练显存估算 | 推理额外开销 | 可合并 | 效果(相对全量) |
|---|---|---|---|---|---|---|---|
| 全量微调 | 全部权重 | 6,738,415,616 | 100% | 约 110 GB | 无 | — | 上界 |
| Adapter | 子层输出 | 33,820,672 | 0.5019% | 约 15.3 GB | FLOPs,不可合并 | 否 | 接近,低数据下常更好 |
| Prefix | 每层 K/V | 2,621,440 | 0.0389% | 约 14.8 GB | 占 个位置,KV 缓存增加 | 否 | 生成任务接近,理解任务偏弱 |
| Prompt | 输入嵌入 | 409,600 | 0.0061% | 约 14.8 GB | 占 个位置 | 否 | 依赖模型规模,小模型偏弱 |
| IA3 | K/V/FFN 激活 | 614,400 | 0.0091% | 约 14.8 GB | 折入权重后为零 | 是 | 接近,容量略低 |
| BitFit | 线性层偏置 | 1,007,616 | 0.0150% | 约 14.8 GB | 零(偏置本身即参数) | 是 | 明显偏低 |
| LoRA | 线性层权重 | 19,988,480 | 0.2966% | 约 15.1 GB | 合并后为零 | 是 | 接近 |
| LoRA | 线性层权重 | 39,976,960 | 0.5933% | 约 15.4 GB | 合并后为零 | 是 | 接近或持平 |
| QLoRA | 线性层权重 | 39,976,960 | 0.5933% | 约 6 GB | 合并后为零(合并需反量化) | 是 | 接近 bf16 LoRA,4-bit 有损 |
效果一列不宜用单一数字概括,只能给出条件性结论:数据量在数千条指令、任务与预训练分布接近时,LoRA、Adapter 与全量微调的差距通常在评测噪声范围内;任务距离远(新语言、新符号系统)时,低秩与瓶颈方法的差距扩大,需要提高 或改为全量;Prompt Tuning 在小模型上明显弱于其他方法,随模型规模增大而改善。
9 选择决策
flowchart TD
A["有标注任务数据"] --> B{"需要新知识还是新行为"}
B -->|新知识| C["继续预训练,再 SFT"]
B -->|新行为| D{"显存上限"}
D -->|"< 24 GB"| E["QLoRA"]
D -->|">= 24 GB"| F["LoRA"]
E --> G{"需要零延迟或多租户"}
F --> G
G -->|是| H["合并权重,单基座多适配器"]
G -->|否| I["保留适配器,运行时加载"]
按约束排序的决策表:
| 约束 | 首选 | 判据 |
|---|---|---|
| 单卡显存 16–24 GB | QLoRA | 4-bit 基座把权重降到 3.9 GB,余量留给激活 |
| 需要与原模型完全一致的推理延迟 | LoRA(合并)或 IA3 | 只有可合并的方法能做到零额外算子 |
| 一个基座服务多个任务 | LoRA | 每任务一份数十 MB 适配器,可热切换 |
| 数据少于 1000 条 | Prompt/Prefix 或 RAG | 低秩方法在小数据上仍会过拟合,全量更差 |
| 任务与预训练分布差距大 | 继续预训练 + LoRA | 先扩展分布,再学习任务格式 |
| 需要注入时效性事实 | RAG | 权重更新无法按天迭代,且无法溯源 |
| 数据量超过 且追求上限 | 全量微调 | PEFT 的容量成为瓶颈 |
10 全量微调何时仍必要
以下情形 PEFT 不足以替代全量微调,判断依据是"受限参数化能否表示所需的更新"。
- 需要改变的是分布而不是行为。新语言、新代码体系、新数学符号需要模型重新分配大量表示,低秩更新的秩 远小于所需的有效秩,此时应先做继续预训练,且通常采用全量或接近全量的配置。
- 数据量远大于可训练参数。数千万条样本下, 的适配器容量不足,增加 会迅速接近全量参数量,失去成本优势。
- 需要更新词嵌入与输出层。新增词表时,嵌入矩阵的行必须改变;PEFT 通常冻结嵌入,若强行训练嵌入,其参数量()往往超过适配器本身。
- 需要产出可独立分发的基座。若目标是把能力固化到一个可直接部署的模型(例如蒸馏的教师),全量微调的产物不依赖额外结构。
- 研究与对照。报告 PEFT 的效果时必须给出全量微调基线,否则无法区分"方法有效"与"任务简单"。
11 与 RAG 的取舍
微调改变参数中的条件分布,RAG 改变输入中的上下文,两者的作用位置不同,因此不是互斥选项(RAG原理与流程)。
| 维度 | 微调 | RAG |
|---|---|---|
| 知识载体 | 权重中的隐式关联 | 外部索引中的原文 |
| 更新成本 | 重新训练,小时到天 | 重建索引,分钟到小时 |
| 可溯源性 | 弱,无法给出出处 | 强,可返回文档与片段 |
| 延迟 | 合并后与基座相同 | 增加检索与更长上下文的开销 |
| 事实准确性 | 受训练数据时效约束 | 受检索质量与上下文长度约束 |
| 擅长 | 输出格式、语气、工具调用协议、推理步骤 | 时效性事实、长尾实体、私有文档 |
判据可以写成两个问题:答案是否存在于某份文档中且需要引用?若是,用 RAG。模型是否需要改变输出的结构、粒度或推理方式?若是,用 SFT。两者都需要时,先做 SFT 固定输出契约,再接入 RAG 提供事实,避免模型把检索内容改写成训练时见过的格式。
12 与继续预训练的边界
继续预训练(continual pre-training,CPT)与监督微调的目标函数不同:前者仍在无标注语料上最小化 ,优化的是领域分布本身;后者在有标注对上最小化 ,只对回答部分计损失(指令微调SFT)。
| 维度 | 继续预训练 | 监督微调 |
|---|---|---|
| 目标分布 | ,领域语言模型 | ,条件生成 |
| 数据 | 领域无标注语料,百万到十亿 token | 指令-回答对,千到十万条 |
| 学习率 | 小,通常 或更低 | 较大, 到 |
| PEFT 适用性 | 通常全量或高秩,低秩容量不足 | LoRA/QLoRA 足够 |
| 主要风险 | 灾难遗忘、通用能力下降 | 过拟合模板、输出同质化 |
边界判据:如果模型缺少的是"词与概念的分布"(读不懂领域文本),做 CPT;如果模型能读懂但不会按要求输出,做 SFT。CPT 之后必须重新做 SFT,因为 CPT 会削弱指令跟随行为;缓解遗忘的手段包括混入通用语料、降低学习率、早停与在通用评测集上监控(继续预训练与领域适配)。
13 手算例:7B 模型全量微调与 LoRA 的参数量与显存
第一步,算参数量。7B 的分解已在上文给出,。
第二步,算全量微调的状态显存:
加上激活 1.0 GB 与 logits 0.26 GB,约 109 GB;考虑临时缓冲与碎片,规划时按 112–120 GB 预留。单张 80 GB 卡不足,需要两张以上做 ZeRO 切分,或使用 8 卡数据并行。
第三步,算 LoRA 的可训练参数。对 四个 矩阵与 三个 矩阵取 :
第四步,算 LoRA 的状态显存:
第五步,汇总:
结论:参数量降低 倍(),状态显存降低 倍,但总显存只降低 倍,因为冻结权重与激活不受 PEFT 影响。这一差距说明"可训练参数少"与"训练显存少"不是同一件事。
关键直觉
PEFT 的统一形式:用受限参数化近似全量更新
全量微调在 维参数空间中搜索;PEFT 把搜索限制在低维子空间(LoRA、Adapter)、稀疏坐标集(BitFit)、缩放向量(IA3)或输入与键值空间(Prefix、Prompt)。四类限制对应四种不同的可表示集合,容量依次递减,可合并性依次不同。
显存可以分解为 。PEFT 压缩的是 与(对 QLoRA),不压缩 。因此序列长度与批大小对 PEFT 训练的影响与全量微调同阶,长上下文场景下激活会成为主项。
与定义的关系:定义只要求 。由定义可直接推出优化器状态按 缩放;但"推理是否变慢""效果是否等价"都不能由定义推出,前者取决于更新能否合并,后者取决于受限集合是否包含所需的 ,两者都需要单独论证与测量。
例子与代码
例 1:六种方法的参数量与显存对照
以下代码只使用标准库,Python 3.10 及以上可运行,输出为按上节公式计算的结果。
N = 6_738_415_616 # Llama-2-7B 总参数量
D, FFN, L = 4096, 11008, 32 # 隐藏维度、前馈中间维度、层数
def lora(r): # q,k,v,o + gate,up,down 全部线性层
per_layer = 4 * r * (D + D) + 2 * r * (D + FFN) + r * (FFN + D)
return per_layer * L
def adapter(m=64): # 每层 2 个瓶颈适配器,含偏置
return 2 * (2 * D * m + D + m) * L
def ia3(): # 每层缩放 K、V 与 FFN 中间激活
return (D + D + FFN) * L
def prefix(l=10): # 每层 l 组可训练 K/V
return 2 * l * D * L
def prompt(l=100): # 仅输入嵌入处的前缀
return l * D
def bitfit(): # 假设架构的线性层含偏置
return (4 * D + FFN + D) * L
rows = [
("Adapter m=64", adapter()),
("Prefix l=10", prefix()),
("Prompt l=100", prompt()),
("IA3", ia3()),
("BitFit", bitfit()),
("LoRA r=8", lora(8)),
("LoRA r=16", lora(16)),
("full FT", N),
]
for name, p in rows:
print(f"{name:<14}{p:>14,}{100 * p / N:>9.4f}%")
base = 2 * N / 1e9 # bf16 冻结权重
act = 1.0 # 梯度检查点下的激活估计
logits = 4 * 1 * 2048 * 32000 / 1e9
print(f"\nfull FT : {(16 * N) / 1e9:.1f} GB + act {act} + logits {logits:.2f}")
print(f"LoRA r=8: {base:.2f} + {16 * lora(8) / 1e9:.2f} + {act} + {logits:.2f} = "
f"{base + 16 * lora(8) / 1e9 + act + logits:.2f} GB")
Adapter m=64 33,820,672 0.5019%
Prefix l=10 2,621,440 0.0389%
Prompt l=100 409,600 0.0061%
IA3 614,400 0.0091%
BitFit 1,007,616 0.0150%
LoRA r=8 19,988,480 0.2966%
LoRA r=16 39,976,960 0.5933%
full FT 6,738,415,616 100.0000%
full FT : 107.8 GB + act 1.0 + logits 0.26
LoRA r=8: 13.48 + 0.32 + 1.0 + 0.26 = 15.06 GB
代码把每种方法的参数量写成维度的函数,再用同一分母 归一化,因此各行的百分比可横向比较。lora 中的三项分别对应四个方阵、两个升维矩阵与一个降维矩阵;adapter 的系数 2 表示每层两个适配器,括号内是 ;bitfit 的 只有在该架构的线性层确实带偏置时成立。
输出说明三点。第一,BitFit 的 是"假设有偏置"的结果,Llama 系上该值为零。第二,Adapter 与 LoRA 的参数量相差不到 1.7 倍(33.8M 对 20.0M),但前者不可合并,后者可以,说明参数量不是选择方法的唯一依据。第三,全量的总显存是 LoRA 的 7 倍,而状态显存相差 337 倍,两者的差距正是冻结权重与激活。
例 2:Adapter 的插入位置与 FLOPs 占比
以下代码片段在 PyTorch 2.0 及以上运行,用于核对适配器的参数量与额外计算量。
import torch
import torch.nn as nn
class Adapter(nn.Module):
def __init__(self, d=4096, m=64):
super().__init__()
self.down = nn.Linear(d, m) # (B,T,d) -> (B,T,m)
self.up = nn.Linear(m, d) # (B,T,m) -> (B,T,d)
self.act = nn.GELU()
def forward(self, h):
return h + self.up(self.act(self.down(h))) # 残差旁路,形状不变
adapter = Adapter()
h = torch.randn(1, 8, 4096)
print(tuple(adapter(h).shape))
print(sum(p.numel() for p in adapter.parameters()))
per_layer = 2 * 202_383_360 # 一层每 token 的乘加:2 倍于该层参数量
extra = 4 * 4096 * 64 * 2 # 两个适配器每 token 的乘加
print(f"{100 * extra / per_layer:.2f}%")
(1, 8, 4096)
528448
0.52%
down 把 维压到 维,up 还原,激活函数在低维空间执行,因此参数量是 而非 。forward 中的 h + 是残差相加,保证 与初始化方式选择不当时模型仍能退化为恒等映射。第二行输出与手算的 一致;第三行把适配器的乘加与整层乘加相比,得到 ,这个数字只反映计算量,不反映延迟,原因见第 3 节。
易错点
以下六条均可在参数量或显存计算中直接检验。
1. 把"可训练参数少"等同于"训练显存少"。7B 模型做 LoRA 仍需 13.5 GB 存放冻结权重,激活按 增长;把 从 8 降到 4 只节省 0.16 GB,而把 从 1024 增到 4096 会使激活增加约 4 倍。
2. 混用 Adapter 的归一化顺序。原论文是子层输出经适配器后再做 LayerNorm,后续变体是先 LayerNorm 再进适配器;两种实现的参数量相同,但深层训练的稳定性与最终指标不同,跨论文比较时必须核对。
3. 认为前缀不占上下文与显存。Prefix 占用 个位置并进入 KV 缓存,每条序列增加 字节;若把 设得很大又使用长输入,实际可用长度会被压缩,且注意力分数矩阵的宽度随之增加。
4. 在无偏置架构上直接套用 BitFit。Llama 系线性层无偏置,BitFit 的可训练参数为零,训练不会报错但损失不下降;需要先确认架构,或改为训练归一化参数(此时方法已不是 BitFit)。
5. 换 时不同步调整 或学习率。LoRA 的有效更新幅度由 与学习率共同决定,固定 而把 加倍会使每步的有效更新尺度改变,实验结论会被超参变化污染。
6. 合并后继续训练或重复合并。合并把 写入 ,适配器的梯度路径随之消失;若保留适配器再次合并,等价于把同一个 加两次,输出偏移且无法通过损失曲线察觉。
关联笔记
- 前置 预训练-微调-对齐pipeline:该篇给出预训练、监督微调、偏好对齐三阶段的目标与数据形态,本篇只讨论第二阶段内部的方法选择。
- 前置 矩阵分解-SVD与特征分解:秩、奇异值与低秩近似的定义来自该篇,是理解 LoRA 容量上界与 Eckart–Young 截断误差的基础。
- 后续 LoRA与QLoRA:展开本篇第 5 节,给出 的梯度推导、合并的一致性验证、NF4 量化与 QLoRA 的完整显存算例。
- 对照 RAG原理与流程:该篇给出把知识放在上下文中的完整流程,与本篇第 11 节构成"改参数"与"改输入"的取舍。
- 对照 继续预训练与领域适配:该篇处理分布偏移与灾难遗忘,与本篇第 12 节的边界判据配套使用。
达标检测
- [ ] 写出混合精度 AdamW 的每参数显存公式,说明 fp32 主权重存在的数值原因,并计算 7B 与 70B 模型的状态显存。
- [ ] 推导 Adapter 的参数量 ,在 、、每层 2 个、32 层的配置下算出总数与占比。
- [ ] 说明 Prefix Tuning 与 Prompt Tuning 在参数量、注入位置、对 KV 缓存的影响三方面的差别,并各给出一个不适用场景。
- [ ] 写出 LoRA 的参数量 与满秩 的比值,说明 固定时哪类模块贡献的参数最多,并用 7B 的数值验证。
- [ ] 运行例 1,报告六种方法的占比;再给定 24 GB 单卡、7B 模型、 的约束,列出可行方法及其显存预算表,指出哪一项会成为瓶颈。
- [ ] 列出三种应当选择全量微调而非 PEFT 的情形,并为每种给出可检验的判据。
- [ ] 识别以下错误:在 Llama 结构上把 BitFit 作为基线、把 固定而把 从 8 改为 64、在合并后的模型上继续训练适配器。
参考来源
- Houlsby et al., "Parameter-Efficient Transfer Learning for NLP", arXiv:1902.00751, 2019 —— 对应本篇第 3 节 Adapter 的插入位置、瓶颈结构与参数量公式。
- Li & Liang, "Prefix-Tuning: Optimizing Continuous Prompts for Generation", arXiv:2101.00190, 2021 —— 对应第 4 节前缀的构造、 参数量与重参数化训练方式。
- Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", arXiv:2106.09685, 2021 —— 对应第 5 节低秩旁路的形式、 参数量与可合并性。
- Hugging Face PEFT 官方文档 —— 对应第 2 节的方法分类、第 6 至 7 节 IA3 与 BitFit 的实现细节、第 8 节对比表中的可训练参数统计方式。
- Goodfellow et al., Deep Learning, 2016, 第 8 章 —— 对应第 1 节优化器状态(一阶矩、二阶矩)与混合精度更新的显存构成。
- 张奇等《大规模语言模型:从理论到实践》 —— 对应第 9 节的方法选择流程与第 12 节继续预训练和监督微调的边界划分。