w wyl123ly 的博客
MD

微调方法全景

32 KB 2026.10.18 原文件

微调方法全景

定义

微调(fine-tuning)指以预训练权重 为初始化,在目标任务数据 上最小化经验风险 ,得到 ,其中 为参数总数, 为更新量。参数高效微调(parameter-efficient fine-tuning,PEFT)是微调的子类:只训练参数集合 (),其余参数在训练全程冻结,前向计算可以额外引入不属于 的结构(瓶颈层、前缀、缩放向量)。

本篇符号约定如下。

符号含义
基座模型参数总数
可训练参数数目
隐藏维度
前馈网络中间维度
Transformer 层数
批大小、序列长度
LoRA 的秩
LoRA 的缩放超参数
Adapter 的瓶颈维度
前缀长度
权重、梯度、优化器状态、激活的每元素字节数

术语定义。冻结(freeze)指把参数的 requires_grad 置为假,反向传播不为其计算梯度,优化器也不为其保存状态。重参数化(reparameterization)指用另一组维数更低的变量表示更新量,训练完成后可还原为原参数空间的张量。可合并(mergeable)指训练得到的更新能通过代数变换写入原权重,使推理时的计算图与基座模型完全一致。瓶颈(bottleneck)指中间维度小于输入输出维度的线性层组合。前缀(prefix)指拼接在键值或输入嵌入之前的一段可训练向量。

为什么重要

微调的可行性由显存决定,显存由四项构成:权重、梯度、优化器状态、激活。对 的 7B 模型,混合精度 AdamW 的参数与优化器状态需要 GB,单张 80 GB 加速卡无法容纳,必须引入 ZeRO 切分或多卡并行(分布式训练与部署)。PEFT 把这一项降到 (LoRA 时为 13.8 GB),使单卡 24 GB 的实验成为可能。可尝试的配置数量与单次实验成本成反比,因此 PEFT 改变的不只是显存占用,还有调参与消融的迭代速度。

PEFT 同时改变了部署形态。可合并的方法(LoRA、IA3、BitFit)在推理前把更新写入权重,服务端只加载一份基座;不可合并的方法(Adapter、Prefix)必须常驻额外结构,每个请求都要经过这些算子。多任务场景下,一个冻结基座可以挂载多组低秩适配器,按租户切换,权重副本从每任务 13.5 GB 降到每任务数十 MB。

PEFT 也改变了失败模式。全量微调在小数据上容易过拟合与遗忘;PEFT 把更新限制在低维子空间,对遗忘有一定抑制作用,但容量受限,任务距离远时无法达到全量微调的效果。判断"该用哪种方法"需要同时估计三个量:数据量、任务与预训练分布的差异、可接受的部署开销。本篇给出这些量的计算方式与决策顺序。

在笔记库中的位置:本篇承接 预训练-微调-对齐pipeline 的三阶段划分,给出第二阶段可选方法的坐标;LoRA与QLoRA 展开使用最广的一种;指令微调SFT 给出数据组织与损失掩码;继续预训练与领域适配 处理"需要新知识"的情形;RAG原理与流程 处理"知识频繁变化"的情形。对应学习目标中的"懂原理"与"会评估":能算出每种方法的参数量与显存,能说明其效果边界。

原理与推导

1 全量微调的成本分解

训练一步需要同时驻留四类张量。以 bf16 前向、fp32 更新的混合精度 AdamW 为例,每参数字节数为:

其中 是 Adam 的一阶矩与二阶矩(优化器与学习率)。写成通式:

fp32 主权重存在的原因是 bf16 只有 8 位有效尾数,参数更新量 常小于相邻 bf16 数的间距,直接累加会被舍入为零;用 fp32 保存一份可更新的副本,前向时再转 bf16。去掉主权重(纯 bf16 状态)可把每参数字节降到 8,8-bit Adam 降到 10,代价是数值稳定性或精度。

配置每参数总字节7B 模型状态显存
bf16 权重 + fp32 AdamW41216107.8 GB
bf16 权重 + 8-bit Adam461067.4 GB
纯 bf16 权重与状态44853.9 GB
SGD + Momentum(fp32)481280.9 GB

7B 模型的参数量可按结构逐项核对:词嵌入 ;每层注意力 、前馈 、两个归一化 ,合计 ;32 层为 ;输出层 ;末端归一化 。总计

激活是第四项,其规模由 决定,与是否使用 PEFT 无关。按每层保留 8 个 张量与 2 个 张量估算:

取 、、、:每层 MB,32 层为 7.2 GB;标准注意力还要物化 的分数矩阵,每层 268 MB,32 层为 8.6 GB。三种配置的估算如下。

配置每层激活32 层合计
标准注意力,不检查点492 MB15.8 GB
FlashAttention,不检查点224 MB7.2 GB
FlashAttention + 梯度检查点16.8 MB(仅存层输入)0.54 GB + 首尾约 0.3 GB

梯度检查点用一次额外前向换显存,代价约 30% 的训练时间。表中数字是公式估算,实测还需加上通信缓冲、cuBLAS 工作区与显存碎片,通常高出 10%–30%。

2 PEFT 的分类

按"更新作用在哪个空间"分类,比按方法名罗列更能说明差异。

类别代表方法更新对象是否改结构是否可合并 的量级
加性低秩分解LoRA权重矩阵的低秩增量 否是 每模块
加性瓶颈Adapter子层输出上的 变换是否 每适配器
选择性BitFit偏置项否是(偏置本身)偏置元素总数
缩放向量IA3激活的逐通道缩放否是(折入相邻权重) 或 每处
前缀/重参数化Prefix Tuning、Prompt Tuning键值对或输入嵌入否否 或

判断一个方法是否可合并,只需看更新是否以加性或乘性方式直接作用于线性映射。LoRA 是 ,可合并;Adapter 是 ,中间的激活函数阻断代数吸收,不可合并;IA3 是 ,可写成 ,可折入;Prefix 改变的是键值序列的长度,与权重无关,不可合并。

3 Adapter

在原论文的插入方式中,每个子层输出先经过一个瓶颈变换,再与原输出相加:

可训练参数量(含偏置)为

取 、:。每层放两个(注意力后与前馈后),32 层合计 ,占 7B 的 。若按原论文再加一个 LayerNorm,每个适配器增加 。

插入位置有若干变体,差别在于归一化的顺序:原论文把 LayerNorm 放在适配器之后,作为残差分支的一部分;后续工作把 LayerNorm 放在适配器之前,并置于残差旁路中。两种写法都可行,但归一化位置不同会改变各层输入的尺度,跨论文比较结果时必须确认采用的是哪一种。

推理开销不能只看 FLOPs。每个适配器每 token 的额外乘加为 MFLOP,一层两个为 2.10 MFLOP;该层本身的乘加约为 MFLOP,比例 。实际墙钟延迟高于此比例:瓶颈层是 的窄 GEMM, 时算术强度低,接近内存带宽上限;解码阶段 ,GEMM 退化为矩阵向量乘,启动开销占比进一步上升。此外适配器增加了算子数量,影响算子融合与流水线切分。

4 Prefix Tuning 与 Prompt Tuning

Prefix Tuning 在每一层的键与值之前拼接 个可训练向量:

参数量为 (若采用 MLP 重参数化生成前缀,训练时另有生成网络参数,训练后丢弃)。取 、、:,占 。

由于前缀位于序列之前,因果掩码允许其后所有位置看到它们,因此真实 token 的查询可以读取前缀的键值,而前缀位置自身的输出不参与损失。这使前缀等价于给每层注入 个"所有查询都能访问的上下文位置",其作用方式与提示词不同:提示词只影响输入嵌入,前缀直接影响每层的注意力分布。

Prompt Tuning 只在前端嵌入处拼接 个可训练向量,参数量为 ,取 时仅 ()。它不改变任何一层的计算图,但可调自由度也最小,通常在模型规模足够大时才能接近其他方法的效果。

前缀对显存的影响有两处。其一,它占用上下文窗口的 个位置,可用序列长度减少 ;其二,它进入 KV 缓存,每条序列增加 字节;取 ,每序列增加 5.24 MB,批大小 32 时为 168 MB(KV缓存)。前缀不能在中途丢弃,否则后续 token 的注意力分布改变。使用旋转位置编码时,前缀与真实 token 的位置索引必须统一:若把前缀作为序列前段拼接,真实 token 的位置整体平移 ,与在文本前加提示词相同;若以 past_key_values 方式注入,需确认位置索引是否同步偏移,否则相位错位会削弱前缀的作用。

5 LoRA

LoRA 把更新写成两个窄矩阵的乘积,前向为

可训练参数量为 ,与满秩的 之比为 。7B 模型对全部线性层取 时为 (),只对 取 时为 ()。初始化取 、 随机,保证训练起点 。由于更新是加性的,可在推理前合并为 ,推理延迟与基座相同。低秩假设的依据、 的作用、显存逐项分析与 QLoRA 的量化方案见 LoRA与QLoRA。

6 IA3

IA3 用三个逐通道缩放向量分别作用于键、值与前馈中间激活:

其中 为逐元素乘, 为激活函数,,,初始化为全 1,因此训练起点与基座一致。每层参数量为 ,32 层合计 (),是表中最小的一档。

可合并性来自对角矩阵的结合律。以键为例,,缩放被吸收进 的列,值同理吸收进 的列。前馈的缩放作用在激活函数之后,由于 非线性,不能吸收进 ,只能吸收进下一层的 :,即改写 的行。吸收后推理计算图不变,延迟为零。代价是表达能力:逐通道缩放只能改变各通道的增益,不能改变通道之间的混合方式,因此其可表示的更新集合小于低秩矩阵。

7 BitFit

BitFit 只训练所有偏置项,冻结其余参数:

参数量等于模型中偏置元素的总数。对含偏置的 GPT 类结构,每层为 ( 的偏置)加 (前馈两层偏置),即 ;32 层合计 ()。归一化的缩放与平移参数按定义不计入。

这一方法有一个结构前提:模型中必须存在线性层偏置。Llama 系架构的线性层无偏置,只有 RMSNorm 的缩放参数,若不修改结构,BitFit 的可训练参数为零。把归一化参数也纳入可训练集合后它不再是 BitFit,而是"只训练归一化"的另一种选择性方法。因此在无偏置架构上引用 BitFit 的实验结论前,必须确认其实验对象含偏置。

BitFit 有效的部分原因是偏置为每个通道提供一个可加的平移量,能在不改动特征混合的前提下调整各层的工作点;但它无法改变权重矩阵的输入输出关系,容量上限明显低于低秩方法。

8 方法对比

统一假设:基座为 7B(),bf16 存储,、,使用 FlashAttention 与梯度检查点,激活按 1.0 GB、logits 按 0.26 GB 计。

方法注入位置可训练参数占比训练显存估算推理额外开销可合并效果(相对全量)
全量微调全部权重6,738,415,616100%约 110 GB无—上界
Adapter 子层输出33,820,6720.5019%约 15.3 GB FLOPs,不可合并否接近,低数据下常更好
Prefix 每层 K/V2,621,4400.0389%约 14.8 GB占 个位置,KV 缓存增加否生成任务接近,理解任务偏弱
Prompt 输入嵌入409,6000.0061%约 14.8 GB占 个位置否依赖模型规模,小模型偏弱
IA3K/V/FFN 激活614,4000.0091%约 14.8 GB折入权重后为零是接近,容量略低
BitFit线性层偏置1,007,6160.0150%约 14.8 GB零(偏置本身即参数)是明显偏低
LoRA 线性层权重19,988,4800.2966%约 15.1 GB合并后为零是接近
LoRA 线性层权重39,976,9600.5933%约 15.4 GB合并后为零是接近或持平
QLoRA 线性层权重39,976,9600.5933%约 6 GB合并后为零(合并需反量化)是接近 bf16 LoRA,4-bit 有损

效果一列不宜用单一数字概括,只能给出条件性结论:数据量在数千条指令、任务与预训练分布接近时,LoRA、Adapter 与全量微调的差距通常在评测噪声范围内;任务距离远(新语言、新符号系统)时,低秩与瓶颈方法的差距扩大,需要提高 或改为全量;Prompt Tuning 在小模型上明显弱于其他方法,随模型规模增大而改善。

9 选择决策

flowchart TD
    A["有标注任务数据"] --> B{"需要新知识还是新行为"}
    B -->|新知识| C["继续预训练,再 SFT"]
    B -->|新行为| D{"显存上限"}
    D -->|"< 24 GB"| E["QLoRA"]
    D -->|">= 24 GB"| F["LoRA"]
    E --> G{"需要零延迟或多租户"}
    F --> G
    G -->|是| H["合并权重,单基座多适配器"]
    G -->|否| I["保留适配器,运行时加载"]

按约束排序的决策表:

约束首选判据
单卡显存 16–24 GBQLoRA4-bit 基座把权重降到 3.9 GB,余量留给激活
需要与原模型完全一致的推理延迟LoRA(合并)或 IA3只有可合并的方法能做到零额外算子
一个基座服务多个任务LoRA每任务一份数十 MB 适配器,可热切换
数据少于 1000 条Prompt/Prefix 或 RAG低秩方法在小数据上仍会过拟合,全量更差
任务与预训练分布差距大继续预训练 + LoRA先扩展分布,再学习任务格式
需要注入时效性事实RAG权重更新无法按天迭代,且无法溯源
数据量超过 且追求上限全量微调PEFT 的容量成为瓶颈

10 全量微调何时仍必要

以下情形 PEFT 不足以替代全量微调,判断依据是"受限参数化能否表示所需的更新"。

  1. 需要改变的是分布而不是行为。新语言、新代码体系、新数学符号需要模型重新分配大量表示,低秩更新的秩 远小于所需的有效秩,此时应先做继续预训练,且通常采用全量或接近全量的配置。
  2. 数据量远大于可训练参数。数千万条样本下, 的适配器容量不足,增加 会迅速接近全量参数量,失去成本优势。
  3. 需要更新词嵌入与输出层。新增词表时,嵌入矩阵的行必须改变;PEFT 通常冻结嵌入,若强行训练嵌入,其参数量()往往超过适配器本身。
  4. 需要产出可独立分发的基座。若目标是把能力固化到一个可直接部署的模型(例如蒸馏的教师),全量微调的产物不依赖额外结构。
  5. 研究与对照。报告 PEFT 的效果时必须给出全量微调基线,否则无法区分"方法有效"与"任务简单"。

11 与 RAG 的取舍

微调改变参数中的条件分布,RAG 改变输入中的上下文,两者的作用位置不同,因此不是互斥选项(RAG原理与流程)。

维度微调RAG
知识载体权重中的隐式关联外部索引中的原文
更新成本重新训练,小时到天重建索引,分钟到小时
可溯源性弱,无法给出出处强,可返回文档与片段
延迟合并后与基座相同增加检索与更长上下文的开销
事实准确性受训练数据时效约束受检索质量与上下文长度约束
擅长输出格式、语气、工具调用协议、推理步骤时效性事实、长尾实体、私有文档

判据可以写成两个问题:答案是否存在于某份文档中且需要引用?若是,用 RAG。模型是否需要改变输出的结构、粒度或推理方式?若是,用 SFT。两者都需要时,先做 SFT 固定输出契约,再接入 RAG 提供事实,避免模型把检索内容改写成训练时见过的格式。

12 与继续预训练的边界

继续预训练(continual pre-training,CPT)与监督微调的目标函数不同:前者仍在无标注语料上最小化 ,优化的是领域分布本身;后者在有标注对上最小化 ,只对回答部分计损失(指令微调SFT)。

维度继续预训练监督微调
目标分布,领域语言模型,条件生成
数据领域无标注语料,百万到十亿 token指令-回答对,千到十万条
学习率小,通常 或更低较大, 到
PEFT 适用性通常全量或高秩,低秩容量不足LoRA/QLoRA 足够
主要风险灾难遗忘、通用能力下降过拟合模板、输出同质化

边界判据:如果模型缺少的是"词与概念的分布"(读不懂领域文本),做 CPT;如果模型能读懂但不会按要求输出,做 SFT。CPT 之后必须重新做 SFT,因为 CPT 会削弱指令跟随行为;缓解遗忘的手段包括混入通用语料、降低学习率、早停与在通用评测集上监控(继续预训练与领域适配)。

13 手算例:7B 模型全量微调与 LoRA 的参数量与显存

第一步,算参数量。7B 的分解已在上文给出,。

第二步,算全量微调的状态显存:

加上激活 1.0 GB 与 logits 0.26 GB,约 109 GB;考虑临时缓冲与碎片,规划时按 112–120 GB 预留。单张 80 GB 卡不足,需要两张以上做 ZeRO 切分,或使用 8 卡数据并行。

第三步,算 LoRA 的可训练参数。对 四个 矩阵与 三个 矩阵取 :

第四步,算 LoRA 的状态显存:

第五步,汇总:

结论:参数量降低 倍(),状态显存降低 倍,但总显存只降低 倍,因为冻结权重与激活不受 PEFT 影响。这一差距说明"可训练参数少"与"训练显存少"不是同一件事。

关键直觉

PEFT 的统一形式:用受限参数化近似全量更新

全量微调在 维参数空间中搜索;PEFT 把搜索限制在低维子空间(LoRA、Adapter)、稀疏坐标集(BitFit)、缩放向量(IA3)或输入与键值空间(Prefix、Prompt)。四类限制对应四种不同的可表示集合,容量依次递减,可合并性依次不同。

显存可以分解为 。PEFT 压缩的是 与(对 QLoRA),不压缩 。因此序列长度与批大小对 PEFT 训练的影响与全量微调同阶,长上下文场景下激活会成为主项。

与定义的关系:定义只要求 。由定义可直接推出优化器状态按 缩放;但"推理是否变慢""效果是否等价"都不能由定义推出,前者取决于更新能否合并,后者取决于受限集合是否包含所需的 ,两者都需要单独论证与测量。

例子与代码

例 1:六种方法的参数量与显存对照

以下代码只使用标准库,Python 3.10 及以上可运行,输出为按上节公式计算的结果。

N = 6_738_415_616            # Llama-2-7B 总参数量
D, FFN, L = 4096, 11008, 32  # 隐藏维度、前馈中间维度、层数

def lora(r):                 # q,k,v,o + gate,up,down 全部线性层
    per_layer = 4 * r * (D + D) + 2 * r * (D + FFN) + r * (FFN + D)
    return per_layer * L

def adapter(m=64):           # 每层 2 个瓶颈适配器,含偏置
    return 2 * (2 * D * m + D + m) * L

def ia3():                   # 每层缩放 K、V 与 FFN 中间激活
    return (D + D + FFN) * L

def prefix(l=10):            # 每层 l 组可训练 K/V
    return 2 * l * D * L

def prompt(l=100):           # 仅输入嵌入处的前缀
    return l * D

def bitfit():                # 假设架构的线性层含偏置
    return (4 * D + FFN + D) * L

rows = [
    ("Adapter m=64", adapter()),
    ("Prefix l=10", prefix()),
    ("Prompt l=100", prompt()),
    ("IA3", ia3()),
    ("BitFit", bitfit()),
    ("LoRA r=8", lora(8)),
    ("LoRA r=16", lora(16)),
    ("full FT", N),
]
for name, p in rows:
    print(f"{name:<14}{p:>14,}{100 * p / N:>9.4f}%")

base = 2 * N / 1e9           # bf16 冻结权重
act = 1.0                    # 梯度检查点下的激活估计
logits = 4 * 1 * 2048 * 32000 / 1e9
print(f"\nfull FT : {(16 * N) / 1e9:.1f} GB + act {act} + logits {logits:.2f}")
print(f"LoRA r=8: {base:.2f} + {16 * lora(8) / 1e9:.2f} + {act} + {logits:.2f} = "
      f"{base + 16 * lora(8) / 1e9 + act + logits:.2f} GB")
Adapter m=64      33,820,672   0.5019%
Prefix l=10        2,621,440   0.0389%
Prompt l=100         409,600   0.0061%
IA3                  614,400   0.0091%
BitFit             1,007,616   0.0150%
LoRA r=8          19,988,480   0.2966%
LoRA r=16         39,976,960   0.5933%
full FT        6,738,415,616 100.0000%

full FT : 107.8 GB + act 1.0 + logits 0.26
LoRA r=8: 13.48 + 0.32 + 1.0 + 0.26 = 15.06 GB

代码把每种方法的参数量写成维度的函数,再用同一分母 归一化,因此各行的百分比可横向比较。lora 中的三项分别对应四个方阵、两个升维矩阵与一个降维矩阵;adapter 的系数 2 表示每层两个适配器,括号内是 ;bitfit 的 只有在该架构的线性层确实带偏置时成立。

输出说明三点。第一,BitFit 的 是"假设有偏置"的结果,Llama 系上该值为零。第二,Adapter 与 LoRA 的参数量相差不到 1.7 倍(33.8M 对 20.0M),但前者不可合并,后者可以,说明参数量不是选择方法的唯一依据。第三,全量的总显存是 LoRA 的 7 倍,而状态显存相差 337 倍,两者的差距正是冻结权重与激活。

例 2:Adapter 的插入位置与 FLOPs 占比

以下代码片段在 PyTorch 2.0 及以上运行,用于核对适配器的参数量与额外计算量。

import torch
import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, d=4096, m=64):
        super().__init__()
        self.down = nn.Linear(d, m)     # (B,T,d) -> (B,T,m)
        self.up = nn.Linear(m, d)       # (B,T,m) -> (B,T,d)
        self.act = nn.GELU()

    def forward(self, h):
        return h + self.up(self.act(self.down(h)))   # 残差旁路,形状不变

adapter = Adapter()
h = torch.randn(1, 8, 4096)
print(tuple(adapter(h).shape))
print(sum(p.numel() for p in adapter.parameters()))
per_layer = 2 * 202_383_360          # 一层每 token 的乘加:2 倍于该层参数量
extra = 4 * 4096 * 64 * 2            # 两个适配器每 token 的乘加
print(f"{100 * extra / per_layer:.2f}%")
(1, 8, 4096)
528448
0.52%

down 把 维压到 维,up 还原,激活函数在低维空间执行,因此参数量是 而非 。forward 中的 h + 是残差相加,保证 与初始化方式选择不当时模型仍能退化为恒等映射。第二行输出与手算的 一致;第三行把适配器的乘加与整层乘加相比,得到 ,这个数字只反映计算量,不反映延迟,原因见第 3 节。

易错点

以下六条均可在参数量或显存计算中直接检验。

1. 把"可训练参数少"等同于"训练显存少"。7B 模型做 LoRA 仍需 13.5 GB 存放冻结权重,激活按 增长;把 从 8 降到 4 只节省 0.16 GB,而把 从 1024 增到 4096 会使激活增加约 4 倍。

2. 混用 Adapter 的归一化顺序。原论文是子层输出经适配器后再做 LayerNorm,后续变体是先 LayerNorm 再进适配器;两种实现的参数量相同,但深层训练的稳定性与最终指标不同,跨论文比较时必须核对。

3. 认为前缀不占上下文与显存。Prefix 占用 个位置并进入 KV 缓存,每条序列增加 字节;若把 设得很大又使用长输入,实际可用长度会被压缩,且注意力分数矩阵的宽度随之增加。

4. 在无偏置架构上直接套用 BitFit。Llama 系线性层无偏置,BitFit 的可训练参数为零,训练不会报错但损失不下降;需要先确认架构,或改为训练归一化参数(此时方法已不是 BitFit)。

5. 换 时不同步调整 或学习率。LoRA 的有效更新幅度由 与学习率共同决定,固定 而把 加倍会使每步的有效更新尺度改变,实验结论会被超参变化污染。

6. 合并后继续训练或重复合并。合并把 写入 ,适配器的梯度路径随之消失;若保留适配器再次合并,等价于把同一个 加两次,输出偏移且无法通过损失曲线察觉。

关联笔记

  • 前置 预训练-微调-对齐pipeline:该篇给出预训练、监督微调、偏好对齐三阶段的目标与数据形态,本篇只讨论第二阶段内部的方法选择。
  • 前置 矩阵分解-SVD与特征分解:秩、奇异值与低秩近似的定义来自该篇,是理解 LoRA 容量上界与 Eckart–Young 截断误差的基础。
  • 后续 LoRA与QLoRA:展开本篇第 5 节,给出 的梯度推导、合并的一致性验证、NF4 量化与 QLoRA 的完整显存算例。
  • 对照 RAG原理与流程:该篇给出把知识放在上下文中的完整流程,与本篇第 11 节构成"改参数"与"改输入"的取舍。
  • 对照 继续预训练与领域适配:该篇处理分布偏移与灾难遗忘,与本篇第 12 节的边界判据配套使用。

达标检测

  • [ ] 写出混合精度 AdamW 的每参数显存公式,说明 fp32 主权重存在的数值原因,并计算 7B 与 70B 模型的状态显存。
  • [ ] 推导 Adapter 的参数量 ,在 、、每层 2 个、32 层的配置下算出总数与占比。
  • [ ] 说明 Prefix Tuning 与 Prompt Tuning 在参数量、注入位置、对 KV 缓存的影响三方面的差别,并各给出一个不适用场景。
  • [ ] 写出 LoRA 的参数量 与满秩 的比值,说明 固定时哪类模块贡献的参数最多,并用 7B 的数值验证。
  • [ ] 运行例 1,报告六种方法的占比;再给定 24 GB 单卡、7B 模型、 的约束,列出可行方法及其显存预算表,指出哪一项会成为瓶颈。
  • [ ] 列出三种应当选择全量微调而非 PEFT 的情形,并为每种给出可检验的判据。
  • [ ] 识别以下错误:在 Llama 结构上把 BitFit 作为基线、把 固定而把 从 8 改为 64、在合并后的模型上继续训练适配器。

参考来源

  • Houlsby et al., "Parameter-Efficient Transfer Learning for NLP", arXiv:1902.00751, 2019 —— 对应本篇第 3 节 Adapter 的插入位置、瓶颈结构与参数量公式。
  • Li & Liang, "Prefix-Tuning: Optimizing Continuous Prompts for Generation", arXiv:2101.00190, 2021 —— 对应第 4 节前缀的构造、 参数量与重参数化训练方式。
  • Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", arXiv:2106.09685, 2021 —— 对应第 5 节低秩旁路的形式、 参数量与可合并性。
  • Hugging Face PEFT 官方文档 —— 对应第 2 节的方法分类、第 6 至 7 节 IA3 与 BitFit 的实现细节、第 8 节对比表中的可训练参数统计方式。
  • Goodfellow et al., Deep Learning, 2016, 第 8 章 —— 对应第 1 节优化器状态(一阶矩、二阶矩)与混合精度更新的显存构成。
  • 张奇等《大规模语言模型:从理论到实践》 —— 对应第 9 节的方法选择流程与第 12 节继续预训练和监督微调的边界划分。