MOC · 微调与对齐
本阶段地图
预训练模型只建模「下一个 token 的分布」,不等于「按指令完成任务」,更不等于「符合人类偏好」。本阶段按「方法选择 → 数据 → 监督微调 → 参数高效微调 → 领域继续预训练 → 偏好对齐」组织,每一环节都给出目标函数、显存代价与失败模式。
flowchart TD
PAN[[微调方法全景]] --> DATA[[数据集质量控制]]
DATA --> SFT[[指令微调SFT]]
SFT --> LORA[[LoRA与QLoRA]]
LORA --> CPT[[继续预训练与领域适配]]
SFT --> RLHF[[对齐-RLHF]]
RLHF --> DPO[[DPO与偏好优化]]
CPT --> RLHF
学习顺序与理由
- 微调方法全景:先建立全量微调与 PEFT 的分类坐标,明确什么情况下需要微调、什么情况下应当用 RAG 或提示词。
- 数据集质量控制:微调的上限由数据决定;去重、质量过滤、配比与污染检查必须先于训练。
- 指令微调SFT:把基座模型变为指令跟随模型;掌握数据格式、loss mask 与训练配置。
- LoRA与QLoRA:在有限显存下执行 SFT 的标准方案;必须理解低秩分解与量化省显存的来源。
- 继续预训练与领域适配:当任务需要新知识而非新行为时,先做领域继续预训练,并处理灾难遗忘。
- 对齐-RLHF:用人类偏好优化策略;理解奖励模型、PPO 目标与 KL 约束。
- DPO与偏好优化:绕过显式奖励模型与在线采样,直接优化偏好;推导其损失函数并比较优劣。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[微调方法全景]] | ★★☆ | 全量、Adapter、Prefix、LoRA、IA3 对比 | [[预训练-微调-对齐pipeline]] |
| [[数据集质量控制]] | ★★☆ | 去重、过滤、配比、污染检测 | [[数据工程入门]] |
| [[指令微调SFT]] | ★★★ | 数据格式、loss mask、packing | [[自回归生成与采样]] |
| [[LoRA与QLoRA]] | ★★★ | 低秩分解、alpha/r、NF4、双重量化 | [[矩阵分解-SVD与特征分解]] |
| [[继续预训练与领域适配]] | ★★☆ | CPT 数据、学习率、灾难遗忘 | [[指令微调SFT]] |
| [[对齐-RLHF]] | ★★★ | Bradley–Terry、奖励模型、PPO、KL | [[指令微调SFT]] |
| [[DPO与偏好优化]] | ★★★ | 偏好损失推导、β、与 PPO 对比 | [[对齐-RLHF]] |
方法选择速查
| 情形 | 首选 | 理由 |
|---|---|---|
| 需要注入频繁变化的事实知识 | RAG | 权重更新成本高且易过时 |
| 需要改变输出风格或任务格式 | SFT + LoRA | 少量高质量样本即可生效 |
| 显存不足以全量微调 | QLoRA | 4bit 量化基座 + 低秩适配器 |
| 需要对齐主观偏好 | DPO 或 RLHF | 需要偏好数据;DPO 实现更简单 |
| 需要新语言或新领域术语 | 继续预训练 + SFT | 先扩展分布,再教任务格式 |
达标清单
- [ ] 能写出 LoRA 的前向形式与参数量公式,解释 的缩放作用。
- [ ] 能计算给定模型与配置下 LoRA 的可训练参数量与优化器显存。
- [ ] 能解释 QLoRA 的 NF4 量化、双重量化与分页优化各自解决的问题。
- [ ] 能构造 SFT 训练样本并正确设置 loss mask。
- [ ] 能推导 Bradley–Terry 模型下的奖励模型损失。
- [ ] 能写出 PPO 的裁剪目标与 KL 惩罚项,说明其训练不稳定来源。
- [ ] 能从 RLHF 目标推导 DPO 损失,并解释 的作用。
- [ ] 能识别灾难遗忘并给出回放或低学习率策略。
阶段项目
在 7B 以下的开源基座上完成一次可控微调实验:
- 构造 2k–10k 条指令数据,完成去重、质量过滤与污染检查。
- 使用 QLoRA 进行 SFT,记录显存峰值、训练损失与吞吐。
- 在留出集上比较基座与微调模型的指令跟随质量,给出评分表。
- 用同一偏好数据分别训练 DPO 与奖励模型 + PPO 的小规模版本,比较稳定性与成本。
- 输出报告:数据统计、配置、指标、失败案例与显存分析。
验收标准:显存测量可复现;评分标准事先定义;能解释每一项配置对结果的影响方向。
参考来源
- Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", arXiv:2106.09685。
- Dettmers et al., "QLoRA: Efficient Finetuning of Quantized LLMs", arXiv:2305.14314。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155。
- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290。
- Hugging Face PEFT 与 TRL 官方文档。