w wyl123ly 的博客
MD

MOC-微调与对齐

5 KB 2026.10.18 原文件

MOC · 微调与对齐

本阶段地图

预训练模型只建模「下一个 token 的分布」,不等于「按指令完成任务」,更不等于「符合人类偏好」。本阶段按「方法选择 → 数据 → 监督微调 → 参数高效微调 → 领域继续预训练 → 偏好对齐」组织,每一环节都给出目标函数、显存代价与失败模式。

flowchart TD
    PAN[[微调方法全景]] --> DATA[[数据集质量控制]]
    DATA --> SFT[[指令微调SFT]]
    SFT --> LORA[[LoRA与QLoRA]]
    LORA --> CPT[[继续预训练与领域适配]]
    SFT --> RLHF[[对齐-RLHF]]
    RLHF --> DPO[[DPO与偏好优化]]
    CPT --> RLHF

学习顺序与理由

  1. 微调方法全景:先建立全量微调与 PEFT 的分类坐标,明确什么情况下需要微调、什么情况下应当用 RAG 或提示词。
  2. 数据集质量控制:微调的上限由数据决定;去重、质量过滤、配比与污染检查必须先于训练。
  3. 指令微调SFT:把基座模型变为指令跟随模型;掌握数据格式、loss mask 与训练配置。
  4. LoRA与QLoRA:在有限显存下执行 SFT 的标准方案;必须理解低秩分解与量化省显存的来源。
  5. 继续预训练与领域适配:当任务需要新知识而非新行为时,先做领域继续预训练,并处理灾难遗忘。
  6. 对齐-RLHF:用人类偏好优化策略;理解奖励模型、PPO 目标与 KL 约束。
  7. DPO与偏好优化:绕过显式奖励模型与在线采样,直接优化偏好;推导其损失函数并比较优劣。

笔记索引

笔记难度核心内容前置
[[微调方法全景]]★★☆全量、Adapter、Prefix、LoRA、IA3 对比[[预训练-微调-对齐pipeline]]
[[数据集质量控制]]★★☆去重、过滤、配比、污染检测[[数据工程入门]]
[[指令微调SFT]]★★★数据格式、loss mask、packing[[自回归生成与采样]]
[[LoRA与QLoRA]]★★★低秩分解、alpha/r、NF4、双重量化[[矩阵分解-SVD与特征分解]]
[[继续预训练与领域适配]]★★☆CPT 数据、学习率、灾难遗忘[[指令微调SFT]]
[[对齐-RLHF]]★★★Bradley–Terry、奖励模型、PPO、KL[[指令微调SFT]]
[[DPO与偏好优化]]★★★偏好损失推导、β、与 PPO 对比[[对齐-RLHF]]

方法选择速查

情形首选理由
需要注入频繁变化的事实知识RAG权重更新成本高且易过时
需要改变输出风格或任务格式SFT + LoRA少量高质量样本即可生效
显存不足以全量微调QLoRA4bit 量化基座 + 低秩适配器
需要对齐主观偏好DPO 或 RLHF需要偏好数据;DPO 实现更简单
需要新语言或新领域术语继续预训练 + SFT先扩展分布,再教任务格式

达标清单

  • [ ] 能写出 LoRA 的前向形式与参数量公式,解释 的缩放作用。
  • [ ] 能计算给定模型与配置下 LoRA 的可训练参数量与优化器显存。
  • [ ] 能解释 QLoRA 的 NF4 量化、双重量化与分页优化各自解决的问题。
  • [ ] 能构造 SFT 训练样本并正确设置 loss mask。
  • [ ] 能推导 Bradley–Terry 模型下的奖励模型损失。
  • [ ] 能写出 PPO 的裁剪目标与 KL 惩罚项,说明其训练不稳定来源。
  • [ ] 能从 RLHF 目标推导 DPO 损失,并解释 的作用。
  • [ ] 能识别灾难遗忘并给出回放或低学习率策略。

阶段项目

在 7B 以下的开源基座上完成一次可控微调实验:

  1. 构造 2k–10k 条指令数据,完成去重、质量过滤与污染检查。
  2. 使用 QLoRA 进行 SFT,记录显存峰值、训练损失与吞吐。
  3. 在留出集上比较基座与微调模型的指令跟随质量,给出评分表。
  4. 用同一偏好数据分别训练 DPO 与奖励模型 + PPO 的小规模版本,比较稳定性与成本。
  5. 输出报告:数据统计、配置、指标、失败案例与显存分析。

验收标准:显存测量可复现;评分标准事先定义;能解释每一项配置对结果的影响方向。

参考来源

  • Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", arXiv:2106.09685。
  • Dettmers et al., "QLoRA: Efficient Finetuning of Quantized LLMs", arXiv:2305.14314。
  • Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155。
  • Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", arXiv:2305.18290。
  • Hugging Face PEFT 与 TRL 官方文档。