MOC · 评估、安全与前沿
本阶段地图
模型能力越强,越需要可度量的评估与明确的安全边界。本阶段从评估方法论出发,依次处理幻觉、对抗性滥用、可解释性与多模态生成模型,最后给出持续跟踪研究进展的方法。本阶段不是终点,而是回到 05/06/08 按需深挖的入口。
flowchart LR
EVAL[[模型评估矩阵]] --> HALL[[幻觉与缓解]]
EVAL --> SAFE[[越狱与安全对齐]]
HALL --> XAI[[可解释性]]
SAFE --> XAI
XAI --> MM[[多模态与生成模型概览]]
MM --> PAPER[[论文阅读法]]
PAPER --> TREND[[AI技术动态追踪]]
TREND -.-> EVAL
学习顺序与理由
- 模型评估矩阵:先建立「能力维度 × 评测方法 × 统计可靠性」的框架,否则单个基准分数无法解释。
- 幻觉与缓解:生成模型最普遍的可信度问题;需要区分数据、训练与解码三类成因。
- 越狱与安全对齐:对抗性输入下的失效模式与防御层次,与 07 阶段的对齐训练直接衔接。
- 可解释性:从特征归因到机制分析,理解解释方法的假设与局限。
- 多模态与生成模型概览:VAE、GAN、Diffusion 与多模态对齐,补全生成建模的另一条主线。
- 论文阅读法:把前沿阅读变成可复现的实验,而不是摘要收集。
- AI技术动态追踪:建立持续、低成本、可筛选的信息管道。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[模型评估矩阵]] | ★★★ | 基准、污染、显著性、评测设计 | [[模型评估与交叉验证]] |
| [[幻觉与缓解]] | ★★☆ | 分类、成因、检测与缓解 | [[RAG评估]] |
| [[越狱与安全对齐]] | ★★★ | 攻击类型、防御层次、红队 | [[对齐-RLHF]] |
| [[可解释性]] | ★★★ | 归因方法、注意力可视化、探针 | [[注意力机制与QKV]] |
| [[多模态与生成模型概览]] | ★★★ | VAE、GAN、Diffusion、CLIP | [[概率与统计]] |
| [[论文阅读法]] | ★☆☆ | 三遍法、复现、批判性提问 | [[00-MOC]] |
| [[AI技术动态追踪]] | ★☆☆ | 信息源、筛选、实验跟踪 | [[论文阅读法]] |
评估设计清单
- 明确评估对象:能力、可靠性、安全性、效率,四者指标不同。
- 明确数据来源与污染风险:训练集是否包含测试题。
- 明确评分方式:精确匹配、模型评分、人工评分,各自偏差不同。
- 明确统计口径:样本量、置信区间、多次运行的方差。
- 明确失败分类:错误类型分布比单一总分更有信息量。
达标清单
- [ ] 能设计一个覆盖能力与安全两类的评估方案,并说明样本量与置信区间。
- [ ] 能区分事实性幻觉、忠实性幻觉与推理错误,并给出对应缓解手段。
- [ ] 能描述至少三类越狱攻击与两层防御,并说明对齐税的来源。
- [ ] 能解释积分梯度的公理动机与注意力可视化的局限。
- [ ] 能写出 VAE 的 ELBO、GAN 的极小极大目标与 DDPM 的简化训练目标。
- [ ] 能用三遍法读完一篇论文并判断其结论是否被实验支持。
- [ ] 能维护一个可复现的前沿跟踪流程。
阶段项目
完成一份模型评估报告与一次复现:
- 选择一个开源模型,设计覆盖知识、推理、代码、指令跟随、安全的评估集。
- 运行评估,报告每类指标、样本量与置信区间,分析污染风险。
- 构造 20 条越狱或诱导性输入,统计攻击成功率并测试两层防御。
- 选一篇近两年的论文,按 论文阅读法 做三遍阅读并复现其中一个实验。
- 输出报告:方法、结果、失败分类、复现差异与结论。
验收标准:评估脚本可运行;结论与数据一致;复现差异有解释。
参考来源
- Liang et al., "Holistic Evaluation of Language Models", 2022 —— 多维度评测框架。
- Ji et al., "Survey of Hallucination in Natural Language Generation", 2023。
- Wei et al., "Jailbroken: How Does LLM Safety Training Fail?", 2023。
- Sundararajan et al., "Axiomatic Attribution for Deep Networks", 2017 —— 积分梯度。
- Ho et al., "Denoising Diffusion Probabilistic Models", arXiv:2006.11239。
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", arXiv:2103.00020。