---
tags: [AI, MOC, 评估, 安全]
阶段: 09-评估安全与前沿
难度: ★★☆
created: 2026-10-18
related: "[[00-MOC]], [[模型评估矩阵]], [[幻觉与缓解]]"
---

# MOC · 评估、安全与前沿

> [!summary] 本阶段地图
> 模型能力越强，越需要可度量的评估与明确的安全边界。本阶段从评估方法论出发，依次处理幻觉、对抗性滥用、可解释性与多模态生成模型，最后给出持续跟踪研究进展的方法。本阶段不是终点，而是回到 05/06/08 按需深挖的入口。

```mermaid
flowchart LR
    EVAL[[模型评估矩阵]] --> HALL[[幻觉与缓解]]
    EVAL --> SAFE[[越狱与安全对齐]]
    HALL --> XAI[[可解释性]]
    SAFE --> XAI
    XAI --> MM[[多模态与生成模型概览]]
    MM --> PAPER[[论文阅读法]]
    PAPER --> TREND[[AI技术动态追踪]]
    TREND -.-> EVAL
```

## 学习顺序与理由

1. [[模型评估矩阵]]：先建立「能力维度 × 评测方法 × 统计可靠性」的框架，否则单个基准分数无法解释。
2. [[幻觉与缓解]]：生成模型最普遍的可信度问题；需要区分数据、训练与解码三类成因。
3. [[越狱与安全对齐]]：对抗性输入下的失效模式与防御层次，与 07 阶段的对齐训练直接衔接。
4. [[可解释性]]：从特征归因到机制分析，理解解释方法的假设与局限。
5. [[多模态与生成模型概览]]：VAE、GAN、Diffusion 与多模态对齐，补全生成建模的另一条主线。
6. [[论文阅读法]]：把前沿阅读变成可复现的实验，而不是摘要收集。
7. [[AI技术动态追踪]]：建立持续、低成本、可筛选的信息管道。

## 笔记索引

| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[模型评估矩阵]] | ★★★ | 基准、污染、显著性、评测设计 | [[模型评估与交叉验证]] |
| [[幻觉与缓解]] | ★★☆ | 分类、成因、检测与缓解 | [[RAG评估]] |
| [[越狱与安全对齐]] | ★★★ | 攻击类型、防御层次、红队 | [[对齐-RLHF]] |
| [[可解释性]] | ★★★ | 归因方法、注意力可视化、探针 | [[注意力机制与QKV]] |
| [[多模态与生成模型概览]] | ★★★ | VAE、GAN、Diffusion、CLIP | [[概率与统计]] |
| [[论文阅读法]] | ★☆☆ | 三遍法、复现、批判性提问 | [[00-MOC]] |
| [[AI技术动态追踪]] | ★☆☆ | 信息源、筛选、实验跟踪 | [[论文阅读法]] |

## 评估设计清单

- 明确评估对象：能力、可靠性、安全性、效率，四者指标不同。
- 明确数据来源与污染风险：训练集是否包含测试题。
- 明确评分方式：精确匹配、模型评分、人工评分，各自偏差不同。
- 明确统计口径：样本量、置信区间、多次运行的方差。
- 明确失败分类：错误类型分布比单一总分更有信息量。

## 达标清单

- [ ] 能设计一个覆盖能力与安全两类的评估方案，并说明样本量与置信区间。
- [ ] 能区分事实性幻觉、忠实性幻觉与推理错误，并给出对应缓解手段。
- [ ] 能描述至少三类越狱攻击与两层防御，并说明对齐税的来源。
- [ ] 能解释积分梯度的公理动机与注意力可视化的局限。
- [ ] 能写出 VAE 的 ELBO、GAN 的极小极大目标与 DDPM 的简化训练目标。
- [ ] 能用三遍法读完一篇论文并判断其结论是否被实验支持。
- [ ] 能维护一个可复现的前沿跟踪流程。

## 阶段项目

完成一份模型评估报告与一次复现：

1. 选择一个开源模型，设计覆盖知识、推理、代码、指令跟随、安全的评估集。
2. 运行评估，报告每类指标、样本量与置信区间，分析污染风险。
3. 构造 20 条越狱或诱导性输入，统计攻击成功率并测试两层防御。
4. 选一篇近两年的论文，按 [[论文阅读法]] 做三遍阅读并复现其中一个实验。
5. 输出报告：方法、结果、失败分类、复现差异与结论。

验收标准：评估脚本可运行；结论与数据一致；复现差异有解释。

## 参考来源

- Liang et al., "Holistic Evaluation of Language Models", 2022 —— 多维度评测框架。
- Ji et al., "Survey of Hallucination in Natural Language Generation", 2023。
- Wei et al., "Jailbroken: How Does LLM Safety Training Fail?", 2023。
- Sundararajan et al., "Axiomatic Attribution for Deep Networks", 2017 —— 积分梯度。
- Ho et al., "Denoising Diffusion Probabilistic Models", arXiv:2006.11239。
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", arXiv:2103.00020。
