w wyl123ly 的博客
MD

MOC-评估与安全

5 KB 2026.10.18 原文件

MOC · 评估、安全与前沿

本阶段地图

模型能力越强,越需要可度量的评估与明确的安全边界。本阶段从评估方法论出发,依次处理幻觉、对抗性滥用、可解释性与多模态生成模型,最后给出持续跟踪研究进展的方法。本阶段不是终点,而是回到 05/06/08 按需深挖的入口。

flowchart LR
    EVAL[[模型评估矩阵]] --> HALL[[幻觉与缓解]]
    EVAL --> SAFE[[越狱与安全对齐]]
    HALL --> XAI[[可解释性]]
    SAFE --> XAI
    XAI --> MM[[多模态与生成模型概览]]
    MM --> PAPER[[论文阅读法]]
    PAPER --> TREND[[AI技术动态追踪]]
    TREND -.-> EVAL

学习顺序与理由

  1. 模型评估矩阵:先建立「能力维度 × 评测方法 × 统计可靠性」的框架,否则单个基准分数无法解释。
  2. 幻觉与缓解:生成模型最普遍的可信度问题;需要区分数据、训练与解码三类成因。
  3. 越狱与安全对齐:对抗性输入下的失效模式与防御层次,与 07 阶段的对齐训练直接衔接。
  4. 可解释性:从特征归因到机制分析,理解解释方法的假设与局限。
  5. 多模态与生成模型概览:VAE、GAN、Diffusion 与多模态对齐,补全生成建模的另一条主线。
  6. 论文阅读法:把前沿阅读变成可复现的实验,而不是摘要收集。
  7. AI技术动态追踪:建立持续、低成本、可筛选的信息管道。

笔记索引

笔记难度核心内容前置
[[模型评估矩阵]]★★★基准、污染、显著性、评测设计[[模型评估与交叉验证]]
[[幻觉与缓解]]★★☆分类、成因、检测与缓解[[RAG评估]]
[[越狱与安全对齐]]★★★攻击类型、防御层次、红队[[对齐-RLHF]]
[[可解释性]]★★★归因方法、注意力可视化、探针[[注意力机制与QKV]]
[[多模态与生成模型概览]]★★★VAE、GAN、Diffusion、CLIP[[概率与统计]]
[[论文阅读法]]★☆☆三遍法、复现、批判性提问[[00-MOC]]
[[AI技术动态追踪]]★☆☆信息源、筛选、实验跟踪[[论文阅读法]]

评估设计清单

  • 明确评估对象:能力、可靠性、安全性、效率,四者指标不同。
  • 明确数据来源与污染风险:训练集是否包含测试题。
  • 明确评分方式:精确匹配、模型评分、人工评分,各自偏差不同。
  • 明确统计口径:样本量、置信区间、多次运行的方差。
  • 明确失败分类:错误类型分布比单一总分更有信息量。

达标清单

  • [ ] 能设计一个覆盖能力与安全两类的评估方案,并说明样本量与置信区间。
  • [ ] 能区分事实性幻觉、忠实性幻觉与推理错误,并给出对应缓解手段。
  • [ ] 能描述至少三类越狱攻击与两层防御,并说明对齐税的来源。
  • [ ] 能解释积分梯度的公理动机与注意力可视化的局限。
  • [ ] 能写出 VAE 的 ELBO、GAN 的极小极大目标与 DDPM 的简化训练目标。
  • [ ] 能用三遍法读完一篇论文并判断其结论是否被实验支持。
  • [ ] 能维护一个可复现的前沿跟踪流程。

阶段项目

完成一份模型评估报告与一次复现:

  1. 选择一个开源模型,设计覆盖知识、推理、代码、指令跟随、安全的评估集。
  2. 运行评估,报告每类指标、样本量与置信区间,分析污染风险。
  3. 构造 20 条越狱或诱导性输入,统计攻击成功率并测试两层防御。
  4. 选一篇近两年的论文,按 论文阅读法 做三遍阅读并复现其中一个实验。
  5. 输出报告:方法、结果、失败分类、复现差异与结论。

验收标准:评估脚本可运行;结论与数据一致;复现差异有解释。

参考来源

  • Liang et al., "Holistic Evaluation of Language Models", 2022 —— 多维度评测框架。
  • Ji et al., "Survey of Hallucination in Natural Language Generation", 2023。
  • Wei et al., "Jailbroken: How Does LLM Safety Training Fail?", 2023。
  • Sundararajan et al., "Axiomatic Attribution for Deep Networks", 2017 —— 积分梯度。
  • Ho et al., "Denoising Diffusion Probabilistic Models", arXiv:2006.11239。
  • Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", arXiv:2103.00020。