---
tags: [AI, 可解释性, 归因, 机制分析]
阶段: 09-评估安全与前沿
难度: ★★★
created: 2026-10-18
related: "[[反向传播详解]], [[注意力机制与QKV]], [[模型评估矩阵]], [[多模态与生成模型概览]]"
---

# 可解释性

## 定义

**可解释性**（interpretability）指以人类可检验的形式定量给出模型输出与输入特征、内部表示之间归因关系或因果关系的性质，以及构造这种对应关系的方法集合。

一词在两处使用，需要先区分。作为性质，它描述一个模型或其解释输出是否足以支持人类做出判断；作为方法，它指代一组在训练后或训练中提取此类对应关系的算法。本篇按方法的视角组织，第 11 节回到性质的度量。

先固定记号。

- **模型** $f:\mathbb{R}^d\to\mathbb{R}^{C}$，把输入映射为 $C$ 个类别的 logit 向量；解释单个类别 $c$ 时使用标量 $f_c$，回归任务取 $C=1$。
- **输入** $\mathbf{x}\in\mathbb{R}^d$，其第 $i$ 个分量 $x_i$ 称为**特征**（feature），在图像任务中可指一个像素、一个通道或一个图像块。
- **基线**（baseline）$\mathbf{x}'\in\mathbb{R}^d$，表示「这些特征都不存在」时的参考输入。
- **归因**（attribution）$\phi_i\in\mathbb{R}$，分配给特征 $i$ 的实数值；正值表示该特征支持当前输出，负值表示反对，绝对值表示分摊到的输出差值大小。
- **完备性**（completeness）指归因满足 $\sum_{i=1}^{d}\phi_i=f(\mathbf{x})-f(\mathbf{x}')$，即归因之和等于输出相对基线的差值。
- **局部解释**（local explanation）针对单个输入 $\mathbf{x}$ 给出归因；**全局解释**（global explanation）针对整个输入分布给出特征层面的统计量。
- **内在可解释**（intrinsic interpretability）指模型假设类本身限制为可直接读出参数的族；**事后解释**（post hoc explanation）指模型训练完成后另加的解释器。
- **忠实性**（faithfulness）指解释在多大程度上反映模型的实际计算，以删除、插入等干预实验度量；注意它与 [[幻觉与缓解]] 中同名的「忠实性」不是同一概念，后者指输出与给定上下文的一致性。
- **稳定性**（stability）指输入受微小扰动或解释器随机种子改变时，解释输出保持一致的程度。
- **人类一致性**（human agreement）指解释与人工标注证据的重合程度，常用标注区域与归因区域的交并比度量。
- **探针**（probe）指在隐藏层表示上训练的浅层分类器，用于检验某属性是否可线性解码。
- **电路**（circuit）指网络中承担可命名计算功能的子图，由若干注意力头与前馈子层连接构成。

两类目标贯穿全篇。

- **解释预测**（explain prediction）：给定 $(\mathbf{x},f(\mathbf{x}))$，求归因 $\boldsymbol{\phi}\in\mathbb{R}^{d}$，使 $\boldsymbol{\phi}$ 与 $f$ 在 $\mathbf{x}$ 附近的行为一致。
- **解释机制**（explain mechanism）：给定网络结构，找出承担某功能的组件集合及其连接，使该功能可用可命名的算法描述。

## 为什么重要

深度模型的输出是复合函数 $f=f_L\circ\cdots\circ f_1$ 的取值，中间张量维度可达 $10^{9}$，参数之间高度耦合。直接从参数读出决策依据不可行：单个权重的作用依赖其余所有权重，特征之间存在交互，同一输出可由多条路径产生。可解释性方法是绕开这一困难的一组近似手段，它不否认耦合，而是把「输出相对基线的差值如何分摊到输入或内部单元」定义成一个可计算的问题。

缺少这些手段产生四类具体后果。

- 无法定位失败模式。模型在某个子群上错误率偏高时，只有归因才能指出是哪些特征触发了错误分支，否则只能靠扩充数据试验。
- 无法审计。安全、金融、医疗场景要求说明拒绝或通过的理由，仅有概率分数不构成理由。
- 无法满足合规。涉及自动化决策的法规要求向受影响者提供关于决策逻辑的信息，第 12 节列出具体要求。
- 无法证伪关于模型行为的假设。研究者对模型「使用了句法」「使用了位置捷径」的判断，必须靠干预实验检验，而干预实验的构造依赖归因结果。

在本库中的位置如下。[[反向传播详解]] 给出梯度计算，几乎所有白箱归因方法都以梯度为输入；[[注意力机制与QKV]] 给出注意力权重的定义，第 8 节说明为什么该权重不等于解释；[[模型评估矩阵]] 提供评价口径，第 11 节把解释的忠实性与稳定性纳入同一套统计框架；[[多模态与生成模型概览]] 中的对比学习模型把图文映射到同一空间，其对齐性质需要归因与探针才能核查。

## 原理与推导

### 1. 两类目标的形式差异

解释预测与解释机制回答不同的问题，验证方式也不同。

| 维度 | 解释预测 | 解释机制 |
|---|---|---|
| 对象 | 单个输入输出对 | 网络组件与连接 |
| 输出 | 长度 $d$ 的归因向量或局部代理模型 | 组件集合、功能描述、干预效应 |
| 验证 | 删除、插入、参数随机化 | 激活替换、消融、电路复现 |
| 代价 | 一次到数百次前向或反向传播 | 人工分析加大量干预实验 |
| 主要失效 | 归因与模型计算不一致 | 把相关组件误判为必要组件 |

两类目标可以衔接：机制解释给出候选组件，归因给出去除该组件后的输出变化，二者共同构成因果证据。仅有一类证据时结论强度有限。

```mermaid
flowchart TD
    A[可解释性方法] --> B[解释预测-局部归因]
    A --> C[解释机制-内部组件]
    B --> D[梯度类 显著性 积分梯度]
    B --> E[分摊类 Shapley KernelSHAP]
    B --> F[代理类 LIME]
    C --> G[探针与激活干预]
    C --> H[稀疏自编码器]
```

### 2. 内在可解释与事后解释

**内在可解释**模型把假设类限制在参数即解释的族内：

$$
f(\mathbf{x})=g\Big(\sum_{i=1}^{d}\phi_i(x_i)\Big)+b
$$

其中 $g$ 为链接函数，$\phi_i$ 为第 $i$ 个特征的单变量形状函数，$b$ 为偏置。该形式称为广义可加模型（generalized additive model, GAM），其归因天然满足完备性，且对任意输入精确成立，无需近似。代价是可加结构无法表示特征交互，表达能力受限；要恢复交互需显式加入 $\phi_{ij}(x_i,x_j)$ 项，参数数量随阶数组合增长。

线性模型是 $g$ 为恒等映射、$\phi_i(x_i)=w_ix_i$ 的特例，此时归因 $\phi_i=w_ix_i$ 精确且全局一致。决策树的归因是根到叶路径上的分裂条件集合，同样精确但只覆盖训练时见过的划分。

**事后解释**在模型固定后进行，按可访问的信息分为两类。

- **黑箱**：只能查询 $f(\mathbf{x})$，方法有 LIME、KernelSHAP、置换重要性。
- **白箱**：可读取梯度、激活、权重，方法有梯度显著性、积分梯度、探针、激活替换。

两类之间存在固定的权衡。内在可解释以表达能力换取精确性；事后解释以近似误差换取通用性，其忠实性没有理论保证，只能通过第 11 节的实验测度。选择方法时应先确定可接受的是哪一侧的损失，而不是默认事后解释适用于所有模型。

### 3. 梯度显著性

**梯度显著性**（gradient saliency）把输入点处的梯度作为归因：

$$
S_i(\mathbf{x})=\frac{\partial f_c(\mathbf{x})}{\partial x_i}
$$

多通道输入（如 RGB 图像）取通道上的最大值 $S_i=\max_{ch}|S_{i,ch}|$ 或平方和。

该定义的语义由一阶泰勒展开确定：

$$
f_c(\mathbf{x}+\boldsymbol{\delta})=f_c(\mathbf{x})+\nabla f_c(\mathbf{x})^{\top}\boldsymbol{\delta}+O(\lVert\boldsymbol{\delta}\rVert^{2})
$$

当 $\boldsymbol{\delta}$ 足够小时，输出的变化量近似为 $\sum_i S_i(\mathbf{x})\delta_i$，因此 $S_i$ 度量的是「第 $i$ 维的无穷小扰动对输出的边际影响」。这一语义有三个直接后果。

第一，**饱和导致归零**。Sigmoid 或 tanh 在饱和区导数趋近于零，ReLU 在负半轴导数恒为零，此时 $S_i=0$，但改变 $x_i$ 跨越阈值会显著改变输出。归因向量因此可能整片为零，而输入显然影响输出。

第二，**尺度依赖**。若把某维单位从米改为厘米，$S_i$ 缩小 100 倍，归因排序随之改变。跨特征比较前必须把输入归一化到同一量纲，或改用乘以输入差值的积分形式。

第三，**不满足实现不变性**。两个网络在输入空间上取值完全相同，但计算图不同（例如把一个线性层替换为两个串联线性层），梯度可以不同。归因依赖实现而非函数，这一点在下节作为公理被排除。

对 $S$ 做噪声平均可得 SmoothGrad：

$$
\hat{S}_i(\mathbf{x})=\frac{1}{n}\sum_{k=1}^{n}S_i(\mathbf{x}+\boldsymbol{\epsilon}_k),\qquad \boldsymbol{\epsilon}_k\sim\mathcal{N}(0,\sigma^{2}\mathbf{I})
$$

其作用是压低梯度图中的高频噪声，代价是 $n$ 倍前向反向传播，且 $\sigma$ 的取值改变归因结果。

### 4. 积分梯度

**积分梯度**（integrated gradients, IG）沿从基线到输入的直线路径累积梯度：

$$
\phi_i(\mathbf{x})=(x_i-x'_i)\int_{0}^{1}\frac{\partial f(\mathbf{x}'+\alpha(\mathbf{x}-\mathbf{x}'))}{\partial x_i}\,d\alpha
$$

其中 $\alpha\in[0,1]$ 为路径参数，$\mathbf{x}'+\alpha(\mathbf{x}-\mathbf{x}')$ 为路径上的点。定义由四条公理共同确定。

**敏感性**（sensitivity）：若 $\mathbf{x}$ 与 $\mathbf{x}'$ 仅在第 $i$ 维不同，且 $f(\mathbf{x})\neq f(\mathbf{x}')$，则 $\phi_i\neq0$。其弱形式称为虚拟公理（dummy）：若 $f$ 不依赖 $x_i$，则 $\phi_i=0$。

**实现不变性**（implementation invariance）：若 $f_1(\mathbf{x})=f_2(\mathbf{x})$ 对所有 $\mathbf{x}$ 成立，则两个模型的归因相同。梯度显著性违反此条。

**完备性**：$\sum_i\phi_i=f(\mathbf{x})-f(\mathbf{x}')$。

**线性**（linearity）：若 $f=a f_1+b f_2$，则归因按同一系数线性组合。

Sundararajan 等证明，同时满足上述四条的方法唯一，即路径积分形式。下面给出完备性的证明，它是该族方法可用的核心原因。

设 $\boldsymbol{\gamma}(\alpha)=\mathbf{x}'+\alpha(\mathbf{x}-\mathbf{x}')$。对复合函数求导：

$$
\frac{d}{d\alpha}f(\boldsymbol{\gamma}(\alpha))=\sum_{i=1}^{d}\frac{\partial f}{\partial x_i}\big(\boldsymbol{\gamma}(\alpha)\big)\,(x_i-x'_i)
$$

两边对 $\alpha$ 从 0 到 1 积分，左端由微积分基本定理得 $f(\mathbf{x})-f(\mathbf{x}')$：

$$
f(\mathbf{x})-f(\mathbf{x}')=\sum_{i=1}^{d}(x_i-x'_i)\int_{0}^{1}\frac{\partial f}{\partial x_i}\big(\boldsymbol{\gamma}(\alpha)\big)\,d\alpha=\sum_{i=1}^{d}\phi_i
$$

证明中未对基线作任何假设，因此**完备性对任意基线成立**。这既是优点也是陷阱：它保证了归因之和恒等于输出差，但不保证每一项的语义正确。基线改变时，输出差改变，各项按新的路径重新分摊，结果不同。

敏感性由完备性直接推出：若只有第 $i$ 维不同，则其余 $(x_j-x'_j)=0$，故 $\phi_j=0$，完备性给出 $\phi_i=f(\mathbf{x})-f(\mathbf{x}')$。这一条正是 IG 相对显著性的改进：显著性在饱和区给出零，IG 给出等于输出差的非零值。

实现不变性由定义直接得到：$\phi$ 只依赖 $f$ 沿路径的取值，不依赖 $f$ 的计算图。

**数值实现**取复合梯形公式。把 $[0,1]$ 等分为 $m$ 个区间，$\alpha_k=k/m$：

$$
\hat{\phi}_i=(x_i-x'_i)\cdot\frac{1}{m}\left[\frac{g_i(\alpha_0)}{2}+\sum_{k=1}^{m-1}g_i(\alpha_k)+\frac{g_i(\alpha_m)}{2}\right]
$$

其中 $g_i(\alpha)=\partial f(\boldsymbol{\gamma}(\alpha))/\partial x_i$。端点系数为 $1/2$，中间点系数为 1，整体除以区间数 $m$。误差为 $O(m^{-2})$（$f$ 二阶连续可导时），$m$ 取 20 到 300 在实践中足够；当路径穿过 ReLU 折点时收敛降为 $O(m^{-1})$，需要增大 $m$ 或改用分段积分。

**基线选择**。基线是解释的一部分，不是可省略的实现细节。

- 全零基线：对已做标准化（零均值）的输入等价于均值基线；对归一化到 $[0,1]$ 的图像表示黑色，语义上并非「缺失」。
- 均值基线：取训练集逐特征均值，表示「平均样本」。
- 模糊基线：对图像做高斯模糊，削弱高频内容但保留布局。
- 分布基线：从训练集采样 $n$ 个样本作为基线，取归因平均，即 expected gradients。
- 对抗基线：选择使归因最不稳定的输入，用于压力测试。

对 ReLU 网络，零基线隐含「特征值低于零即不存在」的假设。若输入经过 BatchNorm 后大量取值为负，该假设与数据分布不符，归因会出现系统性偏移：一部分差值被分配给与决策无关但取值偏离零的特征。因此报告 IG 结果时必须同时报告基线定义，否则结果不可复现。

### 5. Shapley 值与近似

把特征视为合作博弈的参与者。设参与者集合 $N=\{1,\dots,d\}$，**价值函数** $v:2^{N}\to\mathbb{R}$ 定义为只保留集合 $S$ 中特征时的模型输出期望：

$$
v(S)=\mathbb{E}\big[f(\mathbf{x})\mid \mathbf{x}_S\big]
$$

并约定 $v(\varnothing)=f(\mathbf{x}')$。特征 $i$ 的 **Shapley 值**为

$$
\phi_i=\sum_{S\subseteq N\setminus\{i\}}\frac{|S|!\,(d-|S|-1)!}{d!}\Big[v(S\cup\{i\})-v(S)\Big]
$$

权重 $\frac{|S|!(d-|S|-1)!}{d!}$ 等于在 $d!$ 个均匀随机排列中，$S$ 恰好排在 $i$ 之前的概率。因此 $\phi_i$ 也可写成

$$
\phi_i=\mathbb{E}_{\pi\sim\mathrm{Unif}(S_d)}\Big[v\big(\mathrm{pre}_i(\pi)\cup\{i\}\big)-v\big(\mathrm{pre}_i(\pi)\big)\Big]
$$

其中 $\pi$ 为特征的随机加入顺序，$\mathrm{pre}_i(\pi)$ 为排在 $i$ 之前的特征集合。该式说明 Shapley 值是「平均边际贡献」，这也给出采样算法：抽取排列，按顺序逐个加入特征，记录 $i$ 加入时的价值增量，对多次抽样取平均。

Shapley 值满足四条公理：效率（$\sum_i\phi_i=v(N)-v(\varnothing)$）、对称（对 $v$ 贡献相同的两个特征归因相同）、虚拟（不改变任何 $v(S)$ 的特征归因为零）、可加（$v_1+v_2$ 的归因等于各自归因之和）。Shapley 证明满足这四条的分摊唯一。效率公理与 IG 的完备性形式相同，区别在于 $v$ 的定义引入了条件期望，因此 Shapley 处理特征交互的方式与路径积分不同。

精确计算需要枚举 $2^{d}$ 个子集。$d=20$ 时约 $10^{6}$ 次模型查询，$d=100$ 时不可行。三种近似路线如下。

**排列采样**。按上式抽样，$\hat{\phi}_i$ 是 $\phi_i$ 的无偏估计，方差随样本数 $n$ 按 $1/n$ 下降。单个排列需要 $d$ 次价值查询，总计 $nd$ 次。当 $v$ 需要条件期望时，每次查询还要对缺失特征采样，实际代价更高。

**KernelSHAP**。把归因写成加权线性回归的解。对每个子集 $S$ 构造二值向量 $\mathbf{z}\in\{0,1\}^{d}$，$z_i=1$ 表示特征 $i$ 存在，拟合

$$
\min_{\phi_0,\boldsymbol{\phi}}\sum_{S\subseteq N}w(S)\Big(v(S)-\phi_0-\sum_{i\in S}\phi_i\Big)^{2}
$$

权重取

$$
w(S)=\frac{d-1}{\binom{d}{|S|}\,|S|\,(d-|S|)}
$$

该权重使回归的解恰好等于 Shapley 值，其来源是 Shapley 核：它让不同大小的子集对目标函数的贡献等价。$\phi_0$ 由效率约束固定为 $v(\varnothing)$，$|S|=0$ 与 $|S|=d$ 的权重趋于无穷，实际实现中作为约束而非样本处理。KernelSHAP 的意义在于把组合爆炸转化为可用采样求解的回归，代价是仍需对子集采样，且回归的方差在特征数大时上升。

**树模型专用算法**。TreeSHAP 利用树结构把精确计算的复杂度从 $O(2^{d})$ 降到 $O(TLD^{2})$，其中 $T$ 为树数、$L$ 为叶数、$D$ 为深度，因此对梯度提升树可精确计算。

**与 IG 的关系**。对线性模型 $f(\mathbf{x})=\mathbf{w}^{\top}\mathbf{x}$，基线为零时 IG 给出 $\phi_i=w_ix_i$；此时 $v(S)=\sum_{i\in S}w_ix_i$，Shapley 值同样为 $w_ix_i$，两者一致。对非线性模型两者一般不同：IG 沿一条路径积分，Shapley 对所有子集的平均边际贡献加权。二者都满足完备性，但归因排序可以不同。

### 6. LIME 的局部代理模型

**LIME**（local interpretable model-agnostic explanations）不直接给归因，而是用一个可解释模型在局部逼近 $f$。设可解释模型族 $G$ 为稀疏线性模型，定义

$$
\xi(\mathbf{x})=\arg\min_{g\in G}\ \mathcal{L}\big(f,g,\pi_{\mathbf{x}}\big)+\Omega(g)
$$

其中 $\mathcal{L}$ 为在邻域内 $g$ 与 $f$ 的差异，$\pi_{\mathbf{x}}(\mathbf{z})$ 为样本 $\mathbf{z}$ 相对 $\mathbf{x}$ 的邻域权重，$\Omega(g)$ 为复杂度惩罚。

具体做法分四步。

1. 构造二值掩码 $\mathbf{z}'\in\{0,1\}^{d}$，以 $\mathbf{x}$ 为中心采样，各维以概率 $p$ 取 1。
2. 把掩码还原为可输入样本：$z_i=z'_i x_i+(1-z'_i)\bar{x}_i$，$\bar{x}_i$ 为训练集均值或零。
3. 查询标签 $f(\mathbf{z})$，计算权重 $\pi_{\mathbf{x}}(\mathbf{z})=\exp\big(-D(\mathbf{x},\mathbf{z})^{2}/\sigma^{2}\big)$，$D$ 常取余弦距离或 $L_2$ 距离。
4. 在加权样本上求解带 $L_1$ 惩罚的线性回归，取绝对值最大的 $K$ 个系数作为解释。

得到的是代理模型的系数，不是 $f$ 的 Shapley 值，也不是梯度。它的解释力限于 $\mathbf{x}$ 的邻域：$\sigma$ 越小，邻域越窄，局部越准，但采样点离 $\mathbf{x}$ 越远时权重趋零，有效样本减少，方差上升。$\sigma$ 越大，代理模型覆盖范围变宽，但线性假设在更大范围上不成立，代理与 $f$ 的差异增大。

三种方法按可访问信息与输出形式对比如下。

| 方法 | 可访问信息 | 输出 | 单次代价 | 满足完备性 | 稳定性 |
|---|---|---|---|---|---|
| 梯度显著性 | 梯度 | 长度 $d$ 的向量 | 1 次反向 | 否 | 中 |
| 积分梯度 | 梯度 | 长度 $d$ 的向量 | $m$ 次反向 | 是 | 高 |
| KernelSHAP | 仅前向 | 长度 $d$ 的向量 | 数百至数千次前向 | 是 | 中 |
| LIME | 仅前向 | $K$ 个系数 | 数百至数千次前向 | 否 | 低 |

### 7. 全局解释

**置换重要性**（permutation importance）在验证集上打乱第 $j$ 列，度量指标下降：

$$
I_j=\frac{1}{R}\sum_{r=1}^{R}\Big[\mathcal{M}\big(f,\mathcal{D}\big)-\mathcal{M}\big(f,\mathcal{D}^{(j,r)}\big)\Big]
$$

其中 $\mathcal{M}$ 为评价指标（如准确率），$\mathcal{D}^{(j,r)}$ 为第 $r$ 次打乱第 $j$ 列后的数据集。存在的问题是相关特征的分摊：若 $x_j$ 与 $x_k$ 高度相关，打乱 $x_j$ 后模型仍可从 $x_k$ 恢复信息，$I_j$ 与 $I_k$ 都被低估；反之，若把其中一个作为冗余特征加入，重要性的总和可以超过单独训练时的值。

**部分依赖图**（partial dependence plot, PDP）固定 $x_j$ 取值，对其余特征取期望：

$$
\mathrm{PD}_j(v)=\mathbb{E}_{\mathbf{x}_{-j}}\big[f(v,\mathbf{x}_{-j})\big]\approx\frac{1}{n}\sum_{k=1}^{n}f(v,\mathbf{x}^{(k)}_{-j})
$$

其中 $\mathbf{x}_{-j}$ 表示除第 $j$ 维外的所有分量。PDP 假设特征之间独立；存在相关时，$(v,\mathbf{x}^{(k)}_{-j})$ 可能落在数据流形之外，此时 $f$ 在该点的取值是外推结果，曲线不可信。**个体条件期望**（individual conditional expectation, ICE）曲线对每个样本单独画 $f(v,\mathbf{x}^{(k)}_{-j})$ 随 $v$ 的变化，可发现 PDP 平均掉的交互：若不同样本的 ICE 曲线斜率相反，PDP 的平均可能接近水平，掩盖真实依赖。

**SHAP 汇总**有两种常用形式。平均绝对归因 $\frac{1}{n}\sum_{k}|\phi_i(\mathbf{x}^{(k)})|$ 作为全局重要性条形图；带方向的散点（beeswarm）按 $\phi_i$ 的分布展示每个特征在不同样本上的作用方向。两种形式回答不同问题：前者回答「该特征平均影响多大」，后者回答「影响方向是否稳定」。聚合方式改变结论，报告时需明确使用哪一种。

### 8. 注意力权重的解释局限

多头自注意力计算

$$
\mathbf{A}=\mathrm{softmax}\Big(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d_k}}\Big),\qquad \mathbf{O}=\mathbf{A}\mathbf{V}
$$

其中 $\mathbf{Q},\mathbf{K},\mathbf{V}$ 分别为查询、键、值矩阵，$d_k$ 为键维度，$\mathbf{A}$ 的每行经 softmax 归一化，$\mathbf{O}$ 为输出。把 $\mathbf{A}$ 直接当作解释，隐含假设是「权重大的位置对输出的贡献大」。该假设在三个层面不成立。

第一，$\mathbf{A}$ 是 softmax 的输出，改变任一分量会重新分配整行权重。对 $A_{tj}$ 求偏导得到的是耦合后的边际量，不能解释为独立贡献。若值向量 $\mathbf{v}_j$ 为零，则 $A_{tj}$ 再大也不影响输出；若 $\mathbf{v}_j$ 与其他位置的值向量近似线性相关，则权重可在多个位置间转移而不改变输出。Jain 与 Wallace 据此构造了两类反例：存在与模型预测完全一致的对抗性注意力分布，以及注意力权重与梯度重要性排序不一致的情形，并指出在若干问答任务上注意力并不优于简单的基线。

第二，残差连接使信息绕过注意力子层。第 $l$ 层的输出为 $\mathbf{h}^{l+1}=\mathbf{h}^{l}+\mathrm{Attn}(\mathbf{h}^{l})$，输入可直接通过恒等路径到达输出，与注意力权重无关。单层权重因此不构成端到端路径上的贡献。

第三，多层多头混合。第 $l$ 层的输出来自 $H$ 个头的拼接，每个头有独立的 $\mathbf{A}^{(h)}$，层与层之间还夹有 LayerNorm 与前馈网络。把某一层的某个头单独取出来观察，丢失了其余组件的影响。

两种常见的修补方法及其局限如下。

**梯度乘注意力**。用一阶近似度量输出对权重的敏感度：

$$
\hat{\phi}_{tj}=A_{tj}\cdot\Big|\frac{\partial f}{\partial A_{tj}}\Big|
$$

它比原始权重多考虑了值向量的尺度，但仍受 softmax 耦合影响：$\partial f/\partial A_{tj}$ 是在其余权重固定的条件下计算的，而实际改变一个权重必然改变其余权重，方向相反时两者抵消。

**注意力 rollout**。把各层注意力相加单位阵后归一化再连乘：

$$
\tilde{\mathbf{A}}^{l}=\frac{1}{2}\mathbf{A}^{l}+\frac{1}{2}\mathbf{I},\qquad \mathbf{R}=\tilde{\mathbf{A}}^{1}\tilde{\mathbf{A}}^{2}\cdots\tilde{\mathbf{A}}^{L}
$$

$\mathbf{R}_{ij}$ 表示从输入位置 $j$ 经 $L$ 层到输出位置 $i$ 的路径权重。该方法假设层间信息流是线性的、忽略前馈网络与 LayerNorm、并把残差固定为等权相加（系数 $1/2$ 无推导依据）。这些假设在真实网络中不成立，因此 rollout 给出的是启发式相关量，不同实现（系数、是否归一化、是否包含前馈）会给出不同结果。

结论：注意力权重是计算中间量，可作为生成假设的工具，不能作为贡献证据。要主张某位置重要，需用消融或激活替换验证：把该位置的值向量置零，观察输出变化。

### 9. 探针与因果干预

设第 $l$ 层隐藏表示为 $\mathbf{h}^{l}\in\mathbb{R}^{d_l}$，属性标签为 $y$。**线性探针**求解

$$
\min_{\mathbf{W},\mathbf{b}}\ \frac{1}{n}\sum_{k=1}^{n}\ell\big(y^{(k)},\ \mathrm{softmax}(\mathbf{W}\mathbf{h}^{l,(k)}+\mathbf{b})\big)
$$

其中 $\mathbf{W}\in\mathbb{R}^{C\times d_l}$，$\ell$ 为交叉熵。探针准确率高说明属性在表示中**线性可解码**。

可解码不等于被使用。三种命题需要区分：（i）表示包含该信息；（ii）模型在计算中使用了该信息；（iii）该信息因果影响输出。探针只支持（i）。要支持（ii）需控制探针容量，例如限制 $\mathbf{W}$ 的秩、加入控制任务（control task）比较探针在随机标签上的表现，排除探针容量本身带来的拟合能力。要支持（iii）需做干预。

**激活替换**（activation patching）是干预的标准形式。给定干净输入 $\mathbf{x}$ 与破坏输入 $\tilde{\mathbf{x}}$，前向计算 $\tilde{\mathbf{x}}$ 并在第 $l$ 层缓存激活 $\tilde{\mathbf{h}}^{l}$，再前向计算 $\mathbf{x}$ 时把第 $l$ 层某子空间的激活替换为 $\tilde{\mathbf{h}}^{l}$ 的对应部分，度量输出指标从干净值向破坏值的移动比例：

$$
\text{恢复率}=\frac{\mathcal{M}\big(f_{\mathbf{x}\leftarrow\tilde{\mathbf{h}}^{l}}\big)-\mathcal{M}\big(f_{\tilde{\mathbf{x}}}\big)}{\mathcal{M}\big(f_{\mathbf{x}}\big)-\mathcal{M}\big(f_{\tilde{\mathbf{x}}}\big)}
$$

其中 $f_{\mathbf{x}\leftarrow\tilde{\mathbf{h}}^{l}}$ 表示在 $\mathbf{x}$ 的前向过程中注入 $\tilde{\mathbf{h}}^{l}$ 后的模型。恢复率接近 1 说明该子空间携带决定输出的信息，接近 0 说明不影响。逐头、逐位置重复该过程即得到因果意义上的重要性排序。

归因与干预给出两个不同的量：归因回答「输出差如何分摊」，是描述性的；干预回答「改变该组件后输出如何变化」，是因果的。两者都必要，结论冲突时以干预为准。

### 10. 机制可解释性

**神经元层面**。检查单个神经元的最高激活样本，常发现它对应多个不相关概念，这一现象称为**多义性**（polysemanticity）。一种解释是叠加（superposition）：模型需要表示的特征数远多于神经元数，把特征编码为近似正交方向的叠加可在有限维度中容纳更多特征，代价是单个神经元不再单义。

**电路层面**。可命名的功能由多个注意力头与前馈子层组合实现。典型结构包括前缀匹配头（把当前位置之前出现的同一 token 的信息复制到当前位置）与归纳头（induction head，由前一个 token 预测下一个 token 的出现模式），二者串联构成上下文学习的最小机制。识别方法是对每个组件做激活替换与消融，保留对目标行为恢复率高的组件，形成候选电路，再在简化模型上验证该电路能否复现行为。

**稀疏自编码器**（sparse autoencoder, SAE）。目标是把激活分解为过完备的稀疏码：

$$
\mathbf{z}=\mathrm{ReLU}(\mathbf{W}_{\mathrm{enc}}\mathbf{h}+\mathbf{b}_{\mathrm{enc}}),\qquad \hat{\mathbf{h}}=\mathbf{W}_{\mathrm{dec}}\mathbf{z}+\mathbf{b}_{\mathrm{dec}}
$$

$$
\mathcal{L}=\lVert\mathbf{h}-\hat{\mathbf{h}}\rVert^{2}+\lambda\lVert\mathbf{z}\rVert_{1}
$$

其中 $\mathbf{W}_{\mathrm{enc}}\in\mathbb{R}^{m\times d}$、$\mathbf{W}_{\mathrm{dec}}\in\mathbb{R}^{d\times m}$，$m\gg d$，$\lambda$ 控制稀疏强度。$L_1$ 惩罚使每个隐单元只在少数输入上激活，从而把叠加的方向分解为近似单义的基。评价一对指标：重构损失（保真）与平均激活数 $L_0$（稀疏）。二者此消彼长，$\lambda$ 的选择决定工作点。

Elhage 等在 2023 年的工作中把该方法用于小型 Transformer 的残差流，得到大量可用自然语言命名的单义特征，并观察到一个现象：提高稀疏度会减少多义单元，但重构误差上升。该工作的意义在于把「特征是否单义」从定性判断变成可测量的训练目标，而不在于给出了完整的电路清单。

### 11. 解释的评估

解释方法本身需要评估，否则无法判断归因是否可信。三类指标对应三个不同问题。

**忠实性**。若归因正确，删除高归因特征应比删除低归因特征更快降低目标类别的分数。

- 删除曲线：按归因从大到小逐步把特征替换为基线值，记录 $f_c$ 随删除比例的变化，取曲线下面积；面积越小越忠实。
- 插入曲线：从全基线开始按归因从大到小逐步恢复特征，记录分数上升；面积越大越忠实。
- 参数随机化检验（sanity check）：把模型权重逐层随机化后重新计算解释。若解释几乎不变，说明该方法主要反映输入的低层结构（如边缘），与模型无关。Adebayo 等的实验显示，若干显著图方法在权重随机化后输出几乎不变，因此不构成对模型的解释。
- 充分性：只保留归因最高的 $k$ 个特征、其余置零，检查输出是否保持；保持率高说明归因抓住了主要证据。

**稳定性**。对输入加入小幅噪声、改变随机种子、改变采样数量，重复计算解释，度量两次结果的一致性：top-$k$ 重合率、Spearman 秩相关、归因向量的余弦相似度。LIME 与 KernelSHAP 的稳定性显著低于 IG，因为二者依赖采样。

**人类一致性**。在有人工标注证据的任务上（如文本分类的关键句、图像的目标区域），计算归因区域与标注区域的交并比，或做用户研究测量人类能否据解释预测模型输出。人类一致性高不等于忠实性高：符合人类预期的解释可能只是复述了输入中的显著特征，而模型实际使用了别的线索。

三类指标可能冲突。一个只依赖输入边缘统计的解释器可以很稳定、很符合人类直觉，同时对模型不忠实。报告解释结果时至少应给出忠实性与稳定性两项，并说明所用基线与随机种子。

### 12. 高风险场景的合规要求

法规意义上的「解释」与技术意义上的归因不是同一对象。前者要求向受影响者提供可理解的决策理由，通常以特征级说明、反事实条件（「若收入高 X 则结果不同」）或相似案例的形式给出；后者给出的是数值归因。二者的差距由工程文档填补。

- 欧盟《通用数据保护条例》第 13 至 15 条规定数据主体有权获知自动化决策的存在与逻辑，第 22 条对完全自动化决策设定限制与例外。
- 欧盟《人工智能法案》对高风险系统规定风险管理、技术文档、日志记录、透明度与人类监督义务；透明度要求包括使用说明与能力、局限的说明。
- 中国《生成式人工智能服务管理暂行办法》要求提供者明确并公开服务的适用人群、场合与用途，并指导使用者科学理性认识与依法使用；《互联网信息服务算法推荐管理规定》要求向用户提供关闭算法推荐服务或删除个人特征标签的选项。

工程交付物通常包括四项：模型卡（训练数据、用途、已知局限、适用与不适用场景）、数据卡、归因报告（方法、基线、采样量、稳定性区间、失败案例）、人工复核流程（谁在什么条件下覆盖模型输出）。归因报告的可复现性依赖三点：固定随机种子、记录基线与超参数、公开代码版本。

需要强调限制：解释不替代验证。归因合理不能推出决策正确；解释只能说明模型为何给出该输出，不能说明该输出是否符合事实。事实正确性属于 [[幻觉与缓解]] 与 [[模型评估矩阵]] 的范围。

## 关键直觉

> [!tip] 归因是对输出差值的分摊规则
> 把 $f(\mathbf{x})-f(\mathbf{x}')$ 视为一笔需要分摊的差值：基线定义「没有这些输入时」的输出，特征按某种规则分走这笔差值。梯度显著性取局部斜率作为分摊比例，因而在饱和区失效；积分梯度沿路径累积斜率，使分摊比例之和恒等于差值；Shapley 值取所有加入顺序上的平均边际贡献，是唯一同时满足效率、对称、虚拟、可加四条公理的分摊。三种方法回答同一问题的不同分摊规则，公理即对分摊规则的约束：选择方法等于选择接受哪组约束。

该表述与第 4 节的完备性证明对应：证明只用到微积分基本定理，因此「分摊」是精确的代数事实，不是类比。第 5 节的公理刻画则说明分摊规则不唯一，方法之间的差异来自公理取舍而非实现细节。

## 例子与代码

以下两段代码使用 NumPy 2.x，各自可独立运行。第一段在二维函数上对比梯度显著性与积分梯度，并在同一脚本内用饱和函数说明显著性的失效；第二段用三个人工特征精确计算 Shapley 值，并与排列采样近似对比。

### 例 1：梯度显著性与积分梯度

```python
# 依赖：numpy 2.x
import numpy as np


# f1：乘积函数，解析梯度可手算，用于验证完备性
def f_prod(x):
    return x[0] * x[1]


def g_prod(x):
    return np.array([x[1], x[0]])


# f2：含饱和区的 logistic 函数，用于展示梯度显著性的失效
def f_sat(x):
    z = 6.0 * x[0] + 6.0 * x[1] - 8.0
    return 1.0 / (1.0 + np.exp(-z))


def g_sat(x):
    z = 6.0 * x[0] + 6.0 * x[1] - 8.0
    s = 1.0 / (1.0 + np.exp(-z))
    d = s * (1.0 - s)                    # sigmoid 的导数
    return np.array([6.0 * d, 6.0 * d])  # 链式法则，两个分量系数均为 6


def gradient_saliency(grad, x):
    """梯度显著性：直接取输入点处的梯度作为归因值。"""
    return grad(x)


def integrated_gradients(grad, x, baseline, m=200):
    """积分梯度：沿直线路径 x' + a(x - x') 做复合梯形积分。"""
    x = np.asarray(x, dtype=float)
    baseline = np.asarray(baseline, dtype=float)
    diff = x - baseline
    alphas = (np.arange(m + 1) / m)[:, None]        # a_0..a_m，含两个端点
    path = baseline + alphas * diff                 # (m+1, d)
    grads = np.stack([grad(p) for p in path])       # (m+1, d)
    avg = 0.5 * grads[0] + grads[1:-1].sum(axis=0) + 0.5 * grads[-1]
    avg = avg / m                                   # 每个区间长度 1/m，梯形平均
    return diff * avg                               # 逐分量乘以 (x_i - x'_i)


x1 = np.array([2.0, 3.0])
base0 = np.zeros(2)
base1 = np.ones(2)

print("=== 例 1：f(x) = x0*x1，基线为 0 时闭式解 phi_i = x0*x1/2 ===")
print("梯度显著性        :", gradient_saliency(g_prod, x1))
phi0 = integrated_gradients(g_prod, x1, base0, m=200)
print("IG（基线 0）      :", phi0, "和 =", phi0.sum(), " f(x)-f(x') =", f_prod(x1) - f_prod(base0))
phi1 = integrated_gradients(g_prod, x1, base1, m=200)
print("IG（基线全 1）    :", phi1, "和 =", phi1.sum(), " f(x)-f(x') =", f_prod(x1) - f_prod(base1))

x2 = np.array([2.0, 2.0])
print()
print("=== 例 1 续：饱和函数 f(x) = sigmoid(6*x0 + 6*x1 - 8) ===")
print("f(x) =", f_sat(x2), " f(基线) =", f_sat(base0))
sal = gradient_saliency(g_sat, x2)
print("梯度显著性        :", sal, "和 =", sal.sum())
for m in (4, 32, 200):
    phi = integrated_gradients(g_sat, x2, base0, m=m)
    print("m = %3d  IG = %s 和 = %.6f" % (m, np.array2string(phi, precision=6), phi.sum()))
print("完备性目标 f(x)-f(x') =", f_sat(x2) - f_sat(base0))

eps = 1e-6
fd = np.array([(f_sat(x2 + eps * np.eye(2)[i]) - f_sat(x2 - eps * np.eye(2)[i])) / (2 * eps)
               for i in range(2)])
print("有限差分梯度      :", fd)
print("解析梯度          :", g_sat(x2))
```

输出如下。

```text
=== 例 1：f(x) = x0*x1，基线为 0 时闭式解 phi_i = x0*x1/2 ===
梯度显著性        : [3. 2.]
IG（基线 0）      : [3. 3.] 和 = 6.0  f(x)-f(x') = 6.0
IG（基线全 1）    : [2. 3.] 和 = 5.0  f(x)-f(x') = 5.0

=== 例 1 续：饱和函数 f(x) = sigmoid(6*x0 + 6*x1 - 8) ===
f(x) = 0.9999998874648379  f(基线) = 0.0003353501304664781
梯度显著性        : [6.75210896e-07 6.75210896e-07] 和 = 1.3504217929645576e-06
m =   4  IG = [0.368608 0.368608] 和 = 0.737216
m =  32  IG = [0.499824 0.499824] 和 = 0.999649
m = 200  IG = [0.499832 0.499832] 和 = 0.999664
完备性目标 f(x)-f(x') = 0.9996645373343714
有限差分梯度      : [6.75237644e-07 6.75237644e-07]
解析梯度          : [6.75210896e-07 6.75210896e-07]
```

`integrated_gradients` 在做什么：构造 $m+1$ 个路径点 $\mathbf{x}'+\alpha_k(\mathbf{x}-\mathbf{x}')$，逐点计算梯度，用复合梯形公式求平均梯度，再乘以输入差值。为什么用梯形而不用左端黎曼和：梯形公式的误差为 $O(m^{-2})$，黎曼和为 $O(m^{-1})$，在同样 $m$ 下精度高一个数量级；端点必须计入，因为路径两端对应基线与输入，漏掉端点等于把积分区间缩到 $(0,1)$ 开区间，完备性不再成立。去掉 `diff` 乘法会怎样：得到的是平均梯度而非归因，量纲与输出差不再对应，完备性检验失败。

`g_sat` 在做什么：把 sigmoid 的导数 $s(1-s)$ 乘以线性层的系数 6，得到两个分量相同的梯度。为什么要手写解析梯度：本段代码只依赖 NumPy，不引入自动微分框架，手写梯度使积分公式的每一环都可核对；脚本末段的有限差分结果与解析梯度在 $10^{-7}$ 量级上一致，说明二者都没有写错。

例 1 的两个结果给出第 4 节的两个结论。基线为 0 时 IG 给出 $[3,3]$，与闭式解 $x_0x_1/2=3$ 一致，且两者之和为 6，等于 $f(\mathbf{x})-f(\mathbf{x}')$。基线改为全 1 后，归因变为 $[2,3]$，和为 5，仍等于新的输出差。说明完备性对基线成立，而归因值依赖基线。梯度显著性给出 $[3,2]$，和为 5，与两个输出差都不相等，因为它度量的是局部斜率，不是分摊量。

例 1 的第二部分给出饱和的后果。$f(\mathbf{x})\approx1$，梯度为 $6.75\times10^{-7}$，归因之和为 $1.35\times10^{-6}$，看起来模型对输入毫无依赖；而实际输出差为 $0.9997$。IG 在 $m=200$ 时给出 $[0.4998,0.4998]$，和为 $0.9997$，与输出差一致。$m=4$ 时和为 $0.737$，误差来自被积函数在路径前段的陡变：路径经过 sigmoid 的线性区时梯度大，端点附近梯度趋零，粗网格低估了中段贡献。该例说明 IG 的收敛速度取决于路径上的曲率，工程中不能固定 $m$ 而不做收敛检查。

### 例 2：精确 Shapley 值的枚举

```python
# 依赖：numpy 2.x，标准库 itertools、math
import itertools
import math

import numpy as np

print("=== 例 2：三特征博弈的精确 Shapley 值 ===")


def f(x):
    """f(x) = 2*x0 + x1*x2，含一个二阶交互项。"""
    return 2.0 * x[0] + x[1] * x[2]


x = np.array([2.0, 1.0, 4.0])
baseline = np.zeros(3)


def v(S):
    """只保留 S 中特征的真实取值，其余取基线；特征独立且基线为均值时等于 E[f(x)|x_S]。"""
    z = baseline.copy()
    for i in S:
        z[i] = x[i]
    return f(z)


def shapley_exact(v, d):
    phi = np.zeros(d)
    for i in range(d):
        others = [j for j in range(d) if j != i]
        for r in range(d):
            for S in itertools.combinations(others, r):
                w = math.factorial(len(S)) * math.factorial(d - len(S) - 1) / math.factorial(d)
                phi[i] += w * (v(set(S) | {i}) - v(set(S)))
    return phi


print("%-12s %8s" % ("子集 S", "v(S)"))
for r in range(4):
    for S in itertools.combinations(range(3), r):
        print("%-12s %8.2f" % (str(S) if S else "空集", v(set(S))))

phi = shapley_exact(v, 3)
print("精确 Shapley      :", phi, "和 =", phi.sum(), " v(N)-v(空) =", v({0, 1, 2}) - v(set()))
print("解析值 (2x0, x1x2/2, x1x2/2):", [float(2 * x[0]), float(x[1] * x[2] / 2), float(x[1] * x[2] / 2)])


def shapley_all_perm(v, d):
    total = np.zeros(d)
    cnt = 0
    for order in itertools.permutations(range(d)):
        S = set()
        prev = v(S)
        for i in order:
            S.add(i)
            cur = v(S)
            total[i] += cur - prev
            prev = cur
        cnt += 1
    return total / cnt


print("枚举全部 3! 个排列:", shapley_all_perm(v, 3))


def shapley_sample(v, d, n_perm, seed):
    rng = np.random.default_rng(seed)
    total = np.zeros(d)
    for _ in range(n_perm):
        order = rng.permutation(d)
        S = set()
        prev = v(S)
        for i in order:
            S.add(int(i))
            cur = v(S)
            total[i] += cur - prev
            prev = cur
    return total / n_perm


for n in (8, 100, 20000):
    print("蒙特卡洛 n_perm = %5d:" % n, np.array2string(shapley_sample(v, 3, n, 0), precision=4))
```

输出如下。

```text
=== 例 2：三特征博弈的精确 Shapley 值 ===
子集 S             v(S)
空集               0.00
(0,)             4.00
(1,)             0.00
(2,)             0.00
(0, 1)           4.00
(0, 2)           4.00
(1, 2)           4.00
(0, 1, 2)        8.00
精确 Shapley      : [4. 2. 2.] 和 = 8.0  v(N)-v(空) = 8.0
解析值 (2x0, x1x2/2, x1x2/2): [4.0, 2.0, 2.0]
枚举全部 3! 个排列: [4. 2. 2.]
蒙特卡洛 n_perm =     8: [4.  3.5 0.5]
蒙特卡洛 n_perm =   100: [4.  2.2 1.8]
蒙特卡洛 n_perm = 20000: [4.     1.9914 2.0086]
```

`shapley_exact` 在做什么：对每个特征 $i$，枚举其余特征的所有子集 $S$，按权重 $|S|!(d-|S|-1)!/d!$ 加权累加边际贡献 $v(S\cup\{i\})-v(S)$。为什么必须枚举而不是按 $2^{d}$ 直接求和：权重依赖 $|S|$ 的阶乘组合，直接求和无法复现「随机排列下 $i$ 的期望边际贡献」这一含义；枚举所有子集并按阶乘加权，等价于枚举全部 $d!$ 个排列，代码中 `shapley_all_perm` 验证了这一点，两者输出完全相同。去掉权重直接用算术平均会怎样：大子集与小集合被同等对待，归因之和不再等于 $v(N)-v(\varnothing)$，效率公理失效。

本例的解析解可以直接手算。$f$ 中 $x_0$ 的系数为 2，与其余特征无交互，因此 $\phi_0=2x_0=4$。$x_1$ 与 $x_2$ 只以乘积形式出现，任何单独出现的子集上 $v$ 都不含该交互，只有在 $\{1,2\}$ 同时出现时贡献 $x_1x_2=4$。对称性给出 $\phi_1=\phi_2=4/2=2$。三者之和为 8，等于 $f(\mathbf{x})-f(\mathbf{0})=8$。该例说明 Shapley 值把纯交互项的收益平均分摊给参与交互的每个特征，这正是它相对梯度方法的差别。在同一点上，梯度为 $(\partial f/\partial x_0,\partial f/\partial x_1,\partial f/\partial x_2)=(2,\,x_2,\,x_1)=(2,4,1)$：交互项 $x_1x_2=4$ 被拆成 $4$ 与 $1$ 两份，两份之和为 5，比交互项本身大 1，且三个分量之和为 7，与输出差 8 不相等。梯度在交互项上既不守恒也不对称，因为它度量的是各维独立变化时的局部斜率，不处理「两项必须同时出现才产生收益」这一结构。

采样部分给出估计误差的量级。8 次抽样得到 $[4,\,3.5,\,0.5]$，$x_2$ 的估计严重偏低，因为排列数太少，$\{1,2\}$ 同时出现在 $x_1$ 之前的次数不足以平均掉顺序效应。100 次抽样为 $[4,\,2.2,\,1.8]$，误差约 $0.2$。20000 次抽样为 $[4,\,1.991,\,2.009]$，误差约 $0.01$，与 $1/\sqrt{n}$ 的收敛速度一致。由此可得工程判据：$d$ 较大时若需要归因排序稳定，采样数应使标准误小于相邻归因差值的一半。

## 易错点

> [!warning] 六个可检验的错误
> 1. 报告 IG 结果不写基线。同一模型同一输入，基线取零与取均值可给出不同的归因排序，而两者都满足完备性，因此不能用「和等于输出差」自证正确。检验方式：用两个基线各算一次，报告排序的 Spearman 相关；若相关低于 0.8，说明结论对基线敏感，必须同时报告。
> 2. 用梯度显著性解释饱和模型。Sigmoid、tanh 输出层或 ReLU 负半轴的梯度趋近于零，归因整片为零，被误读为「输入无影响」。检验方式：对同一输入计算 IG，若两者量级相差两个数量级以上，显著性的结论无效。
> 3. 把相关特征的重要性直接相加。置换重要性在共线特征上同时低估两者，在冗余特征上又可能高估总和。检验方式：构造一对完全相关的特征，检查两者重要性之和是否超过单独使用其中一个时的值。
> 4. 把可视化当因果。热图高亮区域只说明该区域与输出在归因规则下相关，不说明移除后输出会下降。检验方式：遮蔽高亮区域，若输出不变，则归因未被干预证实。
> 5. 过度解读注意力图。单层单头的 $\mathbf{A}$ 忽略了值向量尺度、残差路径与其余层；rollout 的连乘假设层间线性且残差等权。检验方式：把被高权重关注的 token 替换为同位置的其他 token，观察输出是否按权重比例变化。
> 6. 用单次运行的 LIME 或 KernelSHAP 下结论。两者依赖采样，随机种子改变可导致 top-$k$ 特征集合改变。检验方式：固定输入、改变种子运行 20 次，统计 top-$k$ 重合率的均值与最小值。

## 关联笔记

- 前置：[[反向传播详解]]，提供反向模式自动微分的计算过程，本篇第 3、4 节的所有白箱方法都以该过程为输入。
- 前置：[[注意力机制与QKV]]，给出 $\mathbf{A}=\mathrm{softmax}(\mathbf{Q}\mathbf{K}^{\top}/\sqrt{d_k})$ 的定义与多头拼接方式，第 8 节的反例建立在该定义之上。
- 对照：[[模型评估矩阵]]，提供样本量、置信区间与评分器一致性的口径；第 11 节把忠实性与稳定性纳入同一统计框架，二者的报告格式应一致。
- 对照：[[幻觉与缓解]]，同名概念「忠实性」在此指解释与模型计算一致，在彼指输出与上下文一致，混用会导致错误的缓解手段。
- 后续：[[多模态与生成模型概览]]，对比学习模型的图文对齐是分布层面的，验证其对齐是否被用于具体预测需要本篇的探针与激活替换。

## 达标检测

- [ ] 不看原文，写出积分梯度的路径积分公式，并独立完成完备性证明（从 $\frac{d}{d\alpha}f(\gamma(\alpha))$ 出发）。
- [ ] 说明梯度显著性为何不满足实现不变性，构造一个取值相同但梯度不同的两层网络例子。
- [ ] 给定 $f(x_0,x_1)=x_0^2x_1$ 与基线 $\mathbf{0}$，手算 $x=(2,3)$ 处的 IG 归因，并验证其和为 $f(x)-f(0)$。
- [ ] 写出 Shapley 值的组合公式与排列期望形式，说明二者等价的原因并指出精确计算的复杂度；再用排列采样估计例 2 的归因，使 $x_2$ 的标准误小于 0.05，报告所需采样数并与 $1/\sqrt{n}$ 估计对照。
- [ ] 运行本篇代码，把例 1 中饱和函数的 $m$ 从 200 降到 8，记录完备性误差，并解释误差随 $m$ 的变化趋势。
- [ ] 设计一个实验区分「注意力权重高」与「该位置因果重要」，写出干预方式与度量指标。
- [ ] 列出三条解释评估指标，说明它们可能互相冲突的情形，并给出一个同时报告忠实性与稳定性的报告模板。

## 参考来源

- Sundararajan, Taly, Yan, "Axiomatic Attribution for Deep Networks", ICML 2017, arXiv:1703.01365 —— 对应第 4 节的四条公理、路径积分定义与完备性证明。
- Lundberg, Lee, "A Unified Approach to Interpreting Model Predictions", NeurIPS 2017, arXiv:1705.07874 —— 对应第 5 节的 Shapley 值、KernelSHAP 权重与 TreeSHAP 复杂度。
- Ribeiro, Singh, Guestrin, "Why Should I Trust You? Explaining the Predictions of Any Classifier", KDD 2016, arXiv:1602.04938 —— 对应第 6 节的局部代理模型、掩码采样与邻域权重。
- Jain, Wallace, "Attention is not Explanation", NAACL 2019, arXiv:1902.10186 —— 对应第 8 节的对抗性注意力反例与注意力权重和梯度重要性不一致的实验。
- Adebayo et al., "Sanity Checks for Saliency Maps", NeurIPS 2018, arXiv:1810.03292 —— 对应第 11 节的参数随机化检验与显著图方法失效的实验设计。
- Elhage et al., "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", Transformer Circuits Thread, 2023 —— 对应第 10 节的叠加假设与稀疏自编码器分解单义特征的思想。
