w wyl123ly 的博客
MD

可解释性

47 KB 2026.10.18 原文件

可解释性

定义

可解释性(interpretability)指以人类可检验的形式定量给出模型输出与输入特征、内部表示之间归因关系或因果关系的性质,以及构造这种对应关系的方法集合。

一词在两处使用,需要先区分。作为性质,它描述一个模型或其解释输出是否足以支持人类做出判断;作为方法,它指代一组在训练后或训练中提取此类对应关系的算法。本篇按方法的视角组织,第 11 节回到性质的度量。

先固定记号。

  • 模型 ,把输入映射为 个类别的 logit 向量;解释单个类别 时使用标量 ,回归任务取 。
  • 输入 ,其第 个分量 称为特征(feature),在图像任务中可指一个像素、一个通道或一个图像块。
  • 基线(baseline),表示「这些特征都不存在」时的参考输入。
  • 归因(attribution),分配给特征 的实数值;正值表示该特征支持当前输出,负值表示反对,绝对值表示分摊到的输出差值大小。
  • 完备性(completeness)指归因满足 ,即归因之和等于输出相对基线的差值。
  • 局部解释(local explanation)针对单个输入 给出归因;全局解释(global explanation)针对整个输入分布给出特征层面的统计量。
  • 内在可解释(intrinsic interpretability)指模型假设类本身限制为可直接读出参数的族;事后解释(post hoc explanation)指模型训练完成后另加的解释器。
  • 忠实性(faithfulness)指解释在多大程度上反映模型的实际计算,以删除、插入等干预实验度量;注意它与 幻觉与缓解 中同名的「忠实性」不是同一概念,后者指输出与给定上下文的一致性。
  • 稳定性(stability)指输入受微小扰动或解释器随机种子改变时,解释输出保持一致的程度。
  • 人类一致性(human agreement)指解释与人工标注证据的重合程度,常用标注区域与归因区域的交并比度量。
  • 探针(probe)指在隐藏层表示上训练的浅层分类器,用于检验某属性是否可线性解码。
  • 电路(circuit)指网络中承担可命名计算功能的子图,由若干注意力头与前馈子层连接构成。

两类目标贯穿全篇。

  • 解释预测(explain prediction):给定 ,求归因 ,使 与 在 附近的行为一致。
  • 解释机制(explain mechanism):给定网络结构,找出承担某功能的组件集合及其连接,使该功能可用可命名的算法描述。

为什么重要

深度模型的输出是复合函数 的取值,中间张量维度可达 ,参数之间高度耦合。直接从参数读出决策依据不可行:单个权重的作用依赖其余所有权重,特征之间存在交互,同一输出可由多条路径产生。可解释性方法是绕开这一困难的一组近似手段,它不否认耦合,而是把「输出相对基线的差值如何分摊到输入或内部单元」定义成一个可计算的问题。

缺少这些手段产生四类具体后果。

  • 无法定位失败模式。模型在某个子群上错误率偏高时,只有归因才能指出是哪些特征触发了错误分支,否则只能靠扩充数据试验。
  • 无法审计。安全、金融、医疗场景要求说明拒绝或通过的理由,仅有概率分数不构成理由。
  • 无法满足合规。涉及自动化决策的法规要求向受影响者提供关于决策逻辑的信息,第 12 节列出具体要求。
  • 无法证伪关于模型行为的假设。研究者对模型「使用了句法」「使用了位置捷径」的判断,必须靠干预实验检验,而干预实验的构造依赖归因结果。

在本库中的位置如下。反向传播详解 给出梯度计算,几乎所有白箱归因方法都以梯度为输入;注意力机制与QKV 给出注意力权重的定义,第 8 节说明为什么该权重不等于解释;模型评估矩阵 提供评价口径,第 11 节把解释的忠实性与稳定性纳入同一套统计框架;多模态与生成模型概览 中的对比学习模型把图文映射到同一空间,其对齐性质需要归因与探针才能核查。

原理与推导

1. 两类目标的形式差异

解释预测与解释机制回答不同的问题,验证方式也不同。

维度解释预测解释机制
对象单个输入输出对网络组件与连接
输出长度 的归因向量或局部代理模型组件集合、功能描述、干预效应
验证删除、插入、参数随机化激活替换、消融、电路复现
代价一次到数百次前向或反向传播人工分析加大量干预实验
主要失效归因与模型计算不一致把相关组件误判为必要组件

两类目标可以衔接:机制解释给出候选组件,归因给出去除该组件后的输出变化,二者共同构成因果证据。仅有一类证据时结论强度有限。

flowchart TD
    A[可解释性方法] --> B[解释预测-局部归因]
    A --> C[解释机制-内部组件]
    B --> D[梯度类 显著性 积分梯度]
    B --> E[分摊类 Shapley KernelSHAP]
    B --> F[代理类 LIME]
    C --> G[探针与激活干预]
    C --> H[稀疏自编码器]

2. 内在可解释与事后解释

内在可解释模型把假设类限制在参数即解释的族内:

其中 为链接函数, 为第 个特征的单变量形状函数, 为偏置。该形式称为广义可加模型(generalized additive model, GAM),其归因天然满足完备性,且对任意输入精确成立,无需近似。代价是可加结构无法表示特征交互,表达能力受限;要恢复交互需显式加入 项,参数数量随阶数组合增长。

线性模型是 为恒等映射、 的特例,此时归因 精确且全局一致。决策树的归因是根到叶路径上的分裂条件集合,同样精确但只覆盖训练时见过的划分。

事后解释在模型固定后进行,按可访问的信息分为两类。

  • 黑箱:只能查询 ,方法有 LIME、KernelSHAP、置换重要性。
  • 白箱:可读取梯度、激活、权重,方法有梯度显著性、积分梯度、探针、激活替换。

两类之间存在固定的权衡。内在可解释以表达能力换取精确性;事后解释以近似误差换取通用性,其忠实性没有理论保证,只能通过第 11 节的实验测度。选择方法时应先确定可接受的是哪一侧的损失,而不是默认事后解释适用于所有模型。

3. 梯度显著性

梯度显著性(gradient saliency)把输入点处的梯度作为归因:

多通道输入(如 RGB 图像)取通道上的最大值 或平方和。

该定义的语义由一阶泰勒展开确定:

当 足够小时,输出的变化量近似为 ,因此 度量的是「第 维的无穷小扰动对输出的边际影响」。这一语义有三个直接后果。

第一,饱和导致归零。Sigmoid 或 tanh 在饱和区导数趋近于零,ReLU 在负半轴导数恒为零,此时 ,但改变 跨越阈值会显著改变输出。归因向量因此可能整片为零,而输入显然影响输出。

第二,尺度依赖。若把某维单位从米改为厘米, 缩小 100 倍,归因排序随之改变。跨特征比较前必须把输入归一化到同一量纲,或改用乘以输入差值的积分形式。

第三,不满足实现不变性。两个网络在输入空间上取值完全相同,但计算图不同(例如把一个线性层替换为两个串联线性层),梯度可以不同。归因依赖实现而非函数,这一点在下节作为公理被排除。

对 做噪声平均可得 SmoothGrad:

其作用是压低梯度图中的高频噪声,代价是 倍前向反向传播,且 的取值改变归因结果。

4. 积分梯度

积分梯度(integrated gradients, IG)沿从基线到输入的直线路径累积梯度:

其中 为路径参数, 为路径上的点。定义由四条公理共同确定。

敏感性(sensitivity):若 与 仅在第 维不同,且 ,则 。其弱形式称为虚拟公理(dummy):若 不依赖 ,则 。

实现不变性(implementation invariance):若 对所有 成立,则两个模型的归因相同。梯度显著性违反此条。

完备性:。

线性(linearity):若 ,则归因按同一系数线性组合。

Sundararajan 等证明,同时满足上述四条的方法唯一,即路径积分形式。下面给出完备性的证明,它是该族方法可用的核心原因。

设 。对复合函数求导:

两边对 从 0 到 1 积分,左端由微积分基本定理得 :

证明中未对基线作任何假设,因此完备性对任意基线成立。这既是优点也是陷阱:它保证了归因之和恒等于输出差,但不保证每一项的语义正确。基线改变时,输出差改变,各项按新的路径重新分摊,结果不同。

敏感性由完备性直接推出:若只有第 维不同,则其余 ,故 ,完备性给出 。这一条正是 IG 相对显著性的改进:显著性在饱和区给出零,IG 给出等于输出差的非零值。

实现不变性由定义直接得到: 只依赖 沿路径的取值,不依赖 的计算图。

数值实现取复合梯形公式。把 等分为 个区间,:

其中 。端点系数为 ,中间点系数为 1,整体除以区间数 。误差为 ( 二阶连续可导时), 取 20 到 300 在实践中足够;当路径穿过 ReLU 折点时收敛降为 ,需要增大 或改用分段积分。

基线选择。基线是解释的一部分,不是可省略的实现细节。

  • 全零基线:对已做标准化(零均值)的输入等价于均值基线;对归一化到 的图像表示黑色,语义上并非「缺失」。
  • 均值基线:取训练集逐特征均值,表示「平均样本」。
  • 模糊基线:对图像做高斯模糊,削弱高频内容但保留布局。
  • 分布基线:从训练集采样 个样本作为基线,取归因平均,即 expected gradients。
  • 对抗基线:选择使归因最不稳定的输入,用于压力测试。

对 ReLU 网络,零基线隐含「特征值低于零即不存在」的假设。若输入经过 BatchNorm 后大量取值为负,该假设与数据分布不符,归因会出现系统性偏移:一部分差值被分配给与决策无关但取值偏离零的特征。因此报告 IG 结果时必须同时报告基线定义,否则结果不可复现。

5. Shapley 值与近似

把特征视为合作博弈的参与者。设参与者集合 ,价值函数 定义为只保留集合 中特征时的模型输出期望:

并约定 。特征 的 Shapley 值为

权重 等于在 个均匀随机排列中, 恰好排在 之前的概率。因此 也可写成

其中 为特征的随机加入顺序, 为排在 之前的特征集合。该式说明 Shapley 值是「平均边际贡献」,这也给出采样算法:抽取排列,按顺序逐个加入特征,记录 加入时的价值增量,对多次抽样取平均。

Shapley 值满足四条公理:效率()、对称(对 贡献相同的两个特征归因相同)、虚拟(不改变任何 的特征归因为零)、可加( 的归因等于各自归因之和)。Shapley 证明满足这四条的分摊唯一。效率公理与 IG 的完备性形式相同,区别在于 的定义引入了条件期望,因此 Shapley 处理特征交互的方式与路径积分不同。

精确计算需要枚举 个子集。 时约 次模型查询, 时不可行。三种近似路线如下。

排列采样。按上式抽样, 是 的无偏估计,方差随样本数 按 下降。单个排列需要 次价值查询,总计 次。当 需要条件期望时,每次查询还要对缺失特征采样,实际代价更高。

KernelSHAP。把归因写成加权线性回归的解。对每个子集 构造二值向量 , 表示特征 存在,拟合

权重取

该权重使回归的解恰好等于 Shapley 值,其来源是 Shapley 核:它让不同大小的子集对目标函数的贡献等价。 由效率约束固定为 , 与 的权重趋于无穷,实际实现中作为约束而非样本处理。KernelSHAP 的意义在于把组合爆炸转化为可用采样求解的回归,代价是仍需对子集采样,且回归的方差在特征数大时上升。

树模型专用算法。TreeSHAP 利用树结构把精确计算的复杂度从 降到 ,其中 为树数、 为叶数、 为深度,因此对梯度提升树可精确计算。

与 IG 的关系。对线性模型 ,基线为零时 IG 给出 ;此时 ,Shapley 值同样为 ,两者一致。对非线性模型两者一般不同:IG 沿一条路径积分,Shapley 对所有子集的平均边际贡献加权。二者都满足完备性,但归因排序可以不同。

6. LIME 的局部代理模型

LIME(local interpretable model-agnostic explanations)不直接给归因,而是用一个可解释模型在局部逼近 。设可解释模型族 为稀疏线性模型,定义

其中 为在邻域内 与 的差异, 为样本 相对 的邻域权重, 为复杂度惩罚。

具体做法分四步。

  1. 构造二值掩码 ,以 为中心采样,各维以概率 取 1。
  2. 把掩码还原为可输入样本:, 为训练集均值或零。
  3. 查询标签 ,计算权重 , 常取余弦距离或 距离。
  4. 在加权样本上求解带 惩罚的线性回归,取绝对值最大的 个系数作为解释。

得到的是代理模型的系数,不是 的 Shapley 值,也不是梯度。它的解释力限于 的邻域: 越小,邻域越窄,局部越准,但采样点离 越远时权重趋零,有效样本减少,方差上升。 越大,代理模型覆盖范围变宽,但线性假设在更大范围上不成立,代理与 的差异增大。

三种方法按可访问信息与输出形式对比如下。

方法可访问信息输出单次代价满足完备性稳定性
梯度显著性梯度长度 的向量1 次反向否中
积分梯度梯度长度 的向量 次反向是高
KernelSHAP仅前向长度 的向量数百至数千次前向是中
LIME仅前向 个系数数百至数千次前向否低

7. 全局解释

置换重要性(permutation importance)在验证集上打乱第 列,度量指标下降:

其中 为评价指标(如准确率), 为第 次打乱第 列后的数据集。存在的问题是相关特征的分摊:若 与 高度相关,打乱 后模型仍可从 恢复信息, 与 都被低估;反之,若把其中一个作为冗余特征加入,重要性的总和可以超过单独训练时的值。

部分依赖图(partial dependence plot, PDP)固定 取值,对其余特征取期望:

其中 表示除第 维外的所有分量。PDP 假设特征之间独立;存在相关时, 可能落在数据流形之外,此时 在该点的取值是外推结果,曲线不可信。个体条件期望(individual conditional expectation, ICE)曲线对每个样本单独画 随 的变化,可发现 PDP 平均掉的交互:若不同样本的 ICE 曲线斜率相反,PDP 的平均可能接近水平,掩盖真实依赖。

SHAP 汇总有两种常用形式。平均绝对归因 作为全局重要性条形图;带方向的散点(beeswarm)按 的分布展示每个特征在不同样本上的作用方向。两种形式回答不同问题:前者回答「该特征平均影响多大」,后者回答「影响方向是否稳定」。聚合方式改变结论,报告时需明确使用哪一种。

8. 注意力权重的解释局限

多头自注意力计算

其中 分别为查询、键、值矩阵, 为键维度, 的每行经 softmax 归一化, 为输出。把 直接当作解释,隐含假设是「权重大的位置对输出的贡献大」。该假设在三个层面不成立。

第一, 是 softmax 的输出,改变任一分量会重新分配整行权重。对 求偏导得到的是耦合后的边际量,不能解释为独立贡献。若值向量 为零,则 再大也不影响输出;若 与其他位置的值向量近似线性相关,则权重可在多个位置间转移而不改变输出。Jain 与 Wallace 据此构造了两类反例:存在与模型预测完全一致的对抗性注意力分布,以及注意力权重与梯度重要性排序不一致的情形,并指出在若干问答任务上注意力并不优于简单的基线。

第二,残差连接使信息绕过注意力子层。第 层的输出为 ,输入可直接通过恒等路径到达输出,与注意力权重无关。单层权重因此不构成端到端路径上的贡献。

第三,多层多头混合。第 层的输出来自 个头的拼接,每个头有独立的 ,层与层之间还夹有 LayerNorm 与前馈网络。把某一层的某个头单独取出来观察,丢失了其余组件的影响。

两种常见的修补方法及其局限如下。

梯度乘注意力。用一阶近似度量输出对权重的敏感度:

它比原始权重多考虑了值向量的尺度,但仍受 softmax 耦合影响: 是在其余权重固定的条件下计算的,而实际改变一个权重必然改变其余权重,方向相反时两者抵消。

注意力 rollout。把各层注意力相加单位阵后归一化再连乘:

表示从输入位置 经 层到输出位置 的路径权重。该方法假设层间信息流是线性的、忽略前馈网络与 LayerNorm、并把残差固定为等权相加(系数 无推导依据)。这些假设在真实网络中不成立,因此 rollout 给出的是启发式相关量,不同实现(系数、是否归一化、是否包含前馈)会给出不同结果。

结论:注意力权重是计算中间量,可作为生成假设的工具,不能作为贡献证据。要主张某位置重要,需用消融或激活替换验证:把该位置的值向量置零,观察输出变化。

9. 探针与因果干预

设第 层隐藏表示为 ,属性标签为 。线性探针求解

其中 , 为交叉熵。探针准确率高说明属性在表示中线性可解码。

可解码不等于被使用。三种命题需要区分:(i)表示包含该信息;(ii)模型在计算中使用了该信息;(iii)该信息因果影响输出。探针只支持(i)。要支持(ii)需控制探针容量,例如限制 的秩、加入控制任务(control task)比较探针在随机标签上的表现,排除探针容量本身带来的拟合能力。要支持(iii)需做干预。

激活替换(activation patching)是干预的标准形式。给定干净输入 与破坏输入 ,前向计算 并在第 层缓存激活 ,再前向计算 时把第 层某子空间的激活替换为 的对应部分,度量输出指标从干净值向破坏值的移动比例:

其中 表示在 的前向过程中注入 后的模型。恢复率接近 1 说明该子空间携带决定输出的信息,接近 0 说明不影响。逐头、逐位置重复该过程即得到因果意义上的重要性排序。

归因与干预给出两个不同的量:归因回答「输出差如何分摊」,是描述性的;干预回答「改变该组件后输出如何变化」,是因果的。两者都必要,结论冲突时以干预为准。

10. 机制可解释性

神经元层面。检查单个神经元的最高激活样本,常发现它对应多个不相关概念,这一现象称为多义性(polysemanticity)。一种解释是叠加(superposition):模型需要表示的特征数远多于神经元数,把特征编码为近似正交方向的叠加可在有限维度中容纳更多特征,代价是单个神经元不再单义。

电路层面。可命名的功能由多个注意力头与前馈子层组合实现。典型结构包括前缀匹配头(把当前位置之前出现的同一 token 的信息复制到当前位置)与归纳头(induction head,由前一个 token 预测下一个 token 的出现模式),二者串联构成上下文学习的最小机制。识别方法是对每个组件做激活替换与消融,保留对目标行为恢复率高的组件,形成候选电路,再在简化模型上验证该电路能否复现行为。

稀疏自编码器(sparse autoencoder, SAE)。目标是把激活分解为过完备的稀疏码:

其中 、,, 控制稀疏强度。 惩罚使每个隐单元只在少数输入上激活,从而把叠加的方向分解为近似单义的基。评价一对指标:重构损失(保真)与平均激活数 (稀疏)。二者此消彼长, 的选择决定工作点。

Elhage 等在 2023 年的工作中把该方法用于小型 Transformer 的残差流,得到大量可用自然语言命名的单义特征,并观察到一个现象:提高稀疏度会减少多义单元,但重构误差上升。该工作的意义在于把「特征是否单义」从定性判断变成可测量的训练目标,而不在于给出了完整的电路清单。

11. 解释的评估

解释方法本身需要评估,否则无法判断归因是否可信。三类指标对应三个不同问题。

忠实性。若归因正确,删除高归因特征应比删除低归因特征更快降低目标类别的分数。

  • 删除曲线:按归因从大到小逐步把特征替换为基线值,记录 随删除比例的变化,取曲线下面积;面积越小越忠实。
  • 插入曲线:从全基线开始按归因从大到小逐步恢复特征,记录分数上升;面积越大越忠实。
  • 参数随机化检验(sanity check):把模型权重逐层随机化后重新计算解释。若解释几乎不变,说明该方法主要反映输入的低层结构(如边缘),与模型无关。Adebayo 等的实验显示,若干显著图方法在权重随机化后输出几乎不变,因此不构成对模型的解释。
  • 充分性:只保留归因最高的 个特征、其余置零,检查输出是否保持;保持率高说明归因抓住了主要证据。

稳定性。对输入加入小幅噪声、改变随机种子、改变采样数量,重复计算解释,度量两次结果的一致性:top- 重合率、Spearman 秩相关、归因向量的余弦相似度。LIME 与 KernelSHAP 的稳定性显著低于 IG,因为二者依赖采样。

人类一致性。在有人工标注证据的任务上(如文本分类的关键句、图像的目标区域),计算归因区域与标注区域的交并比,或做用户研究测量人类能否据解释预测模型输出。人类一致性高不等于忠实性高:符合人类预期的解释可能只是复述了输入中的显著特征,而模型实际使用了别的线索。

三类指标可能冲突。一个只依赖输入边缘统计的解释器可以很稳定、很符合人类直觉,同时对模型不忠实。报告解释结果时至少应给出忠实性与稳定性两项,并说明所用基线与随机种子。

12. 高风险场景的合规要求

法规意义上的「解释」与技术意义上的归因不是同一对象。前者要求向受影响者提供可理解的决策理由,通常以特征级说明、反事实条件(「若收入高 X 则结果不同」)或相似案例的形式给出;后者给出的是数值归因。二者的差距由工程文档填补。

  • 欧盟《通用数据保护条例》第 13 至 15 条规定数据主体有权获知自动化决策的存在与逻辑,第 22 条对完全自动化决策设定限制与例外。
  • 欧盟《人工智能法案》对高风险系统规定风险管理、技术文档、日志记录、透明度与人类监督义务;透明度要求包括使用说明与能力、局限的说明。
  • 中国《生成式人工智能服务管理暂行办法》要求提供者明确并公开服务的适用人群、场合与用途,并指导使用者科学理性认识与依法使用;《互联网信息服务算法推荐管理规定》要求向用户提供关闭算法推荐服务或删除个人特征标签的选项。

工程交付物通常包括四项:模型卡(训练数据、用途、已知局限、适用与不适用场景)、数据卡、归因报告(方法、基线、采样量、稳定性区间、失败案例)、人工复核流程(谁在什么条件下覆盖模型输出)。归因报告的可复现性依赖三点:固定随机种子、记录基线与超参数、公开代码版本。

需要强调限制:解释不替代验证。归因合理不能推出决策正确;解释只能说明模型为何给出该输出,不能说明该输出是否符合事实。事实正确性属于 幻觉与缓解 与 模型评估矩阵 的范围。

关键直觉

归因是对输出差值的分摊规则

把 视为一笔需要分摊的差值:基线定义「没有这些输入时」的输出,特征按某种规则分走这笔差值。梯度显著性取局部斜率作为分摊比例,因而在饱和区失效;积分梯度沿路径累积斜率,使分摊比例之和恒等于差值;Shapley 值取所有加入顺序上的平均边际贡献,是唯一同时满足效率、对称、虚拟、可加四条公理的分摊。三种方法回答同一问题的不同分摊规则,公理即对分摊规则的约束:选择方法等于选择接受哪组约束。

该表述与第 4 节的完备性证明对应:证明只用到微积分基本定理,因此「分摊」是精确的代数事实,不是类比。第 5 节的公理刻画则说明分摊规则不唯一,方法之间的差异来自公理取舍而非实现细节。

例子与代码

以下两段代码使用 NumPy 2.x,各自可独立运行。第一段在二维函数上对比梯度显著性与积分梯度,并在同一脚本内用饱和函数说明显著性的失效;第二段用三个人工特征精确计算 Shapley 值,并与排列采样近似对比。

例 1:梯度显著性与积分梯度

# 依赖:numpy 2.x
import numpy as np


# f1:乘积函数,解析梯度可手算,用于验证完备性
def f_prod(x):
    return x[0] * x[1]


def g_prod(x):
    return np.array([x[1], x[0]])


# f2:含饱和区的 logistic 函数,用于展示梯度显著性的失效
def f_sat(x):
    z = 6.0 * x[0] + 6.0 * x[1] - 8.0
    return 1.0 / (1.0 + np.exp(-z))


def g_sat(x):
    z = 6.0 * x[0] + 6.0 * x[1] - 8.0
    s = 1.0 / (1.0 + np.exp(-z))
    d = s * (1.0 - s)                    # sigmoid 的导数
    return np.array([6.0 * d, 6.0 * d])  # 链式法则,两个分量系数均为 6


def gradient_saliency(grad, x):
    """梯度显著性:直接取输入点处的梯度作为归因值。"""
    return grad(x)


def integrated_gradients(grad, x, baseline, m=200):
    """积分梯度:沿直线路径 x' + a(x - x') 做复合梯形积分。"""
    x = np.asarray(x, dtype=float)
    baseline = np.asarray(baseline, dtype=float)
    diff = x - baseline
    alphas = (np.arange(m + 1) / m)[:, None]        # a_0..a_m,含两个端点
    path = baseline + alphas * diff                 # (m+1, d)
    grads = np.stack([grad(p) for p in path])       # (m+1, d)
    avg = 0.5 * grads[0] + grads[1:-1].sum(axis=0) + 0.5 * grads[-1]
    avg = avg / m                                   # 每个区间长度 1/m,梯形平均
    return diff * avg                               # 逐分量乘以 (x_i - x'_i)


x1 = np.array([2.0, 3.0])
base0 = np.zeros(2)
base1 = np.ones(2)

print("=== 例 1:f(x) = x0*x1,基线为 0 时闭式解 phi_i = x0*x1/2 ===")
print("梯度显著性        :", gradient_saliency(g_prod, x1))
phi0 = integrated_gradients(g_prod, x1, base0, m=200)
print("IG(基线 0)      :", phi0, "和 =", phi0.sum(), " f(x)-f(x') =", f_prod(x1) - f_prod(base0))
phi1 = integrated_gradients(g_prod, x1, base1, m=200)
print("IG(基线全 1)    :", phi1, "和 =", phi1.sum(), " f(x)-f(x') =", f_prod(x1) - f_prod(base1))

x2 = np.array([2.0, 2.0])
print()
print("=== 例 1 续:饱和函数 f(x) = sigmoid(6*x0 + 6*x1 - 8) ===")
print("f(x) =", f_sat(x2), " f(基线) =", f_sat(base0))
sal = gradient_saliency(g_sat, x2)
print("梯度显著性        :", sal, "和 =", sal.sum())
for m in (4, 32, 200):
    phi = integrated_gradients(g_sat, x2, base0, m=m)
    print("m = %3d  IG = %s 和 = %.6f" % (m, np.array2string(phi, precision=6), phi.sum()))
print("完备性目标 f(x)-f(x') =", f_sat(x2) - f_sat(base0))

eps = 1e-6
fd = np.array([(f_sat(x2 + eps * np.eye(2)[i]) - f_sat(x2 - eps * np.eye(2)[i])) / (2 * eps)
               for i in range(2)])
print("有限差分梯度      :", fd)
print("解析梯度          :", g_sat(x2))

输出如下。

=== 例 1:f(x) = x0*x1,基线为 0 时闭式解 phi_i = x0*x1/2 ===
梯度显著性        : [3. 2.]
IG(基线 0)      : [3. 3.] 和 = 6.0  f(x)-f(x') = 6.0
IG(基线全 1)    : [2. 3.] 和 = 5.0  f(x)-f(x') = 5.0

=== 例 1 续:饱和函数 f(x) = sigmoid(6*x0 + 6*x1 - 8) ===
f(x) = 0.9999998874648379  f(基线) = 0.0003353501304664781
梯度显著性        : [6.75210896e-07 6.75210896e-07] 和 = 1.3504217929645576e-06
m =   4  IG = [0.368608 0.368608] 和 = 0.737216
m =  32  IG = [0.499824 0.499824] 和 = 0.999649
m = 200  IG = [0.499832 0.499832] 和 = 0.999664
完备性目标 f(x)-f(x') = 0.9996645373343714
有限差分梯度      : [6.75237644e-07 6.75237644e-07]
解析梯度          : [6.75210896e-07 6.75210896e-07]

integrated_gradients 在做什么:构造 个路径点 ,逐点计算梯度,用复合梯形公式求平均梯度,再乘以输入差值。为什么用梯形而不用左端黎曼和:梯形公式的误差为 ,黎曼和为 ,在同样 下精度高一个数量级;端点必须计入,因为路径两端对应基线与输入,漏掉端点等于把积分区间缩到 开区间,完备性不再成立。去掉 diff 乘法会怎样:得到的是平均梯度而非归因,量纲与输出差不再对应,完备性检验失败。

g_sat 在做什么:把 sigmoid 的导数 乘以线性层的系数 6,得到两个分量相同的梯度。为什么要手写解析梯度:本段代码只依赖 NumPy,不引入自动微分框架,手写梯度使积分公式的每一环都可核对;脚本末段的有限差分结果与解析梯度在 量级上一致,说明二者都没有写错。

例 1 的两个结果给出第 4 节的两个结论。基线为 0 时 IG 给出 ,与闭式解 一致,且两者之和为 6,等于 。基线改为全 1 后,归因变为 ,和为 5,仍等于新的输出差。说明完备性对基线成立,而归因值依赖基线。梯度显著性给出 ,和为 5,与两个输出差都不相等,因为它度量的是局部斜率,不是分摊量。

例 1 的第二部分给出饱和的后果。,梯度为 ,归因之和为 ,看起来模型对输入毫无依赖;而实际输出差为 。IG 在 时给出 ,和为 ,与输出差一致。 时和为 ,误差来自被积函数在路径前段的陡变:路径经过 sigmoid 的线性区时梯度大,端点附近梯度趋零,粗网格低估了中段贡献。该例说明 IG 的收敛速度取决于路径上的曲率,工程中不能固定 而不做收敛检查。

例 2:精确 Shapley 值的枚举

# 依赖:numpy 2.x,标准库 itertools、math
import itertools
import math

import numpy as np

print("=== 例 2:三特征博弈的精确 Shapley 值 ===")


def f(x):
    """f(x) = 2*x0 + x1*x2,含一个二阶交互项。"""
    return 2.0 * x[0] + x[1] * x[2]


x = np.array([2.0, 1.0, 4.0])
baseline = np.zeros(3)


def v(S):
    """只保留 S 中特征的真实取值,其余取基线;特征独立且基线为均值时等于 E[f(x)|x_S]。"""
    z = baseline.copy()
    for i in S:
        z[i] = x[i]
    return f(z)


def shapley_exact(v, d):
    phi = np.zeros(d)
    for i in range(d):
        others = [j for j in range(d) if j != i]
        for r in range(d):
            for S in itertools.combinations(others, r):
                w = math.factorial(len(S)) * math.factorial(d - len(S) - 1) / math.factorial(d)
                phi[i] += w * (v(set(S) | {i}) - v(set(S)))
    return phi


print("%-12s %8s" % ("子集 S", "v(S)"))
for r in range(4):
    for S in itertools.combinations(range(3), r):
        print("%-12s %8.2f" % (str(S) if S else "空集", v(set(S))))

phi = shapley_exact(v, 3)
print("精确 Shapley      :", phi, "和 =", phi.sum(), " v(N)-v(空) =", v({0, 1, 2}) - v(set()))
print("解析值 (2x0, x1x2/2, x1x2/2):", [float(2 * x[0]), float(x[1] * x[2] / 2), float(x[1] * x[2] / 2)])


def shapley_all_perm(v, d):
    total = np.zeros(d)
    cnt = 0
    for order in itertools.permutations(range(d)):
        S = set()
        prev = v(S)
        for i in order:
            S.add(i)
            cur = v(S)
            total[i] += cur - prev
            prev = cur
        cnt += 1
    return total / cnt


print("枚举全部 3! 个排列:", shapley_all_perm(v, 3))


def shapley_sample(v, d, n_perm, seed):
    rng = np.random.default_rng(seed)
    total = np.zeros(d)
    for _ in range(n_perm):
        order = rng.permutation(d)
        S = set()
        prev = v(S)
        for i in order:
            S.add(int(i))
            cur = v(S)
            total[i] += cur - prev
            prev = cur
    return total / n_perm


for n in (8, 100, 20000):
    print("蒙特卡洛 n_perm = %5d:" % n, np.array2string(shapley_sample(v, 3, n, 0), precision=4))

输出如下。

=== 例 2:三特征博弈的精确 Shapley 值 ===
子集 S             v(S)
空集               0.00
(0,)             4.00
(1,)             0.00
(2,)             0.00
(0, 1)           4.00
(0, 2)           4.00
(1, 2)           4.00
(0, 1, 2)        8.00
精确 Shapley      : [4. 2. 2.] 和 = 8.0  v(N)-v(空) = 8.0
解析值 (2x0, x1x2/2, x1x2/2): [4.0, 2.0, 2.0]
枚举全部 3! 个排列: [4. 2. 2.]
蒙特卡洛 n_perm =     8: [4.  3.5 0.5]
蒙特卡洛 n_perm =   100: [4.  2.2 1.8]
蒙特卡洛 n_perm = 20000: [4.     1.9914 2.0086]

shapley_exact 在做什么:对每个特征 ,枚举其余特征的所有子集 ,按权重 加权累加边际贡献 。为什么必须枚举而不是按 直接求和:权重依赖 的阶乘组合,直接求和无法复现「随机排列下 的期望边际贡献」这一含义;枚举所有子集并按阶乘加权,等价于枚举全部 个排列,代码中 shapley_all_perm 验证了这一点,两者输出完全相同。去掉权重直接用算术平均会怎样:大子集与小集合被同等对待,归因之和不再等于 ,效率公理失效。

本例的解析解可以直接手算。 中 的系数为 2,与其余特征无交互,因此 。 与 只以乘积形式出现,任何单独出现的子集上 都不含该交互,只有在 同时出现时贡献 。对称性给出 。三者之和为 8,等于 。该例说明 Shapley 值把纯交互项的收益平均分摊给参与交互的每个特征,这正是它相对梯度方法的差别。在同一点上,梯度为 :交互项 被拆成 与 两份,两份之和为 5,比交互项本身大 1,且三个分量之和为 7,与输出差 8 不相等。梯度在交互项上既不守恒也不对称,因为它度量的是各维独立变化时的局部斜率,不处理「两项必须同时出现才产生收益」这一结构。

采样部分给出估计误差的量级。8 次抽样得到 , 的估计严重偏低,因为排列数太少, 同时出现在 之前的次数不足以平均掉顺序效应。100 次抽样为 ,误差约 。20000 次抽样为 ,误差约 ,与 的收敛速度一致。由此可得工程判据: 较大时若需要归因排序稳定,采样数应使标准误小于相邻归因差值的一半。

易错点

六个可检验的错误

1. 报告 IG 结果不写基线。同一模型同一输入,基线取零与取均值可给出不同的归因排序,而两者都满足完备性,因此不能用「和等于输出差」自证正确。检验方式:用两个基线各算一次,报告排序的 Spearman 相关;若相关低于 0.8,说明结论对基线敏感,必须同时报告。

2. 用梯度显著性解释饱和模型。Sigmoid、tanh 输出层或 ReLU 负半轴的梯度趋近于零,归因整片为零,被误读为「输入无影响」。检验方式:对同一输入计算 IG,若两者量级相差两个数量级以上,显著性的结论无效。

3. 把相关特征的重要性直接相加。置换重要性在共线特征上同时低估两者,在冗余特征上又可能高估总和。检验方式:构造一对完全相关的特征,检查两者重要性之和是否超过单独使用其中一个时的值。

4. 把可视化当因果。热图高亮区域只说明该区域与输出在归因规则下相关,不说明移除后输出会下降。检验方式:遮蔽高亮区域,若输出不变,则归因未被干预证实。

5. 过度解读注意力图。单层单头的 忽略了值向量尺度、残差路径与其余层;rollout 的连乘假设层间线性且残差等权。检验方式:把被高权重关注的 token 替换为同位置的其他 token,观察输出是否按权重比例变化。

6. 用单次运行的 LIME 或 KernelSHAP 下结论。两者依赖采样,随机种子改变可导致 top- 特征集合改变。检验方式:固定输入、改变种子运行 20 次,统计 top- 重合率的均值与最小值。

关联笔记

  • 前置:反向传播详解,提供反向模式自动微分的计算过程,本篇第 3、4 节的所有白箱方法都以该过程为输入。
  • 前置:注意力机制与QKV,给出 的定义与多头拼接方式,第 8 节的反例建立在该定义之上。
  • 对照:模型评估矩阵,提供样本量、置信区间与评分器一致性的口径;第 11 节把忠实性与稳定性纳入同一统计框架,二者的报告格式应一致。
  • 对照:幻觉与缓解,同名概念「忠实性」在此指解释与模型计算一致,在彼指输出与上下文一致,混用会导致错误的缓解手段。
  • 后续:多模态与生成模型概览,对比学习模型的图文对齐是分布层面的,验证其对齐是否被用于具体预测需要本篇的探针与激活替换。

达标检测

  • [ ] 不看原文,写出积分梯度的路径积分公式,并独立完成完备性证明(从 出发)。
  • [ ] 说明梯度显著性为何不满足实现不变性,构造一个取值相同但梯度不同的两层网络例子。
  • [ ] 给定 与基线 ,手算 处的 IG 归因,并验证其和为 。
  • [ ] 写出 Shapley 值的组合公式与排列期望形式,说明二者等价的原因并指出精确计算的复杂度;再用排列采样估计例 2 的归因,使 的标准误小于 0.05,报告所需采样数并与 估计对照。
  • [ ] 运行本篇代码,把例 1 中饱和函数的 从 200 降到 8,记录完备性误差,并解释误差随 的变化趋势。
  • [ ] 设计一个实验区分「注意力权重高」与「该位置因果重要」,写出干预方式与度量指标。
  • [ ] 列出三条解释评估指标,说明它们可能互相冲突的情形,并给出一个同时报告忠实性与稳定性的报告模板。

参考来源

  • Sundararajan, Taly, Yan, "Axiomatic Attribution for Deep Networks", ICML 2017, arXiv:1703.01365 —— 对应第 4 节的四条公理、路径积分定义与完备性证明。
  • Lundberg, Lee, "A Unified Approach to Interpreting Model Predictions", NeurIPS 2017, arXiv:1705.07874 —— 对应第 5 节的 Shapley 值、KernelSHAP 权重与 TreeSHAP 复杂度。
  • Ribeiro, Singh, Guestrin, "Why Should I Trust You? Explaining the Predictions of Any Classifier", KDD 2016, arXiv:1602.04938 —— 对应第 6 节的局部代理模型、掩码采样与邻域权重。
  • Jain, Wallace, "Attention is not Explanation", NAACL 2019, arXiv:1902.10186 —— 对应第 8 节的对抗性注意力反例与注意力权重和梯度重要性不一致的实验。
  • Adebayo et al., "Sanity Checks for Saliency Maps", NeurIPS 2018, arXiv:1810.03292 —— 对应第 11 节的参数随机化检验与显著图方法失效的实验设计。
  • Elhage et al., "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", Transformer Circuits Thread, 2023 —— 对应第 10 节的叠加假设与稀疏自编码器分解单义特征的思想。