AB
AiBoss站
百科

什么是积分梯度(Integrated Gradients)?一种基于公理设计的深度网络特征归因方法

积分梯度(Integrated Gradients)是论文《Axiomatic Attribution for Deep Networks》提出的一种特征归因方法,用于把深度网络的预测结果分解到各个输入特征上。它从敏感性与实现不变性两条公理出发设计,只需调用标准梯度算子即可实现,适用于任何可微模型。

积分梯度(Integrated Gradients,简称 IG)是一种用于深度网络的特征归因(attribution)方法,它把模型对某个输入的预测结果分解到各个输入特征上,给出每个特征对这次预测的贡献大小。它要解决的问题是:深度网络的预测虽然准确,但内部决策过程不透明,使用者难以判断模型究竟依据哪些输入特征做出了判断,也难以据此排查模型是否学到了错误的规律。

为什么重要

在积分梯度提出之前,研究者已经提出过若干种把预测归因到输入特征的方法。论文《Axiomatic Attribution for Deep Networks》指出,这些已有方法大多不满足两条作者认为归因方法应当具备的基本公理,作者把这一点视为这些方法的根本缺陷。

第一条是敏感性(Sensitivity):如果一个输入特征发生了变化,而模型输出也随之改变,那么这个特征应当获得非零的归因。若一个归因方法对这样的特征给出零贡献,它就掩盖了模型真实的依赖关系。第二条是实现不变性(Implementation Invariance):如果两个网络在功能上完全等价,即对任意输入都给出相同的输出,那么归因结果也应当相同,而不应因为内部实现方式不同而不同。

这两条公理的意义在于,它们把「归因是否可信」从主观判断变成了可以检验的性质。论文的做法是先确定公理,再用公理反过来指导方法的设计,而不是先设计方法再事后论证其合理性。TensorFlow 官方文档在介绍该技术时也提到,积分梯度可用于理解特征重要性、识别数据偏斜(data skew)以及调试模型性能等场景。

工作机制

积分梯度的核心思路是:不要只看输入点这一个位置上的梯度,而是沿着从「基线」到「实际输入」的路径,把沿途各点的梯度累积起来。具体可以拆成以下几个要点。

  • 选择基线(baseline):基线是一个代表「无信息」或「中性」状态的输入,例如全黑图像、全零向量或某种参考样本。归因衡量的是从基线走到实际输入这一段过程中,模型输出如何变化。
  • 构造插值路径:在基线与实际输入之间做线性插值,得到一系列中间输入点。路径上的每一点都对应一个缩放系数。
  • 计算梯度:对路径上的每个中间点,计算模型输出对该输入各维度的梯度。梯度刻画了在该点附近,某个特征微小变化会带来多大的输出变化。
  • 沿路径积分:把路径上各点的梯度按路径累积(积分),得到每个特征的总贡献。实际实现中通常用有限个插值点做数值近似,插值点数量是一个需要权衡精度与计算量的超参数。
  • 满足完备性:按上述方式构造的归因之和,等于模型在基线与实际输入两点的输出之差。这一性质使归因结果具有可加总、可比较的解释基础。

论文强调,该方法不需要修改原始网络,实现极为简单,只需要对标准梯度算子做若干次调用即可。这也是它相对其他归因途径在工程上更易落地的重要原因。

典型例子

论文作者把该方法应用于若干图像模型、若干文本模型以及一个化学模型,展示了它调试网络、从网络中提取规则以及帮助用户更好地与模型交互的能力。

TensorFlow 官方文档给出了一个逐步实现的教程,用图像分类器演示像素级特征重要性。教程沿用原论文的思路,使用预训练的 Inception V1 模型,从 TensorFlow Hub 下载。示例图像是一艘正在喷射水柱的消防船(fireboat)。人来看这张图,可能会把船体和水炮所在的像素视为判断依据;而模型在给出同样的「消防船」分类时,积分梯度高亮的却是水炮与喷射水流的像素,其重要性高于船体本身。文档借此提出一个值得追问的问题:模型面对新的消防船、面对没有水炮的消防船时会如何泛化?这正是归因结果帮助发现模型决策依据的典型用法。

文档还说明了积分梯度流行起来的原因:它对任何可微模型都有广泛适用性,可处理图像、文本、结构化数据;实现容易;有理论依据;并且相对其他可解释性途径在计算上更高效,因而能够扩展到图像这类维度很高的特征空间和大型网络。

边界与常见误解

首先,积分梯度解释的是模型,而不是数据本身或现实世界的因果关系。它回答的是「模型在这次预测中依赖了哪些特征」,不能直接推出「改变这个特征会改变现实结果」。

其次,结果依赖基线的选择。基线不同,从基线到输入的路径不同,归因数值也会不同。基线本身是一个建模决策,需要结合具体任务说明,不能把某一组归因数值当作唯一正确答案。

第三,数值积分是近似。插值点太少会带来估计误差,插值点太多则计算成本上升,实际使用中需要显式说明所取的近似方式。

第四,适用前提是可微。该方法依赖梯度,因此面向不可微模型或离散输入时需要额外的处理方式,不能不加说明地直接套用。

最后需要区分主张的来源。敏感性与实现不变性这两条公理、以及「多数已有方法不满足它们」这一判断,是论文作者提出的主张与论证,而非整个领域一致接受的定论;TensorFlow 文档中关于广泛适用性、易实现与计算效率的表述,属于该官方文档的说明。阅读相关结论时,应把它们归到各自的出处,而不是当作无来源的行业共识。

参考资料