什么是逐层相关性传播(Layer-wise Relevance Propagation)?
逐层相关性传播(LRP)是一种把深度神经网络的单次预测分解到输入维度上的可解释性框架。arXiv 论文 1604.00825 提出将其扩展到含局部重归一化层的网络,并在 CIFAR-10、Imagenet 与 MIT Places 数据集上评估了该方法。
逐层相关性传播(Layer-wise Relevance Propagation,LRP)是一种可解释性框架,它把深度神经网络针对某个样本(例如一张图像)算出的预测,分解为该样本各个输入维度上的相关性分数,例如图像中各个子像素的相关性分数。它要解决的问题是:神经网络给出一个输出值,但输出值本身不说明输入的哪一部分支撑了这个判断,LRP 试图把输出值按层回传到输入端,形成一张与输入同形状的相关性分布。
为什么重要
深度神经网络在图像等任务上给出预测时,模型内部是大量线性映射与非线性变换的复合,最终输出通常只是一个类别分数或一组分数。对于使用者而言,仅看到这个分数无法判断模型依据的是目标物体本身,还是背景、纹理或其他偶然相关的线索。在需要审查模型行为、排查错误来源、或向他人说明判断依据的场合,缺少这种输入层面的归因信息是一个明显痛点。
在 LRP 出现之前,常见的做法是直接观察模型结构或输出,但这类信息停留在中间层或整体层面,难以落到单个输入维度上。LRP 的思路是把「输出由哪些输入支撑」变成一个可以逐层计算的守恒式分解问题,使归因结果与输入具有相同的粒度。按照 arXiv 论文 1604.00825 的表述,该框架允许把深度神经网络在某个样本上计算出的预测,分解到该样本单个输入维度的相关性分数上。
工作机制
LRP 的核心是「逐层回传、总量守恒」。其基本做法可以分要点说明:
- 从输出出发:把模型对某个样本的预测值作为初始相关性,放在输出端。
- 逐层分解:把上一层神经元持有的相关性,按照各条连接对下层激活的贡献比例,分配给下一层的神经元。分配规则通常写成「某条连接上的贡献占该神经元收到总贡献的比例」乘以该神经元的相关性。
- 守恒性:在理想情况下,每一层分配前后的相关性总量保持一致,因此回传到输入端时,各输入维度上的相关性之和对应最初的预测值。
- 得到输入级归因:回传结束后,每个输入维度(如图像的子像素)都得到一个带符号的相关性分数,正值表示支持当前预测,负值表示反对。
论文指出,这一方法可以直接应用于广义线性映射,但乘积型非线性(product type non-linearities)不在其覆盖范围内。局部重归一化层(local renormalization layers)正是卷积神经网络中一类常见的乘积型非线性。该论文提出的做法,就是把 LRP 扩展到医院这类含局部重归一化层的网络上,使回传规则能够穿过这种非线性结构,而不是在遇到它时中断或失真。
需要说明的是,上述守恒与分配的描述是 LRP 框架的一般机制;论文本身的具体贡献在于针对局部重归一化层的扩展规则,以及相应的实验评估。
典型例子
素材中给出的真实用法来自该论文自身的实验设置:作者在 CIFAR-10、Imagenet 与 MIT Places 三个数据集上,对提出的、面向局部重归一化层的方法进行了评估。这三个数据集分别对应小尺寸物体识别、大规模物体识别与场景识别,说明该扩展是在图像分类类任务上被检验的。
论文给出的应用形态是:输入一张图像,模型输出一个预测,LRP 把该预测分解为图像子像素级别的相关性分数。这种分数可以按输入的空间布局重新排列,从而呈现为一张与输入图像对应的相关性图,用于观察模型在判断时关注了哪些区域。素材没有给出具体的数值结果或可视化细节,因此这里不对效果作进一步断言。
边界与常见误解
第一,LRP 不是对模型「真实推理过程」的直接读取,而是一种基于分解规则的归因方法。它给出的是按照特定分配规则计算出的相关性分布,换用不同的分配规则,结果可能不同。因此把相关性图直接等同于「模型的真实想法」是一种常见误解。
第二,覆盖范围有限。论文明确说明,该方法可直接用于广义线性映射,而乘积型非线性不被直接覆盖,这正是该论文要处理局部重归一化层的原因。这意味着在含有其他类型非线性结构的网络上,LRP 是否可直接套用、需要何种调整,不能由这篇论文的结论推出。
第三,评估范围有限。论文的评估集中在 CIFAR-10、Imagenet 与 MIT Places 三个图像数据集上,素材并未涉及文本、语音或其他模态,也未涉及除局部重归一化层之外的结构。把这些数据集上的结论外推到其他任务或架构,缺乏素材支持。
第四,存在计算代价。LRP 需要沿网络逐层回传并计算连接级贡献,相比只做一次前向推理,额外增加了一次反向方向的遍历;网络越深、连接越密,这部分开销越大。这是方法本身的固有成本,而非实现缺陷。
第五,不要把某篇论文的主张写成行业共识。该论文提出的是面向局部重归一化层的 LRP 扩展,并在上述三个数据集上进行了评估;这属于该论文作者的工作与结论,不代表可解释性领域对 LRP 的整体评价。