RAIN：一种简单到令人尴尬的偏误消除方法，用于评估归因过程

《Computer Vision and Image Understanding》：RAIN: An embarrassingly simple approach to debiasing attribution evaluation

模型归因评估中存在缺失偏差与计算成本高的问题，本文提出Rain方法通过随机遮蔽训练缓解偏差，并统一模型评估降低成本。实验表明Rain能有效提升评估一致性且计算效率高。

　　

Jiarui Duan|Jie Song|Haofei Zhang|Mengqi Xue|Huiqiong Wang|Mingli Song

浙江大学计算机科学与技术学院，中国杭州

摘要

模型属性分配（Model Attribution）为每个输入特征分配一个值，以表明其对最终预测的贡献程度，这已成为研究可解释人工智能（explainable artificial intelligence）最广泛的范式。然而，由于缺乏真实的基准数据（ground truth），现有属性分配方法的评估仍然是一个挑战。以往不依赖于人类判断的评估方法通常采用特征消融（feature ablation）来测试不同属性值对模型性能的影响。但这些方法要么受到数据分布不一致导致的缺失偏差（missingness bias）的影响，要么因重新训练大量模型而产生高昂的计算成本。在这项工作中，我们提出了一种简单却出人意料有效的评估方案，称为随机消融训练用于属性分配测试（Random-Ablation training for attrIbution-ablatioN test，简称RAIN），以平衡缺失偏差和计算成本。RAIN的核心思想是用随机消融后的数据分布来近似属性分配后的数据分布。通过提出的RAIN，我们对现有属性分配方法进行了系统的实验评估。结果表明，该方法不仅显著减轻了缺失偏差问题，还获得了更加一致和合理的属性排名，同时计算成本大大降低。代码和模型将很快公开发布。

引言

借助深度学习的浪潮，可解释人工智能（XAI）（Adadi和Berrada，2018）因其在中关键安全场景中的实用性而受到越来越多的关注（Wu等人，2025；Atakishiyev等人，2025）。近年来提出了许多提高可解释性的方法，¹，这些方法大致可以分为两类：内在可解释性，即模型在设计时就具备解释能力（例如ProtoPNet（Chen等人，2019；Huang等人，2023）；决策树（Myles等人，2004；Tanno等人，2019）；以及事后可解释性，即原始模型本身不可解释，但通过可解释的替代模型来提供解释（Frosst和Hinton，2017；Ribeiro等人，2016；Molnar，2020）。在这些研究中，特征属性分配（feature attribution）（Simonyan等人，2013；Kim等人，2021；Fong等人，2019）越来越受欢迎，因为它比其他方法更清晰地定义了可解释性，该方法旨在说明每个像素对最终预测的重要性或贡献。

尽管现有的属性分配方法取得了显著进展，但如何在没有定性评估或用户研究的情况下对这些方法进行程序化评估仍然不清楚。由于缺乏真实的基准数据，人们提出了各种基于功能的指标（Doshi-Velez和Kim，2017；Bhatt等人，2020；Nguyen和Martínez，2020），例如忠实度（faithfulness），来定量和客观地评估基于属性的解释。最常用的指标是特征消融（feature ablation，通常如此称呼），特别是针对图像的像素扰动（pixel perturbation，Samek等人，2016；Vu等人，2019），其原理是如果某些特征在输入模型之前被移除，模型的性能下降应该与其属性值相对应。具体来说，对于好的属性分配方法，移除具有较高属性值的特征应该会更大程度地降低模型精度，反之亦然。因此，特征消融可以作为一种定量指标来评估各种属性分配方法。

特征消融的评估成本较低，但不幸的是，它存在一个显著的问题：缺失偏差（missingness bias）（Jain等人，2022；Li等人，2015）。由于像CNN这样的视觉模型只接受规则的网格状图像数据，现有的图像特征消融方法通常通过用其他中性基线值填充被消融的像素来近似处理（Sturmfels等人，2020）。这种近似消融策略不可避免地会导致训练数据和测试数据之间的分布偏移，从而无法确定性能下降是由于分布偏移还是由于真正有信息量的特征被移除。为了对抗缺失偏差，另一种流行的评估基于属性的解释的方法是RemOve And Retrain（ROAR）（Hooker等人，2019），它为每种属性方法使用修改后的数据重新训练一个替代模型，其中估计为最重要的部分像素被替换为一个固定的无信息值，确保训练和评估数据来自相同的分布。ROAR通过重新训练显著减轻了缺失偏差，并已在多项近期研究中得到应用（Hartley等人，2020；Meng等人，2021；Srinivas和Fleuret，2019）。然而，与不重新训练的评估相比，ROAR带来了两个新的缺点：（1）对于每种属性方法，ROAR首先需要根据属性结果修改数据集，然后重新训练替代模型进行评估，导致计算开销较大；（2）在ROAR中，用于评估的模型（替代模型）与用于生成属性的模型（原始模型）不同，因此评估结果不一定能真实反映原始模型的性能。例如，最近发现重新训练的模型存在信息泄露问题（Rong等人，2022），即它依赖于被消融像素的形状而不是剩余像素来进行预测，这质疑了ROAR的有效性。

在这项工作中，我们提出了一种新的评估方案，称为随机消融训练用于属性分配测试（RAIN），以平衡基于重新训练的评估的高昂计算成本和不重新训练评估的缺失偏差。RAIN的核心思想非常简单：如图1所示，RAIN在训练阶段通过随机移除特征来训练一个对缺失不敏感的通用模型。在评估过程中，该模型不仅用于为每种属性方法生成输入属性，还用于评估特征消融后的性能。因此，RAIN结合了基于重新训练和不基于重新训练的评估的优点：一方面，由于所有属性和评估都在同一个模型上进行，RAIN不会像基于重新训练的评估那样产生高昂的计算成本；另一方面，由于RAIN训练的模型对缺失不敏感，因此大大减轻了缺失偏差。

通过提出的RAIN，我们在三个广泛使用的数据集（CIFAR-100（Krizhevsky等人，2009）、ImageNet-50（Deng等人，2009）和Food-101（Bossard等人，2014）上对现有属性分配方法进行了系统的实验评估。结果表明，该方法不仅显著减轻了缺失偏差问题，还获得了更加一致和合理的排名，同时计算成本大大降低。

简而言之，我们的贡献如下：

• •
  我们提出了RAIN，这是一种简单却出人意料有效的方案，用于定量评估基于属性的解释，以显著降低的计算成本解决了缺失偏差问题。
• •
  我们使用提出的RAIN对三个流行数据集上的现有属性分配方法进行了系统评估。两组验证实验进一步证明了RAIN的可靠性。
• •
  我们的实验表明，集成策略和局部属性方法可以发现更重要的特征，这指出了XAI的未来方向以及属性分配方法的发展方向。

相关工作

相关工作

属性分配方法。特征属性分配方法通过识别与当前输出最相关的特征来解释模型决策。现有的属性分配方法大致可以分为以下几类：基于梯度的方法（Sundararajan等人，2017；Bach等人，2015；Adebayo等人，2018），通过从输出到输入的反向传播计算梯度来表达像素的重要性（Yang等人，2020；Kim等人，2018；Cheng等人，2023）

方法论

在本节中，我们首先介绍属性分配方法和评估的初步知识，然后详细说明提出的RAIN框架。RAIN的框架如图2所示。

实验

在本节中，我们首先通过全面的实验验证了RAIN适应缺失偏差的强大能力。此外，我们将RAIN应用于三个基线，并使用四种属性分配方法分析去偏差评估结果。最后，我们进行了一系列验证实验，以证明RAIN的可靠性及其相对于其他方法的优越性。最后，我们展示了RAIN对各种经典属性分配方法的扩展。

局限性

RAIN的核心目标是减轻特征消融在近似属性评估中引起的分布偏移的不利影响，从而获得更可靠的评估结果。为此，RAIN在训练期间使用随机特征掩蔽来近似数据分布，同时在训练和评估中使用固定的无信息基线。尽管这种策略相比传统方法显著减少了缺失偏差

结论

为了在像素消融导致的缺失偏差和重新训练方法的巨大成本之间取得平衡，我们提出了一种新的评估方案，即随机消融训练用于属性分配测试（RAIN）。RAIN通过随机特征消融生成一个对缺失不敏感的模型。在常见数据集上的广泛实验表明，RAIN显著减轻了缺失偏差，并提供了可靠的属性分配方法排名。结果揭示了

CRediT作者贡献声明

Jiarui Duan：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，概念化。Jie Song：撰写 – 审稿与编辑，监督。Haofei Zhang：撰写 – 审稿与编辑，方法论。Mengqi Xue：撰写 – 审稿与编辑，方法论。Huiqiong Wang：监督。Mingli Song：监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。