《Neurocomputing》：An evaluation pipeline for assessing the effectiveness of eXplainable AI methods on CNN-based image classification models
编辑推荐：
本研究提出一个评估流水线，用于基准测试八种可解释人工智能（XAI）方法在不同卷积神经网络（CNN）架构和数据集上的表现。该流水线报告了九个评估指标的均值、标准差和自助法置信区间。实验结果表明，在所评估的范围内，Noise Tunnel是最稳定可靠的默认方法；G
本研究提出一个评估流水线，用于基准测试八种可解释人工智能（XAI）方法在不同卷积神经网络（CNN）架构和数据集上的表现。该流水线报告了九个评估指标的均值、标准差和自助法置信区间。实验结果表明，在所评估的范围内，Noise Tunnel是最稳定可靠的默认方法；Guided Grad-CAM在忠实性指标上领先，而Grad-CAM家族在一致性和交并比（IoU）方面表现最优。此外，XAI Studio图形用户界面在一项形成性研究中获得了72.9的系统可用性量表（SUS）分数。
论文解读
研究背景与问题
深度神经网络（DNN）在计算机视觉等领域取得了卓越性能，但其内部决策机制高度复杂且不透明。这种黑箱特性在医疗诊断、自动驾驶和金融风险评估等高风险应用中尤为令人担忧——若无法理解预测背后的推理逻辑，将对人类福祉产生实质性影响。尽管已有大量可解释人工智能（XAI）方法被提出，但现有研究多聚焦于开发新技术或将现有库应用于特定场景，缺乏对不同架构和数据集下XAI方法有效性的系统性评估。当前评估指标可能不足以捕捉深度学习模型中可解释性的细微差别，导致对哪些方法能提供最有意义的见解存在认知空白。此外，现有工具包虽提供了丰富的XAI方法和度量标准，却未规定标准化的基准测试环境组合。因此，亟需建立一个整合多种数据集、架构、归因方法和评估指标的标准化评估流水线。
研究内容与结论
研究人员提出了一套完整的评估流水线，将数据集选择、架构选择、归因方法、真实定位参考和评估指标进行标准化统一应用，确保结果可直接比较。该流水线对MedicalMNIST和Cards的全部测试集以及ImageNet验证集的752张分层子集图像计算每一项指标，并报告每幅图像的均值、标准差和95%非参数自助法置信区间。研究从梯度类、扰动类和集成类三类方法中选取八种XAI方法，应用于ResNet50和VGG16两种架构，横跨三个领域特异性递增的数据集，报告了涵盖忠实性、定位准确性、稳定性和预测不确定性五个维度的九项评估指标。
研究发现，在所评估的架构、数据集和指标范围内，没有任何单一归因方法是普遍优越的，但Noise Tunnel是唯一同时在忠实性、鲁棒性和一致性上均排名前三且无灾难性异常值的方法，使其成为同类设置中可辩护的默认选择。研究还记录了架构-置信度-指标链现象：VGG16系统性地较低的预测熵与其膨胀的扰动类指标得分相关联，且独立于解释质量。此外，定位指标的偏倚被明确指出——由于CNN分类器可从局部非目标中心特征做出正确判断，高交并比并非忠实解释的必要或充分条件。研究同时量化了归一化集成方法的平均稀释效应：该方法提升了区域重叠度但在忠实性、鲁棒性和一致性上回归均值。
关键技术方法
研究人员采用了以下核心技术方法：一、评估流水线框架，集成三个数据集（ImageNet ILSVRC、MedicalMNIST、Cards图像数据集）、两个预训练CNN架构（ResNet50和VGG16）和八种XAI方法，涵盖梯度类（Saliency、Guided Backpropagation、Integrated Gradients、Grad-CAM、Grad-CAM++、Guided Grad-CAM、XGrad-CAM）、扰动类（Occlusion、Noise Tunnel）和集成类（NormEnsembleXAI）方法。二、真实定位参考获取，ImageNet使用ImageNet-S50真实标注掩码，另两个数据集使用Segment Anything Model（SAM）生成掩码。三、九项评估指标，涵盖忠实性（Drop in Confidence、Faithfulness Correlation、Infidelity）、鲁棒性（Area Over the Perturbation Curve、Sensitivity）、定位精度（Intersection over Union、Edge Alignment）、一致性（类内Spearman秩相关系数）和不确定性量化（Predictive Entropy）。四、统计报告协议，所有指标均在完整测试分区上计算，报告均值、标准差和95%自助法置信区间。五、XAI Studio图形用户界面，采用五层架构（表示层、编排层、AI/ML框架层、数据管理层、集成与可复现层），实现了拖放加载自定义数据集等功能。
研究结果
Faithfulness（忠实性）：通过DoC、Faithfulness Correlation和Infidelity三项指标评估。Noise Tunnel在忠实性上表现最稳定可靠，Guided Grad-CAM在忠实性指标上领先。研究发现，当微调模型的预测概率接近饱和时，Faithfulness Correlation和Infidelity指标压缩至几乎无法区分的值，此时DoC成为唯一的判别性忠实性信号。
Robustness（鲁棒性）：通过AOPC和Sensitivity评估。VGG16由于系统性地较低预测熵导致其扰动类指标（DoC、AOPC、Faithfulness Correlation、Infidelity）得分偏高，与解释质量无关。Noise Tunnel在鲁棒性上同样表现优异。
Localization Accuracy（定位精度）：通过IoU和Edge Alignment评估。Grad-CAM家族在IoU上领先，但研究人员明确指出高IoU并非忠实解释的必要或充分条件，因为CNN可从局部非目标中心特征做出正确判断。归一化集成方法在ImageNet上达到最高IoU，但在Edge Alignment上表现不佳。
Consistency（一致性）：通过类内Spearman秩相关系数评估。Grad-CAM家族在一致性上领先，表明其对同一类别不同图像产生的归因图最为相似。
Uncertainty Quantification（不确定性量化）：作为模型级描述符而非XAI方法属性使用。研究揭示了架构-置信度-指标链：VGG16的较低预测熵与膨胀的扰动类指标得分相关联。
XAI Studio可用性评估：在七名参与者参与的形成性研究中，XAI Studio获得72.9的系统可用性量表（SUS）分数。
讨论与结论
局限性：研究范围限定于CNN架构和图像分类任务，未涉及Transformer架构或其他任务类型。评估仅使用了三种扰动分布（零填充、高斯噪声和逐步移除），其他扰动策略可能导致不同排名。SAM生成的掩码替代专家标注可能引入偏差。XAI Studio的可用性评估规模较小（七人）。
未来研究方向：将评估扩展至Transformer架构和其他计算机视觉任务（如目标检测、语义分割）；纳入更多扰动策略和基线选择；在更大规模用户群体中进行可用性评估；探索XAI方法在不同领域特异性数据集上的行为差异。
研究结论：本研究提出了一个标准化、可复现的XAI评估流水线，通过对八种XAI方法在两种CNN架构和三个数据集上的系统性比较，发现Noise Tunnel是最稳定可靠的默认方法，Guided Grad-CAM在忠实性上领先，而Grad-CAM家族在一致性和IoU上最优。研究同时揭示了架构-置信度-指标链现象和定位指标的固有偏倚。完整的开源软件实现和图形用户界面使非专家从业者也能进行统计严谨的比较。
