一种增强解释鲁棒性的集成框架

《Neurocomputing》：An ensemble framework to enhance the robustness of explanations

　　

摘要
深度学习 (DL) 模型在基于视觉和安全关键领域的广泛部署，需要鲁棒且可靠的解释方法。然而，当前的可解释性技术仍易受对抗性扰动的影响，这些扰动会扭曲模型的解释。为了应对这一漏洞，我们引入了 EDHRM，一种新颖的基于集成的正则化框架，旨在通过系统地促进子模型之间的多样性和平滑性来增强解释的鲁棒性。我们的框架集成了两项关键创新：首先，我们采用基于海森矩阵的曲率最小化 () 来强制执行每个子模型解释景观的平滑性，从而稳定单个模型的解释。其次，我们引入了基于余弦的海森响应错位正则化器 ()，以促进集成成员曲率响应之间的多样性，有效降低对抗攻击在整个集成中的可迁移性。在 CIFAR-10、CIFAR-100、TinyImageNet 和大规模 ImageNet-1K 上的广泛实验评估，以及异质集成实验，证明 EDHRM 始终优于最先进的技术。EDHRM 显著提高了针对各种白盒、黑盒和非基于梯度的对抗性攻击的解释鲁棒性，同时有效减轻了误导性解释的风险并保持高分类准确率。这些结果强调了促进曲率感知平滑性和曲率多样性在保护解释可解释性方面的有效性，为安全关键应用中更可信和鲁棒的 DL 系统铺平道路。

引言
深度学习 (DL) 模型在各种应用中的普遍集成，需要对其自动化决策过程有大量的信任。培养这种信任的核心是提供清晰可靠解释的能力。新兴的可解释人工智能 (XAI) 领域专门通过阐明 DL 模型不透明的决策机制来解决这一需求，从而促进其在基于视觉和安全关键领域的负责任采用，包括自动驾驶 [1] 和医学图像分析 [2]。

然而，这些解释的可靠性越来越受到质疑。DL 模型经常在其解释中表现出显著差异，即使是对于难以察觉的扰动或几乎相同的输入 [3]。这些漏洞表现为两种主要的对抗性操纵形式：首先，攻击者可以微妙地操纵解释，任意将它们与目标输出对齐，而不引起输入图像的视觉可检测变化或影响模型的预测 [4]。其次，对抗样本 (AEs) 的存在进一步复杂化了问题；这些是故意制作以误导模型的输入，然而它们产生的解释往往与良性样本的解释非常相似 [5]。图 1 对比了这两种不同类型的对抗性操纵。这些不一致不仅严重破坏用户信心，还引发了对神经网络可解释性、可靠性以及最终可信度的关键担忧。因此，增强 DL 解释针对此类对抗性操纵的鲁棒性是一个紧迫且关键的研究挑战。

为了减轻这些漏洞，研究人员提出了各种方法，旨在增强可解释性技术的鲁棒性。最近的方法在训练期间引入正则化项，以约束扰动样本和原始样本之间的梯度变化，从而提高基于梯度的解释的稳定性 [6]、[7]。一种常见策略涉及调节鲁棒性准则——定义为原始和扰动输入梯度之间的距离——通过在训练期间约束关于输入的海森范数。此外，用 Softplus 函数替换 ReLU 激活，定义为，在平滑决策边界方面显示出前景，这可以导致更具韧性的解释 [7]。

虽然这些方法提供了解决方案，但也伴随着关键局限性。仅仅最小化输入级别的海森范数往往会导致过拟合，潜在损害模型的泛化能力，同时仅部分增强解释鲁棒性。此外，这种策略并不固有地保证跨不同输入的一致和鲁棒的解释 [8]，特别是考虑到 Frobenius 范数的随机估计可能会引入显著误差。尽管一些研究尝试通过结合 和余弦鲁棒性准则作为正则化项以对齐局部梯度 [8]，这些方法尽管显示出对随机扰动的改进韧性，针对多样化的对抗攻击通常力不从心，并且往往导致预测准确率降低。

为了克服这些固有局限性，同时增强解释鲁棒性和预测准确率，我们提出了一种新颖的集成框架。该框架集成了多个“低曲率”子模型，每个都使用通过有限差分导出的海森 - 向量积近似进行训练——一种与随机 Frobenius 范数估计相比提供更高精度的方法。至关重要地，我们通过引入子模型之间的海森响应余弦相似度正则化来进一步增强模型多样性。这种双管齐下的方法大幅降低了对抗可迁移性风险，并显著增强了解释鲁棒性，同时精心保持预测准确率。

我们的主要贡献总结如下：
• 我们提供了一种新颖且严谨的理论分析，以推导解释鲁棒性和对抗可迁移性的上界。具体而言，我们通过网络的海森矩阵量化解释鲁棒性，并通过子模型海森矩阵之间的余弦相似度表征可迁移性，从而为我们提出的集成方法奠定坚实的理论基础。
• 基于这些理论见解，我们提出了一种新颖且整体的集成训练方案，结合海森正则化和促进多样性的海森响应对齐，这显著增强了针对对抗性解释操纵的鲁棒性。
• 我们在多个标准数据集上对我们的方法进行了实证验证，包括 CIFAR-10、CIFAR-100 和 TinyImageNet，使用各种解释方法。我们全面的实验确凿地证明我们的方法实现了优于现有方法的解释鲁棒性和一致性，关键是，没有牺牲预测准确率。

章节片段
解释的脆弱性
近年来，基于归因的解释的可靠性和完整性已成为首要关注点。快速增长的一系列工作确凿地表明，许多解释方法可能对各种形式的对抗性和随机扰动敏感，无论是引入在输入数据中还是在模型本身中。开创这一研究方向的，Ghorbani 等人 [3] 引入了专门针对解释的对抗攻击概念。他们的工作

符号
我们考虑一组数据元组，其中 表示输入数据，表示目标标签。我们将神经网络模型表示为，它返回每个类别的 logit 值。我们使用下标表示法，其中 表示向量 的第 个元素，是一个返回 的第 个元素的标量值函数。解释函数表示为，其中 的每个元素代表相应输入特征的归因分数或重要性。形式上，令 表示

理论考虑
在本节中，我们建立了所提出方法的理论基础。我们的框架建立在两个互补原则之上：首先，通过曲率最小化增强单个子模型的稳定性；其次，通过最小化子模型之间的共享漏洞来提升集成的整体鲁棒性。我们首先通过证明基于梯度的解释的鲁棒性可以通过模型输出的局部曲率来表征，如

提出的方法
在本节中，我们介绍了新颖的训练框架，集成多样化海森正则化模型 (EDHRM)。我们方法的核心是一种创新的正则化技术，旨在增强集成模型解释的鲁棒性。这是通过同时最小化每个子模型的局部输入 - 输出曲率并促进子模型之间的曲率多样性来实现的。与依赖于昂贵地估计海森矩阵的 Frobenius 范数的方法不同 [7]，

实验
在本节中，我们提出了对所提出的集成正则化方法 EDHRM 的全面经验评估。主要目标是验证其在增强模型解释针对对抗性操纵的鲁棒性方面的有效性。我们的实验在三个广泛使用的图像分类基准上进行：CIFAR-10、CIFAR-100 和 TinyImageNet。我们采用多方面的评估策略，结合定量指标和定性评估跨越

结论
在本工作中，我们介绍了 EDHRM，一种新颖的基于集成的正则化框架，旨在增强神经网络解释针对对抗性操纵的鲁棒性。我们的方法独特地集成了两种互补策略：基于海森矩阵的正则化 () 以强制执行每个子模型解释景观的平滑性，以及海森响应错位正则化器 () 以促进集成成员之间的曲率多样性。通过同时最小化局部曲率

CRediT 作者贡献声明
Yu Meng：写作 - 审查与编辑，写作 - 初稿，验证，方法学，概念化。
Wei Huang：写作 - 初稿，方法学，概念化。
Xinyuan Miao：数据整理。
Xianglong Kong：验证，监督。
Fan Zhang：监督。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本报告中所述的工作。

Yu Meng 目前正在东南大学网络空间安全学院攻读硕士学位。他获得武汉工程技术大学的工学学士学位。他当前的研究兴趣是人工智能安全领域，重点关注对抗性机器学习和可解释人工智能的鲁棒性。

Yu Meng|Wei Huang|Xinyuan Miao|Xianglong Kong|Fan Zhang
中国，南京，211189，东南大学