基于能量模型的可迁移对抗攻击

《Pattern Recognition Letters》：Transferable Adversarial Attack via Energy-Based Model

　　

从p(x)数据分布视角探索对抗可迁移性。

提出首个基于能量的可迁移对抗攻击方法（EBA）。

基于学习到的数据分布生成自然且难以检测的样本。

引言

深度神经网络（DNNs）在自动驾驶、人脸识别和金融预测等领域取得了显著成功。然而，Szegedy等人揭示了不可察觉的对抗样本对DNNs可能造成灾难性影响。更令人担忧的是，近期研究表明，对抗样本可以在具有不同架构和参数的模型之间进行迁移，这意味着在白色模型上生成的对抗样本也能欺骗黑色模型。近年来，对抗样本的可迁移性引起了越来越多的关注，因为理解对抗可迁移性可以为深度学习模型的鲁棒性提供见解，并指导如何开发更具鲁棒性的模型和防御方法。

过去几年，许多基于迁移的攻击方法被提出以改善对抗可迁移性。这些主流方法通常可分为两类：数据增强和模型特定方法。这些方法通常依赖于最小化预测概率p(y|x)来生成对抗扰动，通过优化输入样本的分类损失。虽然在白盒环境中有效，但这些方法在黑色攻击场景中往往因替代模型和目标模型之间的差异而效果不佳。在基于迁移的攻击中，替代模型θ_s的概率输出通常表示为p_{θ_s}(y|x+δ)，而目标黑色模型表示为p_{θ_t}(y|x+δ)，其中θ_t是未知的。因此，替代模型的决策边界信息可能无法与黑色模型的决策边界有效对齐，导致基于依赖p(y|x)的梯度方法生成的对抗样本攻击效果有限。

从数据分布角度来看，由于这些模型通常在相同的数据分布上进行训练，数据流形p(x)的结构保持一致。这种数据分布上的一致性可以缓解替代模型和目标模型之间的差异。然而，对于基于迁移的攻击，直接估计p(x)是不可行的，因为大多数替代模型被视为关注建模p(y|x)而非p(x)的判别分类器。尽管Li等人试图通过微调判别分类器将p(y|x)近似为联合概率密度p(x,y)，但替代模型本质上仍然是传统的判别模型。它并没有更深入地理解数据p(x)的生成过程，从根本上未能捕捉数据的完整分布结构。近期，能量模型（EBMs）的独特建模能力促使研究人员从数据分布角度探索其潜力。值得注意的是，联合能量模型（JEM）引入了一个统一框架，将标准判别分类器p(y|x)重新解释为用于建模联合分布p(x,y)的能量模型。这种混合建模方法在生成和判别任务中都取得了显著成功。

受JEM的生成能力启发，为充分利用迁移攻击的潜力，我们从数据分布角度提出了一种基于能量的迁移攻击方法。具体而言，我们首先将判别替代分类器重新解释为最小化联合概率p_{θ_s}(x,y)的能量模型。由于p_{θ_s}(x,y) = p_{θ_s}(x) · p_{θ_s}(y|x)，我们将?_x log p_θ(x)（而非?_x log p_θ(y|x)）作为对抗梯度进行计算。通过迭代最小化log p_θ(x)，我们的方法逐步增加原始输入图像的能量值，迫使它们偏离原始数据分布，并生成具有更强可迁移性的对抗样本，如图1所示。我们将该方法命名为基于能量的可迁移对抗攻击，或称为能量攻击（EBA）。能量攻击可以利用预训练的能量模型作为替代模型，无需重新训练。我们在CIFAR-10和CIFAR-100上，跨CNN和ViT架构进行了大量实验。本文的贡献总结如下：

• 我们从数据分布p(x)的角度研究可迁移对抗样本，为提高对抗可迁移性提供新见解。
• 我们提出首个基于能量的可迁移对抗攻击方法，利用能量模型的能力显式建模数据分布p(x)的梯度用于攻击。
• 通过基于学习到的数据分布以优化方式生成对抗样本，我们的对抗样本不仅更具语义真实性，而且在与原始数据分布高度一致时，更加自然且不易被人眼察觉，这使它们更难被基于检测的防御方法识别。

各部分摘要

对抗攻击

通过标准方法训练的深度神经网络（DNNs）极易受到对抗样本的攻击。根据对目标模型的访问权限，对抗攻击可分为白盒攻击和黑盒攻击。白盒攻击假设攻击者完全了解目标模型的结构和参数。典型的白盒攻击包括FGSM、MIFGSM、PGD、DeepFool和CW。黑盒攻击则假设...

方法

在本节中，我们首先定义问题，然后详细说明我们提出的方法框架。

实验

数据集和模型。我们使用CIFAR-10和CIFAR-100基准测试，由于其规模适中，适合能量模型训练；由于能量模型训练困难，我们排除了ImageNet等大规模数据集。与JEM结构一致的Wide-ResNet（WRN）作为我们的替代模型，用于评估p(x)梯度对迁移攻击的影响。我们针对多种受害模型评估可迁移性：ResNet-18（RN18）、VGG19、DenseNet-121（Dense121）和ResNeXt-29...

结论

在本文中，我们为基于迁移的攻击提供了一种新的视角。现有的依赖p(y|x)梯度信息的迁移攻击往往受到不同模型决策边界的限制，限制了它们的迁移成功率。为了解决这一限制，我们提出了一种基于能量模型和从数据分布出发的迁移攻击框架。我们的方法直接优化输入数据的边际概率p_θ(x)。通过增加...

CRediT作者贡献声明

Xinyu Fang：撰写-原始稿，可视化，项目管理，方法学，形式化分析，数据整理，概念化。Zhenyu Liang：撰写-审稿和编辑。Xiulong Yang：撰写-审稿和编辑。Yunfeng Diao：撰写-审稿和编辑。Xuyang Zhong：撰写-审稿和编辑。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

Xinyu Fang | Zhenyu Liang | Xiulong Yang | Yunfeng Diao | Xuyang Zhong