通过增强变形攻击提升跨架构对抗迁移性

《Neural Networks》：Boosting Cross-Architecture Adversarial Transferability by Enhanced Deformation Attack

　　

摘要

在卷积神经网络（CNN）代理模型上生成的对抗样本往往无法有效迁移到视觉Transformer（ViT）目标模型上，从而在基于迁移的黑盒攻击中形成了跨架构瓶颈。现有的输入变换攻击虽然能够多样化梯度估计，但评估的基线模型在CNN到ViT之间仍存在显著的迁移差距，这促使我们设计了一种同时改变控制点几何结构和边界支撑的形变策略。为了解决这一局限性，本文提出了增强形变攻击（EDA），该方法在当前对抗图像的随机变换视图上估计攻击梯度。每个视图要么采样带有可移动边界点的完整控制点网格，要么采样内部中心网格，然后将被位移的控制点重新映射到镜像填充画布上，再进行薄板样条（TPS）重采样。高斯噪声或亮度调整提供互补的外观变化。所有变换仅用于梯度估计，因此最终的对抗样本仍处于原始坐标系中，并满足给定的?_∞扰动预算。在ImageNet-Compatible数据集上，EDA在来自四种CNN源的所有ViT目标模型上均达到了最高的平均攻击成功率（ASR），分别比ResNet-18、Inception-v3、Inception-v4和Inception-ResNet-v2的最强源特定基线高出5.8、11.2、8.7和8.0个百分点。增益在完整ImageNet验证集和ImageNet-V2上的所有评估源和目标组中同样保持。在四种扰动预算、定向设置、五个随机种子、防御模型和现代鲁棒模型上的额外评估进一步支持了观测到的迁移增益的稳定性和范围。

引言

深度神经网络（DNN）已成为现代视觉智能系统的核心组件，包括图像分类（He, Zhang, Ren, Sun, 2016, Huang, Liu, Van Der Maaten, Weinberger, 2017）、对象检测（Lin, Zhu, Guo, Ou, Yao, Song, 2026, Redmon, Divvala, Girshick, Farhadi, 2016）、定位和感知模块（Sun et al., 2025），以及自动驾驶和联网控制系统等安全关键应用（Ding, Liu, Wang, Liu, Wei, Nguyen, Wang, 2025, Geiger, Lenz, Urtasun, 2012, Yan, Pan, Hu, Cheng, Qi, 2025, Zhong, Zhang, Zheng, Liu, 2025）。尽管它们具有较强的实证性能，DNN仍然存在对对抗样本的脆弱性，即微小的输入扰动可能导致错误的预测（Goodfellow et al., 2015）。这一漏洞在安全敏感场景中尤为令人担忧，因为恶意扰动可能会通过自动化决策流水线传播，从而降低系统可靠性（Chen et al., 2026）。

在黑盒攻击中，攻击者无法访问目标模型的内部架构或参数。因此，一种实用的策略是在可访问的代理模型上制造对抗样本，并依赖对抗迁移性来攻击未知目标（Dong et al., 2018）。本文所关注的核心难点不仅仅是对抗样本是否能够迁移，而是为什么当代理模型和目标模型依赖于不同的视觉归纳偏置时，其迁移性会下降。如图1所示，在RN-18源设置下，CNN生成的对抗样本在CNN家族内迁移能力强，但迁移到基于Transformer的目标模型时效果较差。具体而言，CNN平均值排除了与源相同的靶标，柱状图上标注了精确的组平均ASR。在基线中，CNN与ViT之间的差距从SID的17.7%到L2T的23.2%不等，而EDA将差距缩小至12.4个百分点，同时每张图片仅需0.260秒。基线中持续存在的差距表明，许多变换仍产生过于适应代理模型特征提取模式的扰动。

这种跨架构性能下降的一个可能原因是CNN与视觉Transformer（ViT）之间视觉处理机制的差异。CNN通过局部卷积感受野聚合信息，因此倾向于强调局部纹理和空间上稳定的模式。ViT将图像分块并通过对齐处理来自注意力建模长程关系，使其决策更依赖于全局对象布局和区域间交互（Dosovitskiy, Beyer, Kolesnikov, Weissenborn, Zhai, Unterthiner, Dehghani, Minderer, Heigold, Gelly, Uszkoreit, Houlsby, 2021, Geirhos, Rubisch, Michaelis, Bethge, Wichmann, Brendel, 2019）。图2提供了一个定性说明，即使在相同干净样本上，VGG-19和ViT-B也会关注不同的图像区域。这一可视化与架构不匹配的解释一致，但并未建立因果关系。当使用CNN代理模型生成对抗样本时，优化后的扰动可能过拟合于局部纹理敏感的梯度。此类扰动对CNN目标模型仍保持高度有效，但可能无法充分干扰ViT的全局推理模式。

尽管CNN和ViT均可作为代理模型，但先前的研究发现，在ViT上制作的对抗样本往往迁移效果更好，而CNN制作的对抗样本仍然更难迁移到ViT目标模型（Naseer, Ranasinghe, Khan, Khan, Porikli, 2022, Wei, Chen, Goldblum, Wu, Goldstein, Jiang, 2022）。这种不对称性促使本研究聚焦于CNN源设置。除计算效率外，该设置在实践中也具有重要相关性：攻击者可能仅能访问部署在边缘设备、嵌入式相机、移动平台或本地感知模块上的轻量级或旧式CNN代理模型，而远程目标服务可能使用更大且未公开的架构。因此，提升CNN到ViT的迁移性既是技术瓶颈，也是一个现实的威胁模型。

EDA通过改变梯度路径上使用的空间支撑和控制点几何来应对这一失效模式。对于每个变换视图，该方法要么采样带有可移动边界点的完整网格，要么采样内部中心网格。然后移动所选的点，并将其映射到镜像填充画布上，该画布的边距由形变尺度决定，随后进行薄板样条（TPS）重采样。高斯噪声或亮度调整提供互补的光照多样性。由于这些变换仅用于梯度估计，因此优化后的对抗样本仍处于原始坐标系中，并满足给定的?_∞扰动约束。

本文的主要贡献总结如下：

• •
  提出了一种随机TPS形变策略，以等概率选择两种控制点布局之一：带有可移动边界点的完整网格或内部中心网格。
• •
  开发了一种画布扩展机制，根据形变尺度确定镜像填充的宽度，并在TPS重采样前重新映射源控制点和位移控制点。
• •
  通过将空间形变与外观增强相结合，通过对独立采样的变换视图平均梯度来实现，同时将最终对抗样本保持在原始坐标系中并满足规定的扰动预算。

本文的其余部分组织如下。第2节回顾了非定向黑盒攻击的先前工作，第3节详细介绍了EDA，第4节呈现并分析了实验结果。最后一节总结全文。

章节摘要

相关工作

对抗样本最早被系统地识别，后来从高维模型局部线性行为的视角进行了解释（Goodfellow, Shlens, Szegedy, 2015, Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, Fergus, 2014）。根据攻击者的知识程度，攻击通常分为白盒和黑盒设置。白盒攻击假设可以访问目标架构和梯度，而黑盒攻击则在有限或无

问题定义

设F表示预训练的代理分类器，x?∈?[0, 1]^C?×?H?×?W为带有真实标签y的干净图像。在非定向设置中，攻击者寻求一个图像x^adv，使其在x周围半径为?的?_∞球内增加分类损失：$$\arg \underset{x^{\text{adv}}}{\max }\mathcal{L}(F\left(x^{\text{adv}}\right),y),\text{s.t.}{\parallel x^{\text{adv}}?x\parallel }_{\infty }\le ?,$$其中$\mathcal{L}$表示攻击损失。定向变体将y替换为指定的目标标签并最小化相应的损失。

现代迁移攻击通常基于

实验设置

数据集：使用了三个ImageNet风格数据集。主要基准是NIPS 2017对抗竞赛的ImageNet-Compatible数据集（IN-C-1K），包含1000张彩色图像，每张图片都有一个真实类别标签和一个指定的目标类别标签（Wang et al., 2024）。为了测试结果能否推广到该1K基准之外，评估还在完整的50,000张图片ImageNet验证集（IN-Val-50K）和10,000张图片的ImageNet-V2匹配频率集上进行

结论

本研究调查了在梯度估计期间使用的空间支撑如何影响CNN代理的跨架构对抗迁移。EDA结合了两种形式的受控多样性：采样带有可移动边界的完整网格或内部中心网格改变了控制点几何结构，而依赖尺度的镜像扩展支持在图像边界附近进行TPS重采样而不修改最终对抗图像。外观增强提供了额外的光照

CRediT作者贡献声明

Jiachen Wang：撰写–原稿，可视化，方法论，形式分析，概念化。Hegui Zhu：撰写–审阅与编辑，监督，资源，项目管理，方法论，资金获取，概念化。Yifan Zhang：可视化，验证，调查。Chengqing Li：软件，资源。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

Jiachen Wang|Hegui Zhu|Yifan Zhang|Chengqing Li