通过混合结构感知的特征扰动提高跨架构的黑盒对抗性迁移能力

《Neural Networks》：Improving Cross-Architecture Black-Box Adversarial Transferability via Hybrid Structure-Aware Feature Perturbations

　　摘要：基于迁移的黑盒对抗攻击为在受限访问目标模型的情况下评估深度神经网络的鲁棒性提供了一种实用手段。然而，现有方法在跨架构场景中存在严重的性能下降问题，尤其是在将针对视觉变换器（ViTs）构建的对抗样本转移到卷积神经网络（CNNs）时。我们认为，这一限制不能完全归因于优化策略本身，也可能与扰动结构与模型特定的归纳偏见之间的不匹配有关。为了解决这个问题，我们提出了一个结构感知的对抗性扰动细化框架，该框架在正向传播过程中明确地强制保持空间一致性。所提出的方法包括三个组成部分。首先，使用空间自相关分析来指导扰动分配到结构上具有区分性的区域；其次，引入空间相连的扰动模式以帮助在卷积平滑和池化操作下保留扰动效果；第三，根据网络深度自适应调整扰动强度，以平衡结构破坏和语义保留。在ImageNet基准测试上的广泛实验表明，所提出的方法在各种ViT和CNN架构中实现了具有竞争力的性能，尤其是在具有挑战性的ViT到CNN迁移场景中取得了显著的提升。这些结果为结构感知扰动细化在提高异构视觉架构之间黑盒对抗性迁移能力方面的有效性提供了实证支持。

引言：深度神经网络（DNNs）在广泛的视觉识别任务中取得了优异的性能，尤其是视觉变换器（ViTs）由于其全局自注意机制而取得了特别强的结果。尽管如此，越来越多的研究表明，ViTs容易受到对抗性样本的影响，即对输入图像进行微小的、精心设计的扰动可以显著改变模型预测。在黑盒环境中，攻击者无法访问目标模型的内部架构和参数，基于迁移的对抗攻击成为最实用的攻击范式。这些攻击依赖于从替代模型生成的对抗性样本来破坏未知的目标模型。值得注意的是，此类攻击的有效性在很大程度上取决于对抗性扰动能否超越替代架构进行泛化。因此，在实际的黑盒威胁模型中，迁移能力是一个核心问题。虽然现有的基于迁移的方法在相同架构的模型之间显示出有效性，但在跨架构场景中遇到了重大挑战。特别是在使用ViT作为替代模型攻击卷积神经网络（CNN）时，各种最先进攻击的成功率往往会显著下降。这一现象在不同攻击策略和模型对中普遍存在。上述观察表明，这一限制可能不仅仅是由特定优化算法引起的，而可能反映了跨架构迁移能力的更深层次障碍。现有研究主要关注损失设计、优化策略和梯度稳定性，缺乏对根本架构原因的系统分析。特别是，这些方法主要改进了对抗性扰动的优化方式，但没有明确规定扰动的分配位置、空间组织方式或其强度在网络深度上的变化。这种限制在ViT到CNN的迁移中尤为重要，因为ViT替代模型上生成的空间碎片化扰动可能会被CNN的局部聚合机制削弱。在这项工作中，我们从架构归纳偏见的角度重新审视了迁移瓶颈。ViTs主要通过全局注意力对图像进行建模，并且相对耐受空间上的无结构扰动。相比之下，CNN依赖于局部卷积和池化，对输入的空间连续性和结构一致性更为敏感。基于这种差异，我们发现ViT上生成的扰动通常缺乏稳定的空间组织，当转移到CNN时可能会被减弱。因此，跨架构迁移能力的下降可能不仅仅是由于替代模型的过拟合；也可能与扰动结构与目标模型的归纳偏见之间的不匹配有关。因此，本研究专注于一种特定的基于迁移的黑盒图像分类场景。在这种场景中，在固定的?∞扰动预算下，在ViT替代模型上生成无针对性的对抗样本，然后在没有访问其梯度、参数或预测输出的情况下在未见的目标模型上进行评估。我们的目标不是为所有黑盒攻击场景提供通用解决方案，而是探讨明确建模特征扰动的空间组织是否可以提高从ViTs到CNN和其他异构视觉架构的迁移能力。

为了解决上述结构不匹配问题，我们提出了一个结构感知的混合扰动（SAHP）框架，该框架由三个模块组成。第一个模块是结构感知引导掩码（SAGM），用于确定应强调扰动的位置；它使用Moran’s I来测量空间自相关，并将扰动预算从冗余背景区域重新分配到结构信息丰富的区域。第二个模块是混合结构扰动（HSP），用于确定扰动的空间形式；它受到Cox过程空间强度建模的启发，生成空间连续且聚集的扰动场，这些扰动场与随机噪声结合，能够更好地抵抗CNN池化的平滑效应，同时在ViT自注意下仍然有效。第三个模块是逐层自适应衰减（LAD），用于确定扰动强度在深度上的分布；它根据特征饱和度自适应调节注入强度，以平衡浅层中的结构破坏和深层中的语义保留。这三个模块协同工作来解决上述限制：SAGM指导扰动分配，HSP确保空间连通性，LAD控制深度上的扰动强度。本文的主要贡献如下：首先，我们从扰动结构和架构归纳偏见的角度研究了ViT到CNN的迁移瓶颈，补充了现有的以优化为中心的迁移攻击研究；其次，我们提出了SAHP，这是一个结构感知的向前细化框架，它在生成对抗样本时联合调节扰动位置、空间连续性和逐层强度；第三，我们在多种ViT和CNN架构上进行了控制实验，包括架构内迁移、跨架构迁移、消融研究、防御评估、超参数分析以及与现有迁移策略的兼容性测试。在评估的黑盒迁移设置下的实验表明，所提出的方法提供了具有竞争力的迁移性能，在具有挑战性的ViT到CNN设置中获得了更为明显的提升。进一步分析表明，结构感知机制可能有助于解释其在跨架构迁移中的行为。

相关工作：与本研究相关的工作可以根据迁移能力的改进方式对其进行分类。这些研究主要包括基于优化的方法、基于输入转换的方法、面向ViT的攻击设计以及基于前向传播的特征细化。所提出的方法与后两类工作最为相关。具体来说，它是受ViT到CNN迁移差距的启发，并实现为一个特征空间细化框架，该框架明确建模了空间特征度量。为了分析对抗性扰动的结构特性，我们需要一个能够捕捉局部幅度变化以及相邻像素之间空间依赖性的度量。Moran’s I自然符合这一要求，因为它明确测量了扰动值在附近位置的统计依赖性。为了清晰起见，我们在首次介绍相关数学符号时进行了说明。

方法：在本节中，我们描述了所提出的SAHP框架。SAHP是在ViTs的前向传播过程中实现的特征空间细化方法，旨在提高跨异构视觉架构的黑盒迁移能力。图2提供了所提出框架的概述：现有的前向传播细化方法通常注入位置无关的随机扰动。然而，ViT特征通常包含大量的空间冗余。数据集和模型：遵循在基于迁移的对抗攻击研究中广泛采用的标准评估协议（Wang和He（2021）；Zhang等人（2023）），我们从ILSVRC 2012 Russakovsky等人（2015）的验证集中随机选择了1000张被所有替代模型正确分类的图像。所有图像在输入模型之前都被 resize 到224×224×3的分辨率。为了全面评估对抗样本的跨架构迁移能力，我们构建了一个多样化的测试集。

结论：本研究调查了从ViT替代模型生成的 blackbox 对抗样本的跨架构迁移能力。受到ViT诱导的扰动与CNN导向的局部归纳偏见之间的结构不匹配的启发，我们提出了SAHP，这是一个结构感知的特征扰动细化框架，通过SAGM、HSP和LAD联合调节扰动分配、空间连通性和逐层注入强度。实验的范围和有效性：图6，表A1.CRedI。作者贡献声明：Lu Qirui：撰写-原始草稿，可视化，方法论，概念化；Zong Liansong：可视化，验证；Liu Furan：形式分析，数据管理；Tang Mingwei：撰写-审阅与编辑，资金获取；Hu Jie：撰写-审阅与编辑。利益冲突声明：作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。致谢：本工作得到了四川省科学技术计划（编号2025NSFSC2017）、国家自然科学基金（编号62576295和61902324）、四川省科学技术厅科学研究基金项目（编号2019YFG0508、2019GFW131和24NSFJQ0015）、四川省重点研发项目（编号2023YFG0354）以及成都市科学技术局基金项目（编号2017-RK00-00026-ZF、2022-YF04-00065-JH）的支持。