在过去十年中,深度学习的快速发展重塑了计算机视觉、自然语言处理及相关领域。卷积神经网络(CNN)和视觉Transformer(ViT)在图像分类、对象检测和语言生成方面取得了显著的性能提升。然而,这些模型仍然容易受到对抗样本的影响,即精心制作的输入会导致错误的预测。这种脆弱性揭示了深度神经网络的基本鲁棒性限制(Szegedy等人,2014年),并对它们在安全关键应用(如图像识别和自动驾驶)中的可靠性提出了严重质疑。
尽管在对抗性攻击研究方面取得了显著进展,但跨架构的可转移性仍然是一个主要挑战。在一个架构上生成的对抗样本在转移到不同架构时往往效果有限。例如,在基于CNN的模型上制作的样本在应用于基于Transformer的模型时,攻击成功率通常会显著下降。这种性能下降主要源于架构差异:CNN通过卷积核层次化聚合局部特征来构建全局表示,而Transformer从一开始就通过全局注意力建模长距离依赖性,但缺乏CNN的显式局部归纳偏差。
为了提高对抗样本的跨架构可转移性,提出了各种策略,包括基于梯度的方法、输入转换技术和基于集成的攻击。基于梯度的方法,如FGSM(Goodfellow等人,2015年)及其迭代变体(I-FGSM(Kurakin等人,2017年)、MI-FGSM(Dong等人,2018年)、NI-FGSM(Lin等人,2020年)、PI-FGSM(Gao等人,2020年)、AI-FGTM(Zou等人,2022年)通过利用模型梯度生成扰动。虽然这些方法在相似架构上通常有效,但在CNN和ViT之间转移对抗样本时表现较差。输入转换方法(如TIM(Dong等人,2019年)、SIM(Lin等人,2020年)、Admix(Wang等人,2021年)、PAM(Zhang等人,2023年)通过数据增强来提高扰动多样性。然而,这些转换产生的对抗样本往往扭曲了原始输入的语义信息或关键特征,导致对抗样本缺乏隐蔽性。
相比之下,基于集成的攻击通过整合多个模型的梯度来提高对抗样本的可转移性,从而捕捉各种网络架构的脆弱性,同时保留输入样本的语义信息。然而,现有的基于集成的方法(如Ens(Liu等人,2017年)、SVRE(Xiong等人,2022年)、AdaEA(Chen等人,2023年)、CWA(Chen等人,2024年)和SMER(Tang等人,2024年)仍然存在许多限制。例如,Ens采用简单的均匀加权方案来计算集成梯度,忽略了模型之间的差异,导致跨架构转移攻击的性能较差。SVRE忽略了不同替代模型之间的固有异质性,导致跨架构转移时攻击成功率显著下降。尽管AdaEA考虑了模型差异并尝试稳定优化方向,但它仍然缺乏细粒度优化;因此,虽然它实现了良好的跨架构可转移性,但其对抗攻击成功率仍然不足。CWA依赖于静态权重融合策略,未能实现针对特定模型特征的动态自适应融合,导致跨架构可转移性表现不佳。最后,尽管SMER利用强化学习进行权重分配,但它忽略了优化轨迹的稳定性和细粒度特性,这为其攻击成功率的提升留下了改进空间。受这些因素的限制,现有方法在攻击成功率和跨架构可转移性方面表现有限,同时也缺乏对抗多种防御机制的足够泛化能力。
为了解决这些挑战,本文提出了FUGEA,这是一种新颖的对抗性攻击框架,旨在克服现有集成方法的局限性并提高对抗样本的跨架构可转移性。针对当前方法在跨架构可转移性和攻击成功率方面的不足,FUGEA引入了一种创新的两阶段优化范式,包括快速收敛引擎(RCE)和精确细化梯度(PRG)阶段,使不同阶段能够专注于优化不同的目标。具体来说,在RCE阶段,我们提出了不确定性权重(UW)和梯度一致性映射(GAM)。通过将基于损失的权重与梯度交叉影响权重相结合,UW解决了固定权重融合方法经常忽略的模型异质性问题。同时,GAM通过过滤方向不一致性来稳定集成梯度的优化;当与较大的步长结合使用时,它在快速接近决策边界和保持方向稳定性之间取得了平衡。为了进一步解决现有研究中缺乏细粒度优化的问题,我们在PRG阶段引入了采样邻居预测梯度(SNPG)。该方法通过围绕当前对抗样本采样扰动来预测下一次更新,然后将采样点和预测点的梯度与损失梯度融合,以实现细粒度的集成优化。这两个阶段协同工作,生成具有高攻击成功率和强大可转移性的对抗样本,使FUGEA在CNN和ViT上都能表现出色,如图1所示。
本文的主要贡献总结如下:
• 提出FUGEA框架:为了解决现有方法在权重分配、稳定集成梯度优化方向和细粒度优化方面的不足,我们创新性地提出了由RCE和PRG组成的FUGEA两阶段优化框架。该设计有效地结合了RCE阶段在动态权重分配和稳定逼近决策边界方面的能力,以及PRG阶段的细粒度优化能力,同时提高了对抗攻击的成功率和跨架构可转移性。
• 组件协同机制:FUGEA结合了UW、GAM和SNPG策略。具体来说,UW旨在解决现有方法在跨不同替代模型分配权重方面的不足,巧妙地融合损失权重和交叉权重,根据每个模型的贡献动态分配权重。GAM用于解决现有方法在集成梯度优化方向上遇到的不稳定性问题,通过计算过滤矩阵来稳定优化方向。SNPG旨在克服现有方法在细粒度优化方面的限制,通过采样和预测相邻梯度来实现集成梯度的细粒度优化。这些组件协同工作,显著提高了攻击成功率和跨架构可转移性。
• 跨架构可转移性验证:在CNN和ViT上的广泛实验表明,FUGEA始终实现了出色的攻击成功率和强大的跨架构可转移性。此外,它对先进的防御方法表现出强大的攻击性能,验证了其在多种设置中的有效性,并证明了其在现实世界攻击场景中的实际可行性。