基于遮挡引导的对抗性攻击：针对优化步骤与感知质量权衡的关键区域优先级处理

《Image and Vision Computing》：Occlusion-guided adversarial attacks: Critical-region prioritization for optimization-step and perceptual-quality trade-offs

　　摘要
对抗性攻击对基于深度学习的图像识别系统构成了重大威胁，然而迭代攻击通常需要许多优化步骤，并可能引入可感知的结构扭曲。我们提出了FOCUS，这是一种基于快速遮挡的关键区域效用驱动搜索框架，它利用遮挡敏感性来构建用于迭代梯度更新的空间权重图。FOCUS将可用的扰动预算集中在强烈影响代理模型预测的区域，同时保持与对比攻击相同的?∞约束。在常见的固定20次迭代的ImageNet协议下，FOCUS和PGD都达到了99.3%的非目标攻击成功率（ASR），同时FOCUS将SSIM从0.834提高到了0.881。LPIPS、无参考BRISQUE和NIQE指标、局部扰动视图以及小型盲人评估提供了互补的感知证据。在收敛性分析中，FOCUS在第一步就达到了常见的95% ASR阈值，而PGD则需要第七步。完整的运行时分析表明，在0.98秒的固定预算总额中，有0.82秒用于构建重要性图，这体现了优化步骤与感知质量之间的权衡，而不是墙钟加速。这种加权机制通过保持它们的优化目标，评估了八种迭代的基攻击。额外的实验分析了代理选择、阈值设计、空间粒度、迁移、检测器绕过和被防御模型。总体而言，FOCUS在相当的固定预算有效性和更少的优化步骤下提高了感知质量，但其局限性来自映射构建成本和跨架构依赖性。

引言
深度神经网络（DNN）在诸如自动驾驶[1]、医学成像[2]、图像识别[3]、[4]、工业自动化[5]和安全监控[6]等关键任务中已成为不可或缺的工具。特别是细粒度视觉识别任务——从面部表情分析[3]、[7]到细粒度鸟类分类[4]、[8]——越来越依赖于微妙的纹理和关系线索，这使它们特别容易受到不易察觉的输入操纵的影响。尽管DNN具有出色的预测性能，但它们本质上容易受到对抗性示例的影响——这些微妙且精心制作的扰动会诱导出严重的错误分类，同时对人类观察者来说是不可察觉的[9]、[10]。这些漏洞不仅限于受控制的实验室环境，也存在于现实世界的部署中。在自动驾驶中，对抗性补丁和激光雷达欺骗可以可靠地误导车辆感知系统[11]，而交通标志上不易察觉的噪声可能导致危及生命的错误分类[12]。在生物特征系统中，受限的扰动可以成功规避商业面部识别系统超过90%[13]。在医学成像中，对抗性操纵可以使最先进的模型高置信度地错误分类恶性肿瘤[14]，而在工业控制系统中，即使是传感器测量范围的0.1%的不可察觉信号扰动也可能触发不安全的执行器命令[15]。这些跨领域事件突显了开发评估和暴露DNN漏洞的原理性方法的迫切性。

这种威胁还伴随着可迁移性现象：在一个模型上制作的对抗性示例可以以60%–80%的成功率欺骗未见过的模型[16]，并且在模型更新后往往仍然有效[17]。这一特性将风险从白盒环境提升到了实际的黑盒环境，并激发了关于更强大的攻击和相应防御的大量研究。尽管取得了显著进展，迭代对抗性攻击仍然存在两个相互关联的挑战：

限制1：迭代效率和质量之间的权衡。基于梯度的迭代攻击，如投影梯度下降（PGD）[18]和基本迭代方法（BIM）[19]，可能需要多个优化步骤才能达到选定的攻击成功标准。增加迭代预算也可能会累积可见的扭曲。因此，我们研究了优化步骤的效率以及感知质量，并分别报告了端到端的墙钟成本，包括预处理和重要性图的构建。

限制2：视觉隐蔽性不足。传统的?p-范数约束攻击对整个输入空间进行统一处理，不加区分地在语义上关键的物体区域和无关的背景区域 aplicates 扰动。这种没有区别的策略会产生高频噪声、颜色扭曲和结构不连续性，在视觉上非常显眼，尤其是在感知上显著的区域。这些局限性促使我们提出了一个区域感知假设：如果将等同范数的更新重新加权到对模型输出有更大影响的区域，那么达到给定攻击成功水平所需的优化步骤可能会减少，同时分配给低效用区域的扰动也会减少。FOCUS使用遮挡派生的代理信号测试了这个假设。评估包括替代的代理架构和区域优先级机制，以表征这种信号的设计依赖性和效果-成本权衡。为了测试这个假设，我们提出了FOCUS（基于快速遮挡的关键区域效用驱动搜索），这是一种基于遮挡敏感性构建空间非均匀重要性权重图的对抗性攻击框架。FOCUS在遮挡最能改变代理损失的区域放大梯度更新，在其他地方保持较小的更新。在常见的固定20步协议下，FOCUS和PGD都达到了99.3%的ASR，而它们的SSIM值分别为0.881和0.834。在收敛性分析中，FOCUS在第一步就达到了常见的95% ASR阈值，而PGD则在第七步达到。表5报告了映射、优化和总固定预算运行时间，显示较短的优化路径伴随着不可忽视的映射构建成本。第4.4节进一步评估了在保持它们优化目标的同时，使用八种代表性的迭代基攻击的同一固定映射。

本工作的主要贡献如下：
1. 一种新的基于遮挡敏感性的攻击框架。我们提出了FOCUS，它引入了从遮挡敏感性得分派生的重要性权重图W，以指导空间非均匀的扰动分配。通过直接测量每个图像区域被遮挡时分类损失的变化，FOCUS识别出对代理模型具有最高预测效用的区域，并相应地集中扰动预算。这种特定于模型、基于效用的设计是FOCUS区别于现有基于梯度和基于显著性方法的核心技术新颖性。
2. 一个可重用的加权模块，用于评估迭代攻击。一旦计算出来，W可以通过更新α?W⊙h(gt)插入，其中h(?)是特定于攻击的梯度变换。收敛性轨迹评估了DIM、VIM、Jitter[20]、MIM、NIM、PGD和翻译不变方法（TIM）[21]；单独的感知分析评估了PGD、BIM、DIM、Jitter和VIM。这些互补的实验涵盖了八种不同的基攻击。整合后的每个基目标保持不变，每次迭代仅增加元素级的乘法；单独报告了映射构建的成本。

在常见的固定20次迭代协议下，FOCUS和PGD都达到了99.3%的ASR，而FOCUS的SSIM值为0.881，PGD为0.834（表3，表5）。在常见的95% ASR阈值下，FOCUS在第一步就成功，而PGD则在第七步（表8）。表17中的受控固定5次迭代消融进一步区分了加权效应和迭代预算。

优越的感知质量和补充证据。FOCUS在固定预算下表现优于2018–2024年的十个基线，在全参考结构指标、LPIPS以及无参考BRISQUE和NIQE指标上都有所提高。在非目标设置中，它在每种指标上都超过了最强基线：FSIM提高了+4.2%，SSIM提高了+1.8%，PSNR提高了+1.4分，LPIPS降低了16.8%，BRISQUE和NIQE分别降低了10.8%和9.3%。局部视图和涉及20名参与者的小型盲人评估提供了补充的空间和行为证据。

全面的多轴实证评估。实验涵盖了白盒有效性、对CNN和Transformer目标的迁移、感知指标、插件行为、被防御模型、超参数和运行时间。评估量化了不可忽视的映射开销和架构依赖的迁移，而AutoAttack在自适应被防御模型设置中提供了标准化的鲁棒性参考。

本文的其余部分组织如下。第2节回顾了关于对抗性攻击、隐蔽扰动方法和基于遮挡的可解释性的相关工作。第3节详细介绍了FOCUS框架，包括遮挡敏感性映射、重要性权重构建以及使用八种基攻击在互补分析中评估的空间加权扰动更新。第4节介绍了感知质量的实验评估、白盒和黑盒攻击有效性、插件收敛性和感知整合、对抗训练的防御模型的鲁棒性以及计算效率。第5节总结了研究结果、局限性和未来研究的方向。

**对抗性攻击方法**
对抗性攻击在深度神经网络的背景下已被广泛研究，其中微小且精心制作的扰动可以以高置信度诱导错误分类[9]、[10]。快速梯度签名方法（FGSM）[10]及其迭代变体，如BIM[19]和PGD[18]，是基础的?p-范数约束攻击，它们通过基于梯度的更新来最大化损失函数。为了提高跨黑盒模型的可迁移性，还研究了基于动量的[16]、多样化输入[22]等方法。

**问题定义**
对抗性示例是有意用微小且通常不易察觉的修改进行 perturbation 的输入，旨在导致机器学习模型（特别是深度神经网络）做出错误的预测。尽管这些扰动通常微妙到无法被人类察觉，但它们可以导致模型出现显著的错误分类。