基于可迁移背景对抗攻击的盲目标检测器

《Neural Networks》：Blind Object Detectors via Transferable Background Adversarial Attack

　　

Jiawei Lian|Shaohui Mei|Xiaofei Wang|Yi Wang|Lefan Wang|Yingjie Lu|Mingyang Ma|Lap-Pui Chau

摘要

已有大量研究证明，深度神经网络容易受到对抗性扰动的影响。现有研究主要聚焦于通过破坏目标物体（物理攻击）或图像（数字攻击）来实施攻击，从攻击效果来看，这种做法直观且易于理解。而我们则着眼于在数字和物理领域开展背景层面的对抗性攻击，且不会对目标物体本身造成任何干扰。具体而言，我们提出了一种可迁移的背景对抗性攻击框架，该框架能够在不同物体和模型之间良好通用，同时不会使目标物体出现模糊。在技术层面，我们将背景对抗性攻击视为一个迭代优化问题，与深度神经网络的学习过程类似。此外，我们还在一组适度但充分的条件下，从理论上证明了该方法的收敛性。为提升攻击的效果和可迁移性，我们提出了一种针对对抗性扰动的新型集成策略，并引入了改进的平滑约束，以实现各种扰动的无缝整合。我们在数字和物理领域开展了全面而严格的实验，证明了所提出的可迁移攻击方法的有效性。这项研究的结果表明，人类视觉和机器视觉在背景变化的重要性认知上存在显著差异，背景变化的作用远比之前认为的更为关键，这要求我们重新评估深度神经网络的鲁棒性和可靠性。相关代码可在GitHub仓库处获取。

引言

深度学习的飞速发展彻底改变了人工智能的多个领域，使得计算机视觉、自然语言处理以及其他复杂任务取得了重大进展。然而，这些成就也暴露出深度神经网络容易受到对抗性扰动的影响（Chen等人，2024年；Gao等人，2025年；Ou等人，2025年；Szegedy等人，2014年；Yao等人，2025年；Zhao等人，2025年）。许多研究（Bai等人，2024年；Huang等人，2024年；Li等人，2024年；Ma等人，2024年；Sun等人，2023年；Wei等人，2024年）都表明，通过精心设计的扰动，现有的最先进模型很容易被操控，这引发了人们对深度神经网络可靠性和安全性的严重担忧。

现有的研究（Bai等人，2020年；Wang等人，2020年；Wei、Wang、Yan，2023a；Wei、Chen、Wu、Jiang，2023b；Zhao等人，2023a）主要集中于那些会破坏目标物体（物理攻击）或图像（数字攻击）的对抗性攻击，如图1的(a)-(h)所示。这类攻击旨在对深度神经网络进行“视觉伪装”，这一策略直观上是可以理解的，因为人类也可能被经过视觉伪装的物体欺骗。然而，当考虑到背景变化对目标物体的影响时，就会出现一种有趣的现象：虽然这类变化对人类的识别能力影响不大，但深度神经网络却对其极为敏感，图1的(i)中的香蕉和甜甜圈就是例证。这一差异凸显了人类视觉和机器视觉在背景特征作用上的根本区别。历史上，对抗性攻击往往忽视了利用背景特征的潜力，从而导致人们对其在对抗场景中的作用理解不全面。此外，目前的研究多集中在对特定物体（物理攻击）或整幅图像（数字攻击）的操控上，可能无法充分满足对抗性攻击泛化需求。这些局限性阻碍了人们对深度神经网络对抗鲁棒性研究的进展。

在本文中，我们将研究焦点转向能够在数字和物理领域顺畅实施的背景对抗性攻击，这类攻击能够在不同的物体、模型和任务之间实现良好的迁移。通过操纵背景环境而不直接干扰目标物体，我们提出了一种全新的对抗性攻击方法，即构建了一个实用框架，充分利用背景特征尚未被充分挖掘的潜力来欺骗深度神经网络，如图2所示。在方法论上，我们将背景对抗性攻击视为一个迭代优化问题，与深度神经网络的学习过程类似，并在某些适度但充分的条件下从理论上证明了其收敛性。为进一步提升攻击的可迁移性和效果，我们针对对抗性扰动的特点设计了一种新的集成策略，有效增强了其在不同场景下的攻击能力。此外，我们还提出了一种复杂的平滑约束，以确保各种扰动能够和谐融合。为了验证所提方法的有效性和鲁棒性，我们开展了大量实验，这些实验涵盖了数字和物理领域、白盒和黑盒环境，以及多种不同的物体、模型和任务。实验结果充分体现了所提出的背景对抗性攻击框架的强大效力，表明它有可能在现实世界的各种人工智能应用中造成干扰。我们的研究结果的意义不仅限于对抗性攻击领域，还促使人们重新审视深度神经网络背后的基本原理。总之，我们的贡献如下：

• •
  我们提出了一种可迁移的背景攻击范式，即通过背景对抗性攻击使检测器失效，该方法能够在多种物体和模型上实现强大且可迁移的攻击效果。
• •
  我们将背景对抗性攻击视为一个与学习深度神经网络类似的迭代优化问题，并从理论上证明了在某些适度但充分的条件下其具有收敛性。
• •
  为提升攻击的效果和可迁移性，我们针对对抗性扰动设计了一种新的集成策略，同时还提出了一种新的平滑损失函数，以实现对抗性扰动的无缝整合。
• •
  我们在数字和物理领域、多种物体、模型和任务上开展了全面而严谨的实验，证明了所提方法具备良好的可迁移攻击能力。
• •
  我们的研究为背景特征的重要性提供了有力证据，其重要性超出了我们的初始预期，这表明有必要重新评估并进一步探索深度神经网络的鲁棒性和可靠性。

本文的其余部分结构如下：第2节简要回顾了与深度神经网络相关的对抗性攻击及收敛性分析；第3节详细介绍了所提出的通用背景对抗性攻击方法；第4节展示了实验结果及分析；第5节讨论了研究结论的意义；第6节对全文进行总结。

章节要点

背景

在本节中，我们将介绍不同攻击领域（2.1和2.2）中的对抗性攻击背景，以及与深度神经网络相关的收敛性分析（2.3）。

方法论

在本节中，我们首先在3.1节阐述了背景对抗性攻击的问题，然后在3.2节详细介绍了所提出的可迁移背景攻击框架。接着在3.3节描述了该攻击方法的集成策略，在3.4节介绍了相应的目标损失函数。最后在3.5节对所设计的背景攻击进行了收敛性分析。

与物理攻击的对比

我们针对物体检测任务，与几种最先进的物理攻击方法进行了对比实验，比如ACTIVE方法（Suryanto等人，2023年）、FCA方法（Wang等人，2022年）以及DTA方法（Suryanto等人，2022年）。为了消除背景差异，我们选择在纯灰色背景上的物体进行对比，以此衡量攻击的效果和可迁移性。为控制物理因素的影响，我们使用3D模拟来设定旋转角度、相机与物体之间的距离等参数。

在不同模型上的表现

如表1和表2所示，该方法在大多数情况下，无论是在白盒还是黑盒环境下，都能在多种模型上实现良好泛化。不过，结构相似的检测器生成的某些扰动可能在彼此之间容易实现迁移，但很难泛化到其他模型，如表2所示。我们所设计的集成攻击方法或许能够解决上述问题。实验结果见表6，可以看出，该攻击的可迁移性有了显著提升。

消融实验

为验证所提出的集成攻击策略的有效性，我们比较了该策略与单一攻击方法的攻击效果。实验结果见表6，可以发现，所提出的集成策略显著提升了攻击的可迁移性。

为验证平滑损失函数在物理攻击中的重要性，我们比较了在不同置信度阈值下，带有平滑处理的扰动与未经过平滑处理的扰动的攻击效果。

讨论

所提出的背景对抗性攻击框架为对抗性攻击提供了一种新的思路，它不再针对主要目标物体，而是着眼于背景。该方法在不同物体、模型和任务上都具有出色的泛化能力和鲁棒性，这表明背景特征在深度神经网络的决策过程中起着至关重要的作用。理论分析也证明了在特定条件下，背景攻击是具有收敛性的。

结论

在本文中，我们创新性地构建了一个用于实施背景对抗性攻击的全面框架，该框架在众多物体、模型和任务上都具有极高的通用性和强大效力。从数学角度而言，我们将背景对抗性攻击视为一个迭代优化问题，与深度神经网络的学习过程类似。我们在一组适度但充分的条件下证明了该方法的理论收敛性，从而确保了其在数学上的合理性。

CRediT作者贡献说明

Jiawei Lian：撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论、研究调查、形式分析、数据整理、概念构建。Shaohui Mei：撰写——审稿与编辑、监督、资金筹集。Xiaofei Wang：形式分析、数据整理。Yi Wang：撰写——审稿与编辑。Lefan Wang：形式分析、数据整理。Yingjie Lu：形式分析、数据整理。Mingyang Ma：撰写——审稿与编辑、资金筹集。Lap-Pui Chau：

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了中国国家自然科学基金（项目编号62171381和62201445）的支持。