基于扩散模型的现实世界对抗性防御:针对补丁攻击的保护机制
《IEEE Transactions on Pattern Analysis and Machine Intelligence》:Real-World Adversarial Defense Against Patch Attacks Based on Diffusion Model
【字体:
大
中
小
】
时间:2025年11月19日
来源:IEEE Transactions on Pattern Analysis and Machine Intelligence 18.6
编辑推荐:
对抗性补丁防御框架DIFFender基于文本引导扩散模型,通过Adversarial Anomaly Perception(AAP)现象检测定位攻击补丁并实现修复,支持可见光与红外域跨模态防御,采用高效提示微调无需重训练。
```html
摘要:
对抗性补丁对深度学习模型的鲁棒性构成了重大挑战,因此开发有效的防御机制对于实际应用至关重要。本文介绍了DIFFender,这是一种基于扩散技术的新型防御框架,它利用文本引导的扩散模型来对抗对抗性补丁攻击。我们方法的核心是发现了“对抗性异常感知”(Adversarial Anomaly Perception, AAP)现象,该现象使扩散模型能够通过分析分布异常来准确检测和定位对抗性补丁。DIFFender将补丁定位和恢复任务无缝集成到一个统一的扩散模型框架中,通过这两者的紧密协作提高了防御效果。此外,DIFFender采用了一种高效的少量样本提示调优算法,使得预训练的扩散模型能够无需大量重新训练即可适应防御任务。我们的全面评估涵盖了图像分类和面部识别任务以及实际应用场景,证明了DIFFender在对抗攻击方面的强大性能。该框架在各种环境、分类器和攻击方法上的通用性和适应性标志着对抗性补丁防御策略的重大进步。除了常见的可见光领域外,我们还发现DIFFender的另一个优势:它能够轻松扩展到红外领域。因此,我们展示了DIFFender的灵活性,它可以使用一个通用的防御框架同时抵御红外和可见光领域的对抗性补丁攻击。
引言
深度神经网络容易受到对抗性样本的影响[15],[48],即人为在自然图像中引入微小且通常难以察觉的扰动,导致模型以高置信度做出错误预测。大多数对抗性攻击和防御措施都集中在