基于空频联合特征的对抗图像检测方法AID-SFI研究

本文提出了一种新颖的基于空间与频率信息（Spatial-Frequency Information, SFI）的对抗图像检测方法AID-SFI。该方法设计了三分支网络结构，分别提取图像的频率（DCT域）、全局上下文（空间域）和局部结构特征，并通过注意力特征融合（Attention based Feature Integration, ABFI）模块增强特征判别力。实验表明，AID-SFI在数字对抗样本检测（5种攻击算法）中平均准确率高达97.68%（Caltech-256）和98.80%（ImageNet），优于现有SOTA方法（如HFD）；在物理对抗目标场景下，其检测准确率超过99%，且对不同视角和分类网络均表现出优异的鲁棒性与稳定性，为深度学习模型的安全部署提供了可靠保障。

　　

亮点

• •
  • 设计了一种注意力特征融合（Attention based Feature Integration, ABFI）模块，通过有效捕捉局部特征、高频细节以及识别图像中的重复纹理或模式，增强了特征的可解释性和判别鲁棒性。
• •
  • 提出了一种带有ABFI模块的三分支对抗样本检测方法（AID-SFI），通过提取频率、全局上下文和局部结构域的特征，获得更全面的图像表征。ABFI模块用于生成频率或全局上下文域内的信息，并融合上述三个跨域的信息。

相关研究

多样的对抗图像检测方法可分为：基于图像去噪的、基于专用二分类网络的和基于统计的类型。

提出的方法

提出的AID-SFI由一个并行的三分支特征提取模块和一个带有级联特征融合的判别模块组成，如图1所示。特征提取模块中的上分支提取DCT域中的频率特征（F_f），中分支提取空间域中的全局上下文特征（F_g），下分支提取局部结构特征（F_l）。然后，这些提取的特征被拼接起来并输入...

数据集和训练细节

所有方法均使用PyTorch 1.10.0在配备Nvidia RTX 3090 GPU的工作站上实现。训练阶段采用交叉熵损失函数。使用AdamW优化算法更新模型参数，学习率为0.0001。

结论

本文提出了一种三分支对抗图像检测方法，可同时分析输入图像的频率、全局上下文和局部结构特征。设计的ABFI模块用于从三个分支的域内提取特征可解释性和判别鲁棒性信息，并融合跨域特征。实验证明，所提方法在...上表现出卓越的平均检测精度和泛化能力。