对抗鲁棒性中的低频偏差缓解：特征重校准与频率注意力正则化方法

本文提出创新性HFDR（高频特征解耦与重校准）模块，通过高通过滤器分离频域特征并引入频率注意力正则化，有效解决对抗训练（AT）导致的低频偏好问题。实验证明该方法在CIFAR和ImageNet数据集上显著提升模型鲁棒性（WRN34-10提升2.89%，ViT-B对抗AutoAttack提升4.89%），为频域对抗防御研究提供新范式。

　　

Highlight

本研究揭示对抗训练（AT）存在的关键缺陷：AT训练模型会过度依赖低频特征而忽视高频语义信息。如图1-2所示：

1）标准训练（NT）模型在干净图像中能均衡利用全频段特征，但高频成分易受对抗扰动（?=4/8/12）影响；

2）AT模型则表现出明显低频偏好，即使增加高频成分对性能提升有限。

Methodology

我们设计的高频解耦与重校准（HFDR）模块包含三大创新：

1）特征解耦：通过高通滤波器生成频域注意力图，分离不同频段特征；

2）特征重校准：对脆弱高频特征进行强化，挖掘潜在语义线索；

3）频率注意力正则化：平衡网络对不同频段信息的提取能力。如图3所示，该模块可无缝集成至CNN（如WRN34-10）和Transformer（如ViT-B）架构。

Experimental Setup

在CIFAR-10/100和ImageNet-1K数据集上的实验显示：

• WRN34-10模型鲁棒性提升2.89%

• ViT-B对抗AutoAttack时准确率提升4.89%

高频成分的softmax后概率显著提高（见图2），证实方法有效缓解了低频偏差。

Conclusion

HFDR通过频域特征解耦与正则化，首次实现对抗训练中全频段信息的协同利用。其轻量化设计（仅增加0.3%参数量）为工业级应用提供可能，未来可拓展至医疗影像等对纹理细节敏感的领域。

（注：严格保留原文技术术语如WRN34-10/ViT-B等，采用生命科学领域"语义线索""协同利用"等表述增强专业性，使用"工业级应用""医疗影像"等术语体现跨学科价值）