FAFA：一种基于频率感知的对抗性鲁棒公平性算法

《Neural Networks》：FAFA: A Frequency-Aware Adversarial Robust Fairness Algorithm

　　

摘要

随着深度神经网络的应用日益广泛，对抗鲁棒性研究已成为热点领域，尤其是对抗鲁棒性中的公平性问题更受到了广泛关注。不同类别在对抗鲁棒性上的显著差异可能会降低整体性能，因为防御机制的有效性会受到最不具鲁棒性的类别——即所谓“木桶效应”中的最差类别的限制。目前大多数现有的鲁棒公平性算法都是基于特定的实验指标设计的，未能深入分析鲁棒公平性的内在原因，也没有考虑易处理类别与难处理类别之间的权衡问题，同时忽视了难处理类别与其相似类别之间的平衡问题。这些问题限制了鲁棒公平性进一步提升。为此，本文提出了一种频率感知型对抗鲁棒公平性算法（简称FAFA），该算法从频率角度探讨公平性问题的内在原因。此外，还引入了一种基于频率分量贡献的频率感知型公平对抗训练方法FAAT，为不同类别分配不同的损失权重和扰动约束，以提高难处理类别的鲁棒性。同时，还实现了频率感知型公平微调算法FAFT，通过在不同类别及其相似类别之间重新分配特征，实现更均衡的鲁棒性分布，从而提升最差类别的性能。在CIFAR-10、CIFAR-100和STL-10数据集上进行了大量实验，结果表明，所提出的方法显著提升了最差类别的鲁棒性，在CIFAR-10数据集上使用ResNet18模型并采用A3攻击时，最差类别的准确率可达34.76%，相比现有方法平均提升了约5%。整体鲁棒性则达到了48.47%，而基于TRADES的综合性指标${\rho }_{rob}$的值达到了0.55。

引言

深度神经网络在物体检测（Ren等人，2016年）、图像识别（He等人，2016年）以及自动驾驶等各种视觉任务中展现了出色的性能。然而，Szegedy等人（2013年）发现，深度神经网络容易受到对抗性攻击的影响，攻击者会在正常样本中添加难以察觉的扰动，生成能够导致模型做出错误决策的对抗样本。因此，针对深度神经网络对抗鲁棒性的防御技术（Madry等人，2017年；Zhang等人，2019年；Wu等人，2020年；Papernot等人，2016年；Shafahi等人，2019年）受到了重视。不过，这些方法也带来了新的挑战，比如鲁棒公平性问题（Xu等人，2021年），即在对抗训练后，不同类别的对抗鲁棒性存在显著差异，而最差类别的存在会削弱模型的防御能力。

目前提出的鲁棒公平性算法（Xu等人，2021年；Li和Liu，2023年；Sun等人，2023年；Wei等人，2023年；Lee等人，2024年；Zhang等人，2024年）可分为微调算法和对抗训练算法两类。例如，FRL（Xu等人，2021年）通过将类别相关的约束纳入损失函数来微调模型参数，而FAAL（Zhang等人，2024年）则利用分布式鲁棒优化技术来调整模型参数。BAT（Sun等人，2023年）通过平衡对抗样本的目标类别以及调整不同类别的攻击迭代次数来提升公平性，而CFA（Wei等人，2023年）、WAT（Li和Liu，2023年）以及DAFA（Lee等人，2024年）则是基于各种启发式策略设计损失权重算法。尽管这些方法在一定程度上提升了鲁棒公平性，但它们并未深入分析鲁棒公平性的根本原因，也没有通过控制易处理类别与难处理类别之间的权衡或平衡难处理类别及其相似类别的性能来进一步提升性能。

许多研究试图从频率角度来解释和设计对抗性攻击与防御算法（Qian等人，2024年；Lin等人，2023年；Wang等人，2020年；Zhang等人，2024年；Huang等人，2022年；Yin等人，2019年）。一些研究认为，对抗性攻击可以通过在图像中引入人类无法察觉的高频噪声来导致模型误分类，而防御机制则可以通过抵御高频扰动来提升模型的鲁棒性（Zhang等人，2024年），因为识别模型主要依赖低频特征。他们的研究主要集中在分析影响模型整体鲁棒性的频率成分上。然而，鲁棒公平性算法还需要进一步关注各类别的频率分析。

受Chen等人（2022年）的研究启发，他们发现高频特征在标准训练下有助于提升识别精度，但在对抗训练后会降低对抗鲁棒性，因此我们提出了频率感知型对抗鲁棒公平性方法。我们认为，在对抗训练过程中，低频成分对识别精度的影响越大，训练后的对抗鲁棒性就越高。也就是说，模型对某一类别的鲁棒性与该类别低频特征上的识别精度呈正相关。那些在低频特征上识别精度较高的类别可被视为鲁棒公平性问题中的易处理类别，反之则为难处理类别。这些类别的形成是模型因对抗训练而产生的频率偏好与数据本身特征共同作用的结果。如图1所示，我们引入了频域沙普利值矩阵来衡量各类别的频率贡献，该矩阵可以根据各类别低频部分的相似性来区分易处理类别与难处理类别（蓝色虚线框所示），而在空间域中则很难区分二者。

我们的研究动机如图2所示。针对如何提升鲁棒公平性这一问题，我们在本文中提出了一种频率感知型对抗鲁棒公平性算法（FAFA）。

本文的主要贡献如下：

• 1)
  我们提出了FAFA框架，该框架从频率角度探究鲁棒公平性问题的内在原因，其中包括FAAT和FAFT两种算法。
• 2)
  我们设计了FAAT方法，该方法考虑了不同类别的频率分量贡献，为各类调整损失权重和扰动约束，以实现易处理类别与难处理类别之间的鲁棒性平衡。
• 3)
  我们实现了FAFT方法，该方法通过频域聚类找到难处理类别的相似类别，然后在这些类别内部重新分配模型权重，以实现难处理类别之间的鲁棒性平衡。
• 4)
  我们在CIFAR-10、CIFAR-100和STL-10数据集以及不同模型架构上进行了大量实验，结果表明，我们的方法在保持整体鲁棒性的同时，显著提升了最差类别的鲁棒性。

本文的其余结构如下：第2节简要介绍相关研究，第3节详细阐述所提出的方法，第4节为实验部分，第5节为结论部分。

章节要点

相关研究

本节我们将回顾现有的鲁棒公平性算法，这些算法可分为两大类：微调算法和对抗训练算法。

微调算法：FRL（Xu等人，2021年）是首个识别对抗训练中公平性问题的方法。它通过在损失函数中引入能够反映类别间性能差异的正则化项，并对模型参数进行微调，从而成功提升了最差类别的鲁棒性。

方法论

本节首先介绍相关基础知识，然后详细阐述FAFA的整体算法框架，最后介绍FAFA的两个组成部分，即FAAT和FAFT。

实验

本节通过实验数据验证FAFA的有效性。我们首先介绍实验设置，然后比较在不同数据集和模型下，各种算法在标准训练和对抗训练条件下的平均鲁棒性以及最差类别的鲁棒性。最后，我们还进行了消融实验。相关代码可在https://github.com/lzyml1/FAFA.

结论

本文从频域角度探讨了鲁棒公平性解决方案，并提出了一种频率感知型对抗鲁棒公平性算法（FAFA），该算法能有效提升对抗鲁棒性性能。我们还设计了频率感知型公平对抗训练算法（FAAT）和频率感知型微调算法（FAFT），这两种算法均能显著提升最差类别的鲁棒性，并有效平衡整体性能。通过大量实验

CRediT作者贡献说明

Jiachun Li：撰写——审稿与编辑，撰写——初稿，软件，方法论，形式化分析。Cheng Yan：撰写——初稿，软件，方法论。Suixin Zheng：撰写——审稿与编辑。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Jiachun Li|Cheng Yan|Suixin Zheng