面向鲁棒模型：利用不确定性感知重建缓解特征统计中的对抗偏移

《Pattern Recognition》：Towards robust models: Mitigating adversarial shifts in feature statistics with uncertainty-aware reconstruction

　　•发现对抗攻击会导致特征统计分布偏移。
•提出了一种不确定性感知的特征统计调整模块。
•从偏移校准的角度提供了理论解释。
•在各种攻击下展示了显著的模型鲁棒性。

引言
深度神经网络（DNNs）在面对对抗攻击[1]时的不可靠性，一直是可信人工智能领域的持续挑战。迄今为止，对抗训练[2]、[3]及其变体（如TRADES [4]、MART [5]、MLCAT [6]、AT+RiFT [7]、DKL [8]等）是赋予DNN模型鲁棒性的最流行防御方法，已在许多实际场景中用于构建鲁棒分类器[9]。然而，对抗训练的开销通常是自然训练的数倍甚至数十倍，且可能牺牲干净准确率。

近年来的研究表明，随机方法通过向网络引入随机性，可以使模型学习到某种不确定性，从而有效提升模型鲁棒性。一类工作关注特征不确定性，即向不同层次的特征注入随机性，如随机数据增强[10]、随机平滑[11]、[12]、高斯噪声注入[13]、隐藏特征扰动[14]、[15]、不确定性特征学习[16]等。另一类工作关注权重不确定性，即向模型参数注入随机性，如Adv-BNN [17]、[18]、参数噪声注入（PNI）[19]、Learn2Perturb（L2P）[20]、对抗权重扰动（AWP）[21]等。这些随机方法，无论是聚焦特征不确定性还是权重不确定性，都是向单个样本或节点引入随机性。其中许多方法难以捕捉类别级或域级特征，因此对强大攻击（如[22]、[23]、[24]）的防御效果会减弱。

文献[25]提出，特征统计量（如均值和方差）携带了训练数据的域特征，有助于改善分布外泛化。在该工作中，假设特征均值和标准差（Std）服从高斯分布，通过采样随机噪声来建模其不确定性，以缓解潜在域偏移的扰动。然而，该工作仅关注自然扰动引起的域偏移，如合成到真实的差距、风格偏移、场景变化等，而未关注对抗扰动。如图1所示，自然扰动引起的特征统计偏移可能朝向任何方向，而对抗扰动引起的偏移通常指向不同类别之间的边界，以欺骗模型。换言之，对抗扰动倾向于指向源统计域内部，将偏移限制在原始统计空间所包含或大部分覆盖的区域内。受此启发，我们探索对抗攻击引起的特征统计分布偏移，并通过建模特征统计不确定性（FSU）来提升鲁棒性。总结起来，我们的工作具有以下优点：
•从理论和实证上，我们发现一个重要现象：对抗攻击往往会改变特征统计的方差，从而引起一些潜在的分布偏移。
•我们提出一个FSU模块，通过基于批次级统计信息重新采样特征均值和标准差，在潜在空间中缓解分布偏移并重构受扰动的样本。由于FSU没有需要学习的参数，因此可以在训练和测试阶段使用。
•FSU模块不依赖对抗信息，因此可以用于自然训练和对抗训练。通过引入特征统计级别的方向性信息，它也可以用于微调任何已建立的模型。
•在不同设置下的大量实验证明了FSU在增强鲁棒性方面的普遍适用性，例如，在强大的AA和CW攻击下，FSU使最先进的方法在基准数据集上实现了高达17.13%和34.82%的鲁棒性提升。

章节片段
对抗攻击
根据攻击者是否可以访问模型结构和参数，对抗攻击可分为白盒攻击和黑盒攻击。更具体地说，根据攻击策略，对抗攻击可总结为基于梯度的攻击、基于优化的攻击和自适应集成攻击。基于梯度的攻击利用模型的梯度信息生成对抗扰动，通常在白盒设置中表现良好。快速梯度方法（FGM）等……

对抗特征统计偏移
给定数据集??={(????,????)}????=1???×??，其中????=(????1,…,??????)∈??=???是第??个样本，????∈??={1,2,…,??}是????的ground truth标签。考虑一个分类模型????:??→??，通过????为任意(??,??)∈??生成对抗样本的本质是解决以下优化问题：max???(????(??+??),??)，约束为‖??‖??
提出方法
给定一个图像分类任务，图像以批次方式输入多通道网络。考虑一批样本，我们研究多通道隐藏层中的特征图，并记????,??为第??个样本在第??个通道的特征图，其中??=1,…,??且??=1,…,??（??是批次大小，??是通道数）。设????,????,??为????,??中的像素级特征，其中??=1,…,??且??=1,…,??（??和??是特征图的高度和宽度）。容易得到……

实验
数据集：我们在五个广泛使用的基准数据集上进行实验，包括MNIST、CIFAR10、SVHN、CIFAR100和Tiny-ImageNet。这些数据集的详细信息见附录A.1中的表A.7。
评估协议：使用各种基准攻击进行评估，包括FGSM [26]、BIM [27]、MIM [28]、PGD [2]、EOTPGD [45]、CW [22]、FAB [31]、AA [23]和A3 [24]。对于扰动约束，FGSM、BIM、MIM、PGD、EOTPGD、FAB、AA和A3是??∞-有界的；CW同时是??2和??∞-有界的。

结论
在本文中，我们从理论和实证上发现了一个普遍现象：对抗攻击倾向于改变样本特征统计的分布。具体来说，特征均值和特征标准差的方差在受到攻击后变小，使得样本在特征统计层面更难区分。基于这一发现，我们提出FSU模块，以通道方式重建特征图并校准对抗攻击引起的偏移。

CRediT作者贡献声明
Ran Wang：写作——初稿、验证、软件、方法学、调查、资金获取、形式分析、概念化。Xinlei Zhou：写作——审阅与编辑、软件、资源、项目管理、数据管理。Meng Hu：软件、资源。Rihao Li：验证、方法学。Wenhui Wu：方法学、概念化。Yuheng Jia：监督、资金获取。

在手稿准备过程中生成式AI和AI辅助技术的声明
在本工作准备过程中，作者未使用任何生成式AI或任何AI辅助技术。

未引用参考文献
[49]

利益冲突声明
作者声明，他们没有已知的竞争经济利益或个人关系，这些可能会影响本论文中报告的工作。

致谢
本工作部分受国家自然科学基金（批准号：62576214、62576094、62376162和U24A20322）、广东省基础与应用基础研究基金（批准号：2024B1515020109）、广东省重点实验室（批准号：2023B1212060076）、中国博士后科学基金（批准号：GZC20231728和2024M762126）以及深圳大学智能计算中心资助。

Ran Wang | Xinlei Zhou | Meng Hu | Rihao Li | Wenhui Wu | Yuheng Jia