DART：基于扩散平滑与自适应噪声注入的分布对齐鲁棒训练

《Neurocomputing》：DART: Distribution-aligned robust training with diffusion smoothing and adaptive noise injection

　　

摘要

深度神经网络（DNNs）已被广泛应用于图像识别及相关任务，但它们对对抗扰动的脆弱性严重限制了其在安全关键场景中的部署。现有的鲁棒训练方法往往难以平衡鲁棒性和任务性能，这主要是由于输入扰动与内部正则化之间的分布不匹配。为解决此问题，我们提出了一种分布对齐鲁棒训练（DART）方法。具体而言，我们引入了一种基于扩散的平滑策略，将高度结构化的对抗扰动转化为类高斯分布，从而恢复与内部噪声假设的对齐。基于这种对齐后的输入，我们设计了一种具有路径梯度估计的可学习高斯噪声注入机制，并将其嵌入到极小化 - 极大化对抗训练框架中，以参数高效的方式实现自适应的激活级正则化。此外，为了抑制模型对非鲁棒特征的依赖，我们采用了一种动态对比特征约束，强制要求扰动前后特征表示的语义一致性。在 CIFAR-10 和 Tiny-ImageNet 上的实验表明，DART 在保持干净准确率的同时提高了对抗鲁棒性。在 FGSM、L-BFGS 和 PGD-20 上的平均结果显示，DART 在 CIFAR-10 和 Tiny-ImageNet 上的对抗准确率分别提高了 40.3 和 6.6 个百分点，同时在 CIFAR-10 上的 AutoAttack 评估中保持竞争力。

引言

深度神经网络（DNNs）在包括图像识别、语音识别、自然语言处理和自动驾驶在内的广泛领域中取得了显著成功 [1]。尽管在标准基准上的性能不断提升，但大量研究表明，DNNs 对输入扰动高度敏感，并且对对抗攻击仍然非常脆弱 [2]。通过在输入中添加不可感知的扰动 [2]，[3]，[4]，攻击者可以导致严重的误分类，从而对 DNNs 在安全关键应用中的可靠性构成严重威胁。

为了增强鲁棒性，现有的防御策略大致可以分为两类：（a）反应式防御，在推理阶段通过应用图像变换或重建操作来减轻对抗扰动的影响 [5]，[6]；以及（b）主动防御，在训练期间使用集成方法 [7] 或对抗训练 [8] 来增强鲁棒性。其中，主动防御已成为主流方向，因为它们通常能针对白盒攻击提供更稳定的鲁棒性。

对抗训练已被广泛采用作为一种有效的主动防御。集成对抗训练 [9] 结合了来自多个模型的扰动以提高抗攻击能力。然而，该方法仍然受到扰动多样性不足和泛化能力弱的限制。为了进一步推动鲁棒训练，一些研究从鲁棒性 - 正则化统一的角度调查了对抗样本。传统的正则化技术，如丢弃（dropout）[10] 和批归一化（Batch Normalization）[11]，可以通过引入随机性或稳定内部激活来改善泛化能力。然而，设计不良的噪声注入机制可能会引发训练不稳定或降低对抗鲁棒性。

为了实现更细粒度的噪声建模，随机自集成（RSE）[12] 在卷积层之前注入高斯噪声，并在随机前向传播中聚合预测。然而，其噪声尺度是手动指定的，且重复的随机预测增加了推理成本。AdvBNN [13] 对对抗攻击下的权重不确定性进行建模。最近，Learn2Perturb [14] 通过端到端的特征 - 扰动学习联合优化网络参数和噪声强度，指出参数噪声注入（PNI）[15] 中的可训练扰动尺度在训练期间可以接近零。

尽管取得了这些进展，限制当前防御的一个基本问题是外部对抗扰动与内部正则化机制之间的分布不匹配。一方面，对抗扰动通常表现出高度结构化的特征，并通过优化攻击目标生成 [3]，[4]，[8]，因此它们的分布不一定满足内部噪声注入方法的典型高斯假设。另一方面，一些现有的噪声注入机制依赖于固定参数或手动调整，而 PNI [15] 和 Learn2Perturb [14] 则在模型训练期间学习噪声尺度参数。此外，大多数方法主要关注输入或参数层面的防御，而忽略了潜在空间中非鲁棒特征的放大。当模型严重依赖对扰动敏感的特征时，即使强大的输入级防御也可能无法防止错误的决策。

为了应对这些挑战，我们提出了一种分布对齐鲁棒训练（DART）框架，将输入变换和自适应正则化集成在统一的训练流水线中。为了弥合这种分布差距，我们的框架旨在协调输入扰动的统计特性与模型内部噪声正则化的关系。具体而言，首先，我们采用基于扩散的结构平滑策略，通过有限步的扩散 - 去噪过程，将纯化残差的边缘统计量向高斯参考值靠拢。这种经验性的转变激发了随后的高斯噪声注入。其次，我们设计了一个具有路径梯度估计的可学习高斯噪声注入模块，并将其嵌入到极小化 - 极大化对抗训练框架中。这允许以参数高效的方式联合优化噪声强度和模型参数，避免了手动调整带来的不稳定性。最后，为了解决模型依赖对扰动敏感表示的倾向，我们引入了一种动态对比特征约束，强制要求扰动版本与干净版本之间的语义一致性。通过促进表示空间中的干净 - 纯化对一致性和批级特征分离，该机制减轻了非鲁棒特征与类标签之间的虚假相关性。

本文的具体贡献总结如下：

• •
  我们提出了一种分布对齐鲁棒训练范式，解决了结构化输入扰动与内部噪声正则化之间的分布不匹配问题。
• •
  我们构建了一个分层防御架构，其中输入级对齐作为有效内部正则化的前提，而动态特征约束防止由此产生的语义漂移。这种相互依赖的设计建立了从输入变换到潜在特征正则化的统一训练路径。
• •
  我们在 CIFAR-10 和 Tiny-ImageNet 上评估了 DART 在白盒攻击、黑盒攻击和自然破坏下的表现。CIFAR-10 的评估涵盖了 AutoAttack 和自适应攻击，并与代表性防御比较，展示了良好的鲁棒性 - 准确率权衡。

本文的组织结构如下：第 2 节回顾相关工作。第 3 节详细解释所提出的方法。第 4 节呈现实验设置、结果和讨论。第 5 节总结本文并概述未来研究方向。

章节片段

对抗攻击与对抗训练

基于有限记忆 Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）算法 [3] 的攻击被用来证明深度神经网络对输入扰动高度敏感。后来，快速梯度符号法（FGSM）[4] 提供了一种计算高效的单步攻击，随后被扩展为基本迭代法 [16]。DeepFool [17] 迭代地将输入投影到决策边界，直到发生误分类。投影梯度下降（PGD）

分布对齐鲁棒训练

在本节中，我们系统地提出了 DART 框架。我们的方法通过协调输入扰动分布与内部正则化来解决鲁棒性 - 准确率权衡。该框架包含三个协同组件：（1）基于扩散的输入对齐，（2）参数高效自适应噪声，以及（3）动态对比特征约束。

实验设置

1) 实验环境：实验在一台基于 x86_64 架构的高性能计算平台上进行，配备 NVIDIA A100 80GB PCIe GPU。操作系统为 Ubuntu 18.04.6 LTS。实现基于 PyTorch 2.3.0 及 CUDA 12，编程语言为 Python 3.8。

2) 数据集：采用了计算机视觉中两个广泛使用的基准数据集 CIFAR-10 和 Tiny-ImageNet 作为主要评估数据集。CIFAR-10 数据集

结论

本文提出了 DART，这是一种用于增强深度神经网络对抗鲁棒性的鲁棒训练方法。DART 缓解了对抗输入扰动与特征级正则化之间的分布不匹配，以及传统防御策略中不稳定的特征表示。它结合了有限步基于扩散的预处理、激活级自适应噪声注入和动态对比特征约束，形成了一种参数高效

CRediT 作者贡献声明

别云龙： 写作 - 初稿，验证，软件，方法论，调查。孙嘉泽： 写作 - 审查与编辑，验证，方法论，调查。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，可能会影响本报告工作的客观性。

致谢

本工作得到了国家自然科学基金（批准号：62272387）和中国陕西省重点科技项目（批准号：25JS118）的支持。

别云龙 目前在北京邮电大学人工智能学院攻读博士学位，中国北京。他的研究兴趣包括深度学习模型测试和鲁棒性优化。

别云龙 | 孙嘉泽

北京邮电大学人工智能学院，中国北京，100876