基于能量最小化的鲁棒泛化再思考

《Neural Networks》：Rethinking Robust Generalization with Energy Minimization

　　

•介绍了用于鲁棒泛化的能量最小化对抗训练（EM-AT）。
•通过优化自然样本和对抗样本的能量得分来增强对抗鲁棒性。
•在指定的评估协议下，提供了在多个数据集上具有强大且具有竞争力的鲁棒性的经验证据，特别是在可比模型/数据设置下。
•提供了能量差异分析，解释了 EM-AT 如何减少鲁棒泛化差距。

引言
深度神经网络（DNNs）尽管在许多现实世界应用中取得了广泛成功，但已被证明容易受到精心构建示例的攻击（Fischer, Kumar, Metzen, Brox, 2017, Lyu, Huang, Liang, 2015, Qian, Huang, Wang, Zhang, 2022, Song, Eykholt, Evtimov, Fernandes, Li, Rahmati, Tramèr, Prakash, Kohno, 2018, Zimmermann, Brendel, Tramer, Carlini, 2022）。这些攻击通过向自然数据添加不可感知的噪声生成，显著增加了在医疗领域和自动驾驶等高信任领域应用 DNNs 的风险。

大量研究致力于防御对抗样本并增强 DNNs 的可靠性。这些努力涵盖了基于去噪的方法（Lamb, Binas, Goyal, Serdyuk, Subramanian, Mitliagkas, Bengio, 2018, Liao, Liang, Dong, Pang, Hu, Zhu, 2018）、结构修改（Zhang 等人，2022）和对抗训练（Chen, Ren, Yan, 2022, Kannan, Kurakin, Goodfellow, 2018, Wang, Zhang, 2019, You, Ye, Li, Xu, Wang, 2019, Zhang, Wang, 2019）。其中，对抗训练因其概念简单和性能卓越而受到广泛关注并被广泛应用。其核心原理涉及使用对抗样本而不是自然样本训练 DNNs，从而在定义的邻域内增强模型鲁棒性。

尽管对抗训练在增强模型鲁棒性方面表现令人满意，但它存在鲁棒性泛化能力差的问题，特别是关于未见过的对抗样本类型。具体来说，训练（见过）和测试（没见过）数据上的对抗准确性之间仍存在显著差距。对抗训练的鲁棒性被证明比标准学习更难在未见的测试数据上泛化，这是因为鲁棒学习中的数据复杂度大于标准学习（Schmidt, Santurkar, Tsipras, Talwar, Madry, 2018, Zhai, Cai, He, Dan, He, Hopcroft, Wang, 2019）。对此，近期几项研究提出了各种策略以改善这种糟糕的鲁棒泛化。例如，在 Song 等人（2020）中，设计了一种变换以关注 DNNs 的鲁棒局部特征，因为他们将糟糕的鲁棒泛化归因于对抗训练的全局结构偏差。关于鲁棒泛化的进一步调查也可以看到，包括对抗权重扰动（Wu 等人，2020b）、移位一致性正则化（Zhang 等人，2021）和“友好”对抗样本（Zhang 等人，2020）。

在本文中，我们探索数据的内在能量，它衡量两个分布的兼容性或不兼容性，并试图从一个全新的“能量”视角严谨地解决鲁棒泛化问题。可以假设，如果两个分布不兼容，它们之间的能量会上升，如果兼容，能量会下降。受基于能量的模型（EBMs）原理的启发，我们提出了一种名为能量最小化对抗训练（EM-AT）方法的新型基于能量的优化策略，以改善鲁棒泛化。

EM-AT 对输入样本的能量得分进行建模，其中网络被鼓励赋予自然样本低能量得分，赋予对抗样本高能量得分。我们的目标是找到自然样本低能量空间的适当体积，并区分自然样本和对抗样本之间的能量差异。这种能量差异使网络能够识别高能量得分的对抗样本，并在推理期间通过单次梯度更新将它们从高能量空间转换到低能量空间，我们将此过程称为能量最小化（EM）。

为了展示我们方法的有效性，我们在图 1 中展示了几个示例，说明了自然样本和对抗样本的能量得分。在图 1a 和 1 c 中，应用 EM 后正确分类的对抗样本的能量得分与自然样本的能量得分紧密一致。这种一致性由 EM 和自然样本之间的平均能量差异显著低于对抗样本和自然样本之间的能量差异来证实。相反，当 EM 无效时，EM 样本的能量得分与自然样本更加不一致，其能量差异值与对抗样本的区别不大，如图 1b 和 1 d 所示。这种能量得分的趋势部分解释了我们提出方法的有效性：EM 将对抗样本从“高”能量空间迁移到“低”能量空间，使其与自然样本一致。虽然确切的能量水平是可变的，但在对抗样本和自然样本之间出现了明显的特征区分。

理论上，我们推导出了鲁棒泛化的紧界，该界限由对抗样本及其自然对应物之间的能量差异定义。这个界限界定了我们的 EM 方法可以在多大程度上减轻对抗篡改数据及其原始自然对应物之间的能量差异。随着 EM 样本越来越像自然样本，鲁棒泛化误差趋于接近标准泛化误差。此外，我们的经验（例如，图 1）和理论（例如，图 2）分析表明，随着 EM 样本的能量得分与自然样本的能量得分更紧密地一致，模型在各种数据输入下表现出更一致和可预测的性能。

为了增强我们的解释，我们在图 3 中展示了一个可视化示例，这是在 CIFAR-10 上进行的，说明了传统对抗训练和我们提出的 EM-AT 的决策边界。通过比较常规训练模型（图 3a）和 AT 模型（图 3b）的流形，可以明显看出，对抗扰动破坏了，或者在某些情况下，完全改变了自然数据上的决策边界。另一方面，我们的 EM（图 3f）可以使特征空间与自然样本分布对齐。

经验上，我们评估了我们提出的方法在多种基准测试下对抗几种知名对抗攻击的有效性，包括 CIFAR-10、CIFAR-100 和 SVHN。实验结果表明，我们的方法带来了显著的改进。值得注意的是，我们的方法在 CIFAR-10 上将常规对抗训练提高了约 26%，在 CIFAR-100 上提高了 11%，在 SVHN 上针对 PGD20 攻击提高了 29%。即使在更复杂的攻击下，如 Auto Attack (AA)，也观察到了类似的增益。

本研究的动机是更好地理解和减少对抗训练中的鲁棒泛化差距。尽管对抗训练已成为提高对抗鲁棒性的主导范式，但其鲁棒性往往难以转移到未见的对抗样本上，这表明现有目标仍然不足以使对抗样本与潜在的自然数据分布对齐（Madry, Makelov, Schmidt, Tsipras, Vladu, 2018, Raghunathan, Xie, Yang, Duchi, Liang, 2019, Yin, Ramchandran, Bartlett, 2019, Zhai, Cai, He, Dan, He, Hopcroft, Wang, 2019, Zhang, Yu, Jiao, Xing, Ghaoui, Jordan, 2019）。虽然之前的研究通过正则化、局部特征学习、权重扰动和一致性约束改善了鲁棒泛化（Song, He, Lin, Wang, Hopcroft, 2020, Wu, Xia, Wang, 2020b, Zhang, Xu, Han, Niu, Cui, Sugiyama, Kankanhalli, 2020, Zhang, Qian, Huang, Wang, Zhang, Yi, 2021），但它们主要关注经验改进，对鲁棒性为何无法泛化的理解有限。在这项工作中，我们从基于能量的视角重新审视这个问题，并认为自然样本和对抗样本能量之间的差异是鲁棒泛化能力差背后的关键因素。基于这一观点，我们推导出了一个明确将鲁棒泛化差距与能量差异项联系起来的界限，并进一步提出了 EM-AT，这是一个轻量级框架，将无解码器的能量头和测试时能量最小化纳入标准对抗训练中。因此，我们研究的新颖性不仅在于引入了一种简单有效的防御，还在于为鲁棒泛化提供了更原则性的解释。获得结果的意义有两方面：在概念上，它们表明能量差异提供了一种可解释的机制来理解鲁棒泛化；在经验上，它们证明这种机制可以转化为在标准和自适应评估下 consistently improved robustness（持续改进的鲁棒性），而无需额外的生成纯化模型或大规模辅助数据（Peng, Xu, Cornelius, Hull, Li, Duggal, Phute, Martin, Chau, 2023, Wang, Pang, Du, Lin, Liu, Yan, 2023a）。我们的主要贡献总结如下：

1.我们提供了一个通过能量优化视角看待鲁棒泛化的全新视角。这包括推导一个将标准泛化与由于对抗扰动引起的能量变化整合在一起的理论界限。
2.我们开发了能量最小化对抗训练，这是一种简单而强大的增强鲁棒泛化的方法。我们的方法通过固有的能量得分有效地识别对抗样本，并将它们转换为域内数据空间，从而改善鲁棒泛化。
3.我们在各种数据集和攻击协议下进行了全面的实验。结果表明，在可比模型/数据设置下，EM-AT 实现了强大且具有竞争力的经验鲁棒性，并且应在指定的威胁模型和评估协议内解释。

章节片段
相关工作
鲁棒性在现实生活中的影响超出了基准性能。随着深度神经网络越来越多地部署在高信任应用中，即使是不可感知的扰动也可能导致错误的预测和不可靠的系统行为。这种担忧在医疗应用和自动驾驶等领域尤为重要，在这些领域中，预测错误可能有严重的实际后果。此外，现实世界系统很少遇到完全相同的扰动

方法论
在本文中，我们介绍了一种简单而有效的方法，能量最小化对抗训练（EM-AT），旨在从能量视角开发一个能量感知网络，以改善 DNN 模型的鲁棒泛化。该网络旨在通过将“高”能量输入样本过渡到自然样本特征性的“低”能量空间，来缩小鲁棒泛化和标准泛化之间的差距。我们的方法论包括两个主要步骤：1）鲁棒泛化的理论与经验分析
在本节中，我们首先推导鲁棒泛化的理论界限，并尝试解释鲁棒泛化和能量得分之间的理论关系。然后，我们进行经验分析以进一步证明理论结果。具体来说，我们将鲁棒泛化的上界解耦为标准泛化和一个描述能量变化的项。我们绘制泛化差距与能量差异之间的关系以进一步

实验结果
我们在三个标准对抗鲁棒性基准测试上评估了 EM-AT，即 CIFAR-10、CIFAR-100 和 SVHN，在统一的 ?∞ 威胁模型下。我们的基准测试协议涵盖了经典对抗训练基线（例如 AT 和 TRADES）、鲁棒泛化方法（例如 AWP、RLFAT 和 FS-SCR）以及近期强大的方法，如 RA-diff 和 BetterDM。我们进一步评估了在多种评估设置下的鲁棒性，包括 AutoAttack、多步 PGD/CW 白盒攻击、强

结论
在本文中，我们分析了鲁棒泛化，并从基于能量的视角介绍了一种对抗训练方法。与通常仅针对分类目标的最坏扰动的现有对抗训练不同，这些传统方法可能会扭曲潜在的数据分布，导致模型泛化能力下降。所提出的方法旨在将推理样本推向与自然样本对齐的已学习“低”能量区域，

CRediT 作者贡献声明
庄倩：写作 - 审阅与编辑，写作 - 初稿，验证，方法论，调查，形式分析，概念化。高朋磊：写作 - 审阅与编辑，写作 - 初稿，方法论，概念化。张舒斐：写作 - 审阅与编辑，验证，方法论，调查，概念化。杨溪：写作 - 审阅与编辑，方法论，概念化。阿米尔·侯赛因：写作 - 审阅与编辑，验证。王秋峰：写作 -

利益冲突声明
作者声明他们没有任何已知的可能影响本论文中报告工作的竞争性财务利益或个人关系。
庄倩|高朋磊|张舒斐|杨溪|阿米尔·侯赛因|王秋峰|黄凯珠