R-DAF：面向离散激活函数以提升深度神经网络对抗鲁棒性的研究

《Neurocomputing》：R-DAF: Towards discrete activation functions for improving the robustness of deep neural networks against adversarial attacks

　　

# 摘要

尽管深度神经网络取得了巨大成功，但其对对抗性扰动的脆弱性构成了部署的严重安全障碍。为应对这一安全挑战，受"该脆弱性源于DNN模型过度线性和高输入敏感性"这一突出假说启发，本文聚焦于通过网络的激活函数直接增强鲁棒性。我们提出了一种名为R-DAF的鲁棒方法，这是一种离散的、可学习的、分段平坦的激活函数，旨在从本质上降低对小扰动的敏感性。R-DAF通过一个可学习参数引入离散化，实现自适应平滑并缓解对手的梯度利用，而无需依赖计算代价高昂的对抗训练。在MNIST、Fashion-MNIST、CIFAR-10和Tiny ImageNet等标准基准数据集上的广泛实证评估一致表明，R-DAF在性能上优于传统激活函数。在MNIST上的白盒PGD攻击下（），R-DAF相比ReLU的鲁棒准确率提升了+54.7%（65.86% vs. 11.12%）。类似地，在黑盒PGD攻击中（由源模型生成），R-DAF目标模型相比基于ReLU的模型提升了+26.0%（56.60% vs. 30.60%）。此外，与SPLASH等最先进函数的比较以及显著性图的可视化证据表明，R-DAF能够产生高度鲁棒且与类别相关的梯度归因。最终，实证和分析论证均证明R-DAF能有效限制对抗扰动的传播并破坏对抗攻击所依赖的精确梯度利用。通过其可学习和分段平坦的结构，R-DAF为深度架构建立了高度鲁棒且有原则的防御策略，同时保持了具有竞争力的清洁分类准确率。

# 引言

鉴于政府和企业在全球范围内对人工智能的大量投资[1]，深度神经网络已在图像分类[2]、自然语言处理[3]和网络安全任务[4]等众多领域取得了显著成功。这些成功得益于DNN学习复杂数据分布的高容量[5]。尽管能力出色，DNN对对抗扰动仍十分脆弱——这些精心设计的输入数据微小变化可导致DNN误分类输入。该现象最早由Szegedy等人[6]提出，他们证明图像分类器可被对抗扰动操纵的输入图像欺骗。经对抗扰动操纵的输入被称为对抗样本[7]。为更好地理解，图1展示了对抗样本攻击的视觉示例，其中图像分类器网络将清洁图像正确分类为熊猫，置信度为57.7%。然而，在对该图像添加对抗扰动后，分类器被欺骗并将扰动图像误分类为长臂猿，置信度达99.3%[7]。

在技术发展的时间线中，计算机视觉模型取得了显著进步。例如，从用于图像修复的自适应U-Net变体[8]和用于超分辨率的Transformer块[9]，发展到用于密集分割任务的混合CNN-Mamba架构[10]、[11]。尽管架构不断进步，这些网络仍对对抗扰动固有地脆弱。同样，在其他基于DNN的应用中，如大语言模型[12]和入侵检测系统[13]，对抗脆弱性构成严重的安全挑战[14]、[15]。

**物理世界攻击：** 尽管本文的评估阶段在通用基准数据集（MNIST、Fashion-MNIST和CIFAR-10）上实施，但以下物理世界攻击示例旨在说明研究DNN对抗鲁棒性的重要性。以物理世界为例，在[16]、[17]中，报告了对特斯拉Model S车辆基于机器学习的视觉系统的对抗样本攻击。第一次攻击涉及在前车后部安装的电子屏幕上显示精心制作的对抗样本，从而在挡风玻璃没有水的情况下激活车辆的自动雨刮器。在对该车辆的第二次也是更令人担忧的攻击中，小扰动被直接施加到路面上，以欺骗特斯拉的车道检测模块，导致车辆驶向非预期且潜在危险的方向。作为另一个物理世界示例，在[18]中，精心设计的黑白贴纸扰动被施加到真实的停车标志上，导致实验室条件下捕获图像100%的误分类率，以及在移动车辆记录的字段测试视频帧中84.8%的误分类率。此外，该论文报告称，被微妙操纵的物理停车标志被解释为限速45标志。在这方面，Zheng等人[19]证明，攻击者可以通过在附近车辆表面施加基于梯度优化生成的物理可实现3D对抗纹理来误导自动驾驶的单目深度估计，导致显著深度预测误差（超过10米误差）。此外，[20]、[21]指出，医学图像分类中的对抗样本对使用DNN模型的医疗保健系统构成潜在严重威胁，在该领域开发针对这些攻击的鲁棒机制同样至关重要。例如，图2展示了被几个像素扰动从而导致被误分类为正常或健康的COVID-19患者图像[20]。在本小节最后，作为人脸识别系统的物理世界攻击示例，在[22]中，所提出的对抗攻击涉及在纸上印刷一个矩形贴纸，将其贴在攻击者的帽子上，从而欺骗如ArcFace模型等人脸识别系统，并且该攻击对其他模型展现出强可迁移性。

**对抗攻击分类法：** 为评估和衡量DNN的对抗鲁棒性方法，全面了解对抗攻击的分类法至关重要，如基于知识的攻击。针对DNN的基于知识的攻击根据对手对攻击模型的了解程度进行分类，通常分为白盒、灰盒和黑盒攻击类别[23]。在白盒攻击中，对手完全访问模型的架构、参数和训练数据。在黑盒攻击中，对手无需模型内部信息，利用可迁移性原理或迭代查询机制生成有效对抗输入。灰盒攻击介于两者之间，部分信息如模型结构或数据集可能已知，但参数仍隐藏。作为进一步必要信息，促成模型对基于知识攻击脆弱性的一个关键因素是显著的可迁移性现象[24]、[25]。确实，可迁移性是指针对欺骗一个DNN（源DNN）模型而制作的对抗样本也能误导其他模型（目标模型）的现象，即使这些模型具有不同架构或在不同数据集上训练。这一性质非常令人担忧，因为它揭示了跨模型或训练数据的共同脆弱性，使得无需完全访问目标系统即可实施攻击成为可能。

**关于对抗脆弱性的假说：** 设计鲁棒DNN的重要一步是理解其对抗样本脆弱性的根本原因。尽管采用不同深度学习范式的研究人员提出了不同假说，但目前尚无单一确定性解释达成共识[26]、[27]。例如，为解释DNN对抗样本脆弱性的原因，Goodfellow等人[7]提出DNN中线性行为的假说，如整流线性单元（ReLU）激活函数的分段线性行为，该假说受到广泛关注；作为另一个重要对抗脆弱性假说，[28]提出高维数据流形结构使对抗扰动得以利用决策边界的假说。

鉴于DNN对对抗扰动仍然高度脆弱，开发有效防御机制已成为保护深度学习系统的关键挑战和核心研究领域。本研究的主要动机源于需要一种内在结构性防御，自然降低模型对小对抗扰动的敏感性，从而绕过对外部、计算代价高昂且攻击特定的技术（如对抗训练）的严重依赖。我们的调查显示，激活函数作为DNN架构的核心组件，在对抗扰动的传播或抑制中起决定性作用。我们发现在单个神经元层面仔细设计激活函数行为可从本质上破坏小扰动的传播。为此，本文提出一种新颖且可学习的离散化激活函数方法论，重点关注离散化ReLU激活函数，从而在保持竞争性清洁准确率的同时显著增强DNN对对抗样本的鲁棒性。从本文至此，我们使用R-DAF作为方法论的缩写，代表"通过离散激活函数实现神经网络的鲁棒性"。R-DAF通过一个可学习参数引入分段平坦离散化，实现自适应平滑并缓解对手的梯度利用。尽管对抗鲁棒性已有大量研究，但鲁棒激活函数作为独立防御的潜力仍需更多关注。本研究旨在为基于激活的防御开辟新途径，为鲁棒深度学习的推进作出贡献。我们聚焦于ReLU函数用于R-DAF实施的动机源于四个关键原因：(1)ReLU在计算机视觉[29]、NLP系统[30]和入侵检测[31]中的广泛采用；(2)ReLU因计算效率和缓解梯度消失问题而在DNN架构中占主导地位[32]、[33]；(3)其在各种基于ReLU的激活函数设计中的基础作用，这些函数旨在提高DNN在清洁数据上的准确率[34]；以及(4)存在一个关键假说表明ReLU的局部线性行为有助于DNN对基于梯度的对抗攻击的脆弱性[7]。我们的方法论通过MNIST[35]、Fashion-MNIST[36]、CIFAR-10[37]和Tiny ImageNet[38]数据集上的图像分类任务综合实验进行评估，确立了其在计算机视觉应用中的有效性。通过应用白盒和可迁移攻击，结果表明R-DAF显著提高了DNN的鲁棒性。此外，我们将讨论我们的方法如何与现有神经网络脆弱性假说一致，并提供其如何部分克服这些弱点的证据。尽管R-DAF的结果和分析展示了基于DNN的图像分类的令人鼓舞的防御能力，我们也旨在探索其向自然语言处理和软件安全等其他领域推广的潜力。此讨论将包含在我们的结论中。

## A. 贡献

本文的主要贡献如下：

(1) 本文旨在通过内在结构性方法增强DNN对对抗扰动的鲁棒性。由于激活函数在传播小扰动中起关键作用，我们提出R-DAF：一种新颖、可学习且分段平坦的激活函数，专注于离散化标准ReLU。受文献中突出假说启发，这些假说表明深度模型的脆弱性源于其局部线性行为和对小扰动的高敏感性，R-DAF通过引入低敏感性、非线性和可学习的离散化机制来缓解此问题。此外，R-DAF在无需对抗训练等其他防御策略的情况下实现这些改进，后者可能存在计算代价高昂或攻击特定的局限性。这种对其他防御方法的独立性使R-DAF具有广泛适用性且易于集成到现有架构中。

(2) 我们证明R-DAF的鲁棒性优势并不局限于特定模型架构。为验证其通用适用性，我们在具有不同层数的全连接神经网络和卷积神经网络上进行实验。这些模型在三个广泛使用的基准数据集上训练和评估：MNIST、Fashion-MNIST、CIFAR-10和Tiny ImageNet。在所有测试架构和数据集上对抗鲁棒性的一致改善表明R-DAF可有效用于DNN模型，使其成为实用防御策略。

(3) 我们证明R-DAF不仅能在直接白盒攻击下提高模型鲁棒性，还能在具有挑战性的黑盒可迁移场景下发挥作用。具体而言，R-DAF针对广泛使用的对抗攻击方法进行了评估，包括PGD和FGSM。在白盒和可迁移攻击下，R-DAF相比ReLU始终表现出显著更高的鲁棒性。例如，在MNIST上白盒PGD攻击下（），R-DAF相比ReLU准确率提升+54.7%，在可迁移PGD攻击下（），实现+26.0%的提升。此外，我们将R-DAF与SPLASH这一最新最先进鲁棒激活函数进行比较，表明在相同架构下R-DAF取得更好的鲁棒性。

(4) 为为R-DAF的鲁棒性提供更科学的论证，我们将其设计与对抗研究中广泛接受的假说相一致，如线性假说和对非鲁棒特征的依赖。这些假说旨在解释使DNN易受对抗样本影响的潜在脆弱性。

我们论证，R-DAF 的离散且分段平坦结构直接解决了这些被理论化的弱点。通过降低局部线性度并限制对微小扰动的敏感性，R-DAF 有助于减轻这些假设中所指出的具体脆弱性，从而提升鲁棒性。此外，显著性图可视化显示，在对抗攻击下，与 ReLU 相比，R-DAF 产生更干净且更与类别相关的梯度归因。这提供了视觉证据，表明 R-DAF 在鲁棒性和梯度稳定性方面均有提升。

**B. 论文组织**

我们将论文剩余部分的结构概述如下。第 2 节回顾对抗鲁棒性相关的工作。第 3 节提供必要的背景知识和威胁模型。第 4 节详细介绍所提出的方法。第 5 节描述评估过程并讨论结果。第 6 节指出未来研究方向。最后，第 7 节总结全文。

**各章节摘要**

**相关工作**
在本节中，我们首先简要回顾几种成熟的对抗攻击方法，这些方法被用作评估深度神经网络对对抗样本鲁棒性的标准基准。接下来，我们考察主流的防御策略，这些策略用于保护源模型，同时讨论相关可迁移性挑战，以保护目标模型。最后，我们考察现有的假说，这些假说旨在解释深度神经网络对对抗攻击脆弱性的根本原因。

**背景与威胁模型**
为了给本文方法奠定清晰的基础，本节首先回顾激活函数在训练过程中的连续性和可微性特征。然后，我们解释基于梯度的对抗攻击如何利用这些连续性和可微性特征，通过操纵输入来生成对抗扰动。最后，我们描述威胁模型。

**方法**
为了提升深度神经网络对对抗攻击的鲁棒性，本节介绍我们提出的方法 R-DAF。我们首先给出 R-DAF 的数学公式，然后展示其对微小扰动的敏感性降低特性及其非线性行为。最后，我们描述伪算法以及用于评估的模型架构。

**评估与讨论**
为了评估所提出的 R-DAF 激活函数的有效性，我们在白盒和基于可迁移性的对抗攻击设置下开展了一系列对照实验。评估重点在于量化 R-DAF 相对于广泛使用的 ReLU 激活函数对对抗鲁棒性的影响。鉴于深度神经网络鲁棒性研究领域的评价依赖于 MNIST、Fashion-MNIST 和 CIFAR-10 这三个数据集，我们将在这些数据集上进行分析。

**未来工作**
以下建议可能为未来的研究工作提供潜在方向。
* **R-DAF 的发展**：将 R-DAF 方法应用于 ReLU 和 Sigmoid 激活函数所得到的结果表明，这些函数的输出范围大小是决定 R-DAF 在提升网络鲁棒性方面效率的关键因素。因此，作为未来工作的建议，我们推荐开发并修改现有的连续激活函数，或设计具有相应特性的新型连续激活函数。

**结论**
在本研究中，我们提出了 R-DAF，这是一种可学习的、离散的且分段平坦的激活函数，旨在提升深度神经网络的对抗鲁棒性。R-DAF 引入了一种由可学习参数控制的新型离散化机制，使网络能够在训练过程中通过标准反向传播自适应地调整其离散化级别。这种自适应离散化行为有效地降低了对微小扰动的敏感性，并增强了模型对对抗攻击的鲁棒性。

**CRediT 作者贡献声明**

Ghane Zandi：初稿撰写、可视化、验证、方法论、调查研究、形式分析、概念构思。
Maede Ashouri-Talouki：审阅与编辑、验证、指导监督、方法论、形式分析。

**利益冲突声明**
作者声明，他们不存在可能影响本研究报告工作的已知竞争性经济利益或个人关系。

**作者简介**

Ghane Zandi 目前是伊朗伊斯法罕大学计算机工程学院信息技术工程系的博士研究生。他曾于德黑兰 K. N. Toosi 科技大学获得计算机硕士学位。他的博士研究方向包括对抗机器学习、可信机器学习和对抗生成网络。

Ghane Zandi | Maede Ashouri-Talouki