一种基于稳定性对比学习的二阶段对抗训练方法，用于提升对抗鲁棒性 任文娟、 杨展鹏、 李光卓

《Applied Sciences》：A Two-Stage Adversarial Training Method Based on Stability Contrastive Learning to Enhance Adversarial Robustness Wenjuan Ren, Zhanpeng Yang and Guangzuo Li

　　摘要 神经网络模型极易受到对抗样本攻击的影响，即使对样本进行微小的扰动，也会导致模型预测结果的显著差异。对抗训练是一种有效的技术，用于抵抗样本对抗攻击。传统的对抗训练方法都是单阶段训练，在训练的中间和后期阶段，存在严重的鲁棒过拟合问题。对抗训练模型的准确性不会提高，甚至可能会大幅下降。为了解决这个问题，我们提出了一种基于Ulam稳定性的多阶段稳定性对比对抗训练方法，该方法在具有稳定性约束的优化空间中进行对抗训练，以提高模型的鲁棒准确性和训练稳定性。在第一阶段，采用稳定性对抗训练策略，使模型在过拟合之前快速提高鲁棒准确性；在第二阶段，采用稳定性对比学习策略，重点抑制模型的过拟合，进一步提高鲁棒准确性。这种两阶段对抗训练方法不仅可以提高模型的鲁棒准确性，还可以有效抑制过拟合现象。该方法具有即插即用的特点，可以与其他多类模型结合使用，以进一步提高基准模型的鲁棒准确性。此外，该方法具有稳定的收敛特性，可以减少对提前停止条件的依赖，使模型训练更加灵活。在多个数据集上的对比实验也验证了所提方法的有效性。

1. 引言
深度神经网络容易受到对抗样本的攻击，在对抗性攻击条件下，即使是干净样本中的微小对抗性扰动也可能导致模型性能显著下降[1,2]。根据是否可以访问模型的权重，对抗性攻击可以分为白盒攻击和黑盒攻击。例如，沿着梯度方向的扰动攻击是一种典型的白盒攻击，而梯度攻击也是一种高效的攻击方法。为了应对样本对抗性攻击的影响，学者们提出了许多不同的技术途径。其中一种有效的解决方案是对抗训练，通过生成对抗样本来训练模型并获得其对抗防御能力[3,4,5,6]。对抗训练是使模型获得对抗鲁棒性的有效方法，但在持续进行对抗训练的同时也会带来鲁棒过拟合问题。鲁棒过拟合不仅阻碍了鲁棒准确性的进一步提高，还使模型训练变得不稳定。许多研究致力于解决这一问题。主要的技术途径分为三个方面：首先是数据增强技术，其次是正则化技术，第三是优化训练策略，如提前停止策略和改变学习率。尽管目前还没有一种策略能够完全解决这个问题，但许多有效的方法已经在一定程度上缓解了这一问题。Rice等人在文献中讨论了正则化方法[7]，并指出正则化方法不能从根本上抑制鲁棒过拟合。数据增强方法对鲁棒过拟合有一定的抑制作用，但单独使用数据增强技术难以从根本上解决鲁棒过拟合问题[8]。Jung等人[9]提出了一种对抗性潜在特征增强（ALFA）方法，该方法利用对抗性公平攻击来扰动潜在空间特征。Wang等人[10]从灾难性过拟合的角度讨论了对抗训练中的问题，并提出了一种新的鲁棒性增强策略。实际上，与深度学习中的过拟合类似，鲁棒过拟合也是对抗训练中的一个根本问题。目前还没有一种方法能够完全抑制这种现象。数据增强、正则化以及训练策略或损失函数的优化，以及混合使用范式，仍然是研究这一问题的重要工具。
分析对抗训练的过程可以发现，有两个因素会影响模型的对抗训练：第一个因素是模型在初始迭代阶段（如前100个周期）的鲁棒准确性能够迅速提高，之后模型的鲁棒准确性会下降，甚至伴随着训练不稳定（如急剧下降）的特点；第二个因素是模型的鲁棒过拟合问题，即训练集的鲁棒损失减小时，模型的鲁棒损失并未随之减少。针对第一个因素，我们引入了基于Hyers–Ulam–Rassias稳定性的稳定性对抗训练策略，以提高模型在初始训练阶段的稳定性和鲁棒准确性。为了解决鲁棒过拟合问题，我们引入了稳定性对比学习的概念，利用一类稳定的对比损失函数来减少持续训练带来的过拟合，从而使对抗训练模型具有稳定和连续训练的能力。然后我们提出了一种两阶段训练策略，第一阶段侧重于提高模型的鲁棒准确性，第二阶段抑制过拟合。这种方法不仅能够提高模型的鲁棒准确性，还能有效抑制过拟合现象。本文的主要贡献包括以下几个方面：
(i) 我们提出了一种基于Ulam稳定性的两阶段对抗训练方法，该方法不仅有效抑制了鲁棒过拟合，还提高了模型的鲁棒准确性。
(ii) 我们引入了一种稳定性对比损失函数，它不仅提高了模型的鲁棒准确性，还增强了训练的稳定性，使得模型训练能够在不依赖提前停止条件的情况下稳定收敛，从而使得训练更加灵活。
(iii) 本文提出的方法可以与其他对抗训练方法良好结合，具有很好的兼容性。它可以作为即插即用的插件，用于提高基准对抗训练方法的鲁棒准确性，并在训练过程中抑制鲁棒过拟合。

2. 基本定义和相关工作
2.1. 对抗训练
对抗训练方法是防御对抗样本攻击的重要技术，是深度神经网络安全应用领域的研究热点。正则化技术是对抗训练方法中常用的技术[11,12,13]。Maini等人[14]提出了经典的投影梯度下降（PGD）方法，该方法已成为对抗训练的主流方法。Jia等人[15]提出了一种基于Lipschitz正则化和自适应权重平均的改进快速梯度符号方法（FGSM），并取得了FGSM类方法中的最佳结果。Lipschitz条件是一类重要的数学条件，与函数或方程的稳定性及其解的唯一性密切相关，因此经常被用作深度神经网络理论证明中的先验假设，以证明网络的理论边界或复杂性。Yan等人[11,16]引入了Ulam稳定性条件来表征深度神经网络的稳定性，并将其纳入对抗训练方法中，以提高模型在对抗训练期间的稳定性。还有一些其他的适用对抗训练方法，如引导对抗训练（GAT）[17]、GRADALIGN[4]、TRADES[18]和TORA-ViTs[19]。

2.2. 鲁棒过拟合
过拟合是深度学习领域的一个重要问题，它是由于数据量与模型参数数量不平衡造成的负面效应。在对抗攻击和防御领域，减少过拟合也是一个挑战。鲁棒过拟合指的是模型在对抗样本上持续训练时，其训练准确性进一步提高，但鲁棒准确性反而下降甚至急剧下降的现象。Rice等人[7]对此进行了详细研究，并指出提前停止条件是避免过拟合并获得高鲁棒准确性的更有效方法。Li等人[20]提出了一种子空间对抗训练方法来抑制鲁棒过拟合现象。Yu等人[21]将对抗样本分为容易过拟合的样本和不容易过拟合的样本，并构建了一种具有最小损失约束的新类型对抗训练方法，以缓解鲁棒过拟合现象。Tang等人[22]提出了一种基于鲁棒过拟合特性的像素级对抗净化方法，可以提高鲁棒准确性。一旦发生鲁棒过拟合，随着模型的持续对抗训练，模型的鲁棒准确性会继续下降，模型的损失函数将达到一个拐点，训练的稳定性会降低，最终导致模型训练发散。许多现有的对抗训练方法都存在鲁棒过拟合问题，这严重影响了模型鲁棒准确性的提高。因此，在对抗训练的优化过程中必须考虑鲁棒过拟合问题，构建一致的解决方案，并在提高鲁棒准确性的同时抑制鲁棒过拟合现象。

3. 两阶段稳定性对比学习
为了提高模型的鲁棒准确性并抑制对抗训练中的过拟合问题，我们引入了一类稳定性正则化损失函数。这种优化函数不仅提高了模型的鲁棒准确性，还增强了模型训练的稳定性。此外，该函数与对比损失函数兼容，使模型具有抑制鲁棒过拟合的能力，同时 further 提高了模型的鲁棒准确性。然后我们提出了一种基于稳定性对比学习的两阶段对抗训练方法，以增强对抗鲁棒性。模型的结构如图1所示。在第一阶段，我们选择较小的批量大小，使模型能够进行稳定的对抗训练，直到对抗训练准确性不再增加且鲁棒过拟合即将发生；在第二阶段，我们采用结合对比学习和Ulam稳定性对抗训练的策略，以鲁棒地抑制模型中的过拟合。Wang等人[23]在他们对长尾分布的研究中也注意到了对抗训练的两阶段现象，并提出了一种两阶段平均对抗训练策略，取得了良好的对抗鲁棒性效果。
图1. 两阶段稳定性对抗训练的整体架构图。第一阶段采用稳定的对抗训练策略，快速提高模型的对抗鲁棒性；第二阶段采用稳定性对比学习训练策略，抑制对抗训练第二阶段出现的鲁棒过拟合问题，进一步提高模型的鲁棒准确性。

3.1. 基于Ulam稳定性的稳定性正则化
由于对抗训练方法中的鲁棒过拟合问题，模型对抗训练的准确性在达到一定训练水平后会发生持续下降。鲁棒过拟合问题本质上也是一种过拟合，不同之处在于过拟合样本是对抗样本，从广义上讲，可以将其视为一种特殊的样本增强方式。其发生的本质是模型参数大小与数据大小之间的不平衡。正则化技术可以使模型训练更加平滑和稳定，因此被广泛用于需要长期连续训练的许多任务中。许多正则化损失函数已被引入对抗训练中，如Lipschitz正则化、??1正则化等。在本文中，我们采用了一种特殊的Ulam稳定性条件诱导的正则化函数，该函数由Ren等人[11,24,25]提出，并应用于领域适应和对抗防御等领域。下面我们提出一个关于深度神经网络稳定性的关键定理，这是Ulam稳定性正则化确保模型稳定训练的重要理论基础。
定理1 ([11])：假设N是一个具有足够深度和宽度的神经网络。如果???[??]?(??,??)? ≤ ?? (1)，那么??是Hyers–Ulam–Rassias稳定的，并且存在一个Jensen映射?? :?? →??，满足∥???(??)? ? ???(??)∥ ≤ 5?? + ???(0)，??∈?? (2)，其中??? = 2???(??/2 +??/2) ? ???(??) ? ???(??)，??,?? ∈??。利用这个定理，Yan等人[11]试图建立稳定性和对抗鲁棒性之间的关系，并提高模型的鲁棒性。实际上，从上述定理可以得出一个结论：如果一个神经网络满足Hyers–Ulam–Rassias稳定性（或Ulam稳定性）条件，那么该神经网络的值域，即特征子空间，可以通过一个唯一确定的Jensen函数在不超过53?? +??2(0)的带区域内进行控制。基于这一属性，我们在训练的两个阶段引入了Ulam稳定性正则化，以确保模型在两个阶段都能保持训练稳定性，同时在对抗性训练中保持良好的准确性。如果一个非线性映射是Ulam稳定的，那么它的精确解可以通过近似解来逼近，精确解与近似解之间的误差小于Ulam常数或一个正的控制函数。由于深度神经网络的复杂性，很难在特定空间中有效地表示它们的解析属性，例如很难解析地表示满足某个特定方程的神经网络。通常，我们只能从分布和近似的角度考虑网络的性质，比如边界估计理论。回到对抗性训练的领域，让我们直观地解释引入Ulam稳定性正则化的效果。假设X是一个包含干净样本和相应对抗样本的样本空间。设N是一个神经网络。如果N是Ulam稳定的，那么存在一个确定的映射g，使得对于任何?? ∈??，都有∥??2(??) ? g(??)∥ ≤ ??。换句话说，无论是对抗样本还是干净样本，它们都会被映射g限制在一个有界的带状区域或球形区域内，即??2(??) ∈ ??????2??2(g(??), ??), ?? ∈??。

3.2 第一阶段：稳定性对抗性训练
正则化方法不仅可以提高模型的鲁棒准确性，还可以使模型训练更加稳定。基于Ulam稳定性条件的对抗性训练可以被视为一种特殊形式的正则化对抗性训练。通过利用Jensen类型的Ulam稳定性条件，可以提高模型的鲁棒准确性，并且一致地提高模型的训练稳定性。然而，进一步分析表明，当选择较大的批量大小时，Ulam稳定性条件的效果会在一定程度上减弱，甚至会退化为没有添加稳定性条件的情况。从方程(3)可以看出，为了快速计算Ulam稳定性损失函数，通常会对一批数据应用范数来计算其整体Fubini范数。随着批量大小的增加，矩阵的范数会发生显著变化，导致正则化项发生较大变化，从而影响模型训练的稳定性。因此，在对抗性训练的第一阶段，我们采用小批量训练策略，以便模型能够得到充分训练并获得高鲁棒准确性。这里一个重要的问题是：第一阶段的训练何时会结束？就训练策略而言，我们希望模型在第一阶段能够得到充分训练，鲁棒准确性没有提高，并且还没有出现鲁棒过拟合现象，或者即将出现。在本文中，我们在第一阶段选择了一个固定的迭代次数，即???????????????????? = 128和?????????? = 100。基于提前停止策略，也可以在验证集上鲁棒过拟合现象的拐点终止模型的第一阶段训练。在实验部分，我们将验证第一阶段训练迭代次数对模型最终鲁棒准确性的影响。

第一阶段模型训练的损失函数可以由以下公式定义：
???????????(??,????????,??) = ??·?????(??,????????,??) + ?????(??,????????,??)，
其中??是一个超参数，?????是一个对抗性训练损失函数，例如PGD的损失函数。

3.3 第二阶段：稳定性过拟合抑制训练
我们新提出的模型的第二阶段用于抑制鲁棒过拟合，并使模型进一步提高鲁棒准确性。在这个阶段，一个不可避免的现象是鲁棒过拟合；也就是说，模型的训练损失函数在训练集上仍在下降，但验证集上的损失函数在上升，训练鲁棒准确性继续提高，而验证鲁棒准确性持续下降。为了解决这个问题，我们引入了对比学习策略，通过在干净样本和对抗样本之间进行对比学习来抑制模型的鲁棒过拟合现象。对比学习是无监督自学习领域中的一种常见技术，可用于解决大规模预训练问题，例如MoCo。模型的预训练过程通常伴随着过拟合，而对比学习提供了一种缓解过拟合的方法。模型可以在大规模预训练期间进行持续学习和训练。因此，我们引入了信息噪声对比估计（infoNCE）损失函数，其定义如下：
??????????????? = exp(s???(m??, ?? + ??????) / ??)exp(s???(m??, ?? + ??????) / ??) + ∑????=1, ??≠??(exp(s???(m??, ?? ? ??????) / ??))
其中?? ∈{???, ???,..., ????}，x是查询样本，?? + ??????是x的正样本，?? ? ??????是x的负样本，??是温度系数。

简单地在第二阶段引入infoNCE损失函数并不能抑制鲁棒过拟合现象。它需要两个方面的优化和改进。第一个优化要求设置更大的批量大小，另一个需要改变的是引入Ulam稳定性损失函数。与第一阶段的对抗性训练不同，Ulam稳定性对抗性训练需要较小的批量大小，而在第二阶段需要设置较大的批量大小，因为对比学习通常依赖于一定数量的正样本和负样本。后续的消融实验也验证了一定数量的样本是第二阶段训练有效性的必要条件。值得注意的是，仅仅使用infoNCE损失函数进行第二阶段的训练并不能很好地抑制鲁棒过拟合问题，鲁棒准确性也没有得到提高。在第二阶段引入Ulam稳定性损失函数后，模型训练的稳定性得到了提高，模型的过拟合现象得到了抑制。随着训练的进行，模型在验证集上的损失函数仍然可以持续下降，验证鲁棒准确性持续增长并保持稳定。实际上，Ulam稳定性损失函数提供了一种特殊的正则化效果，使模型在对抗性训练过程中更加稳定，这一点在论文[11]中的实验中也得到了验证。

为了进一步提高鲁棒过拟合的效果，我们在第二阶段计算Ulam稳定性损失函数和infoNCE损失函数时随机丢弃输出特征。这种随机丢弃策略可以进一步提高模型的鲁棒准确性。因此，第二阶段模型的整体损失函数可以表示为：
?????????????(??,????????,??) = ??·??????(p??, ????????,??) + ??·???????????????(p??, ????????,??) + ?????(??,????????,??)
其中??是一个超参数。

???????????????(p??, ????????)的定义如下：
???????????????(p??, ????????) = ??????????????(p???(??)), ??????(p???(??)))
其中x和????????是配对的正样本，其他未配对的样本是负样本。

由于?????函数可以选择任何对抗性损失函数，我们提出的方法可以与其他不同的对抗性训练模型结合使用，并且具有即插即用的能力。此外，由于过拟合现象得到了缓解，我们新提出的方法不依赖于提前停止条件的选择。即使在完全训练了一定次数后，模型仍然可以保持高鲁棒准确性，这在大多数情况下比提前停止条件更好。这也使模型训练更加灵活，不再依赖于验证集上的提前停止条件判断，允许模型更加自由地训练。然而，实验结果表明，提前停止条件仍然是一个相对强大的对抗性训练模型选择条件，仍然可以作为首选策略。

总之，两阶段的对抗性训练方法在第一阶段使用基于稳定性的对抗性训练方法来快速提高模型的鲁棒准确性，以防止鲁棒过拟合的发生；在第二阶段，使用基于稳定性的对比学习方法来持续训练模型，抑制对抗性训练过程中发生的鲁棒过拟合，并持续提高模型的鲁棒准确性。两个阶段的对抗性训练都使用了对抗性损失和稳定性正则化损失函数。主要区别在于两个方面：在第一阶段，使用较小的批量大小来减轻由于高数据维度导致的过大的Ulam稳定性损失函数问题，从而实现更稳定的模型训练；在第二阶段，添加了对比损失函数，并增加了批量大小，使模型能够充分学习对抗样本和干净样本之间的对比特征。两阶段训练的结合效果提高了模型的鲁棒性和准确性，并有效地抑制了过拟合。

鲁棒过拟合指的是模型的训练集上的对抗性损失函数随训练不断下降，而验证集上的鲁棒损失函数不断上升的现象，呈现出V形训练曲线。单阶段的Ulam稳定性对抗性训练可以在持续训练过程中提高模型的稳定性，使模型即使在较长的训练周期内也能提高鲁棒准确性。然而，它不能有效抑制鲁棒过拟合，随着训练步数的增加，鲁棒过拟合仍然会发生。稳定性-对比训练在抑制过拟合方面起着关键作用。在第二阶段模型训练中，通过学习干净样本和对抗攻击样本之间的稳定性-对比特征，提取出鲁棒分类特征、Ulam稳定性特征和对比学习特征。这使得模型能够减轻由单一鲁棒分类特征表示引起的过拟合。对比学习损失和Ulam稳定性损失受到一个小正则化系数的控制，从而实现了正则化的训练效果。

4. 实验
在本节中，我们使用实验来验证所提方法的有效性。所有实验都在Tesla H100 GPU上进行测试。数据集中使用了常用的CIFAR10和CIFAR100数据集，网络模型使用PreResnet18和WideResnet34模型进行测试。随机选择CIFAR10和CIFAR100训练集的十分之一作为验证集进行提前停止条件测试。攻击中的范数是??∞范数。我们设置??????????? = 8/255, ??????????? = 2, ?????????????? = 10, ?????????? = 8/255, ???????????? = 20, ????????? = 2, ?? = 0.1。其他比较实验的方法使用开源代码或论文中的默认设置，如GAT、PGD、TRADES和GRADALIGN。模型的学习率设置为分段学习率（??????0 = 0.1），在100和150周期时衰减系数为0.1。

在我们提出的两阶段模型中，CIFAR10数据集的实验中，第一阶段训练了100个周期，第二阶段训练了100个周期。对于PreResnet18网络，第一阶段的批量大小设置为128，第二阶段的批量大小设置为4096。对于WideResnet34模型，由于单个80GB H100 GPU的存储限制，第二阶段的批量大小设置为PGD和GAT为1024，TRADES为512，GRADALIGN为800。详细参数见表1。

4.1 对比实验
我们的对比实验涉及以下算法：GRADALIGN [4], GAT [17], PGD [14] 和 TRADES [18]。实验验证使用在验证集上表现最佳的模型的准确性（Best）和训练200个周期后的最终准确性（Final）作为基准进行比较，其中Final准确性是模型训练最后五个周期的平均鲁棒准确性。为了衡量模型训练的稳定性，我们使用了最佳准确率（Best accuracy）和最终准确率（Final accuracy）之间的差异，表示为 Δ????????。从表2和表3可以看出，本文提出的两阶段训练策略在模型训练的稳健准确率和稳定性方面优于基准方法PDG、TRADES、GRADALIGN和GAT。此外，与仅使用Ulam稳定性相比，本文新提出的两阶段方法也获得了更高的稳健准确率。表2：在CIFAR10和CIFAR100数据集上对PreResnet18的性能进行比较。表3：在CIFAR10和CIFAR100数据集上对WideResnet34的性能进行比较。

4.2. 抑制稳健过拟合
从图2、图3、图4和图5可以看出，随着训练步骤的增加，PGD、TRADES、GRADALIGN和GAT方法都存在一定程度的稳健过拟合现象。训练集上的损失函数持续下降，但验证集上的损失函数显著增加。训练集上的稳健准确率持续上升，但验证集上的稳健准确率的变化趋势较小。然而，使用两阶段训练后，模型的稳健过拟合现象得到了有效抑制，验证集上的损失函数继续下降并最终趋于稳定。随着训练集准确率的提高，验证集的稳健准确率也稳步增加，直至稳定。图2：PGD对抗训练方法和两阶段PGD对抗训练方法在训练集和验证集上的稳健准确率曲线及损失曲线。图3：TRADES对抗训练方法和两阶段TRADES对抗训练方法在训练集和验证集上的稳健准确率曲线及损失曲线。图4：GRADALIGN对抗训练方法和两阶段GRADALIGN对抗训练方法在训练集和验证集上的稳健准确率曲线及损失曲线。图5：GAT对抗训练方法和两阶段GAT对抗训练方法在训练集和验证集上的稳健准确率曲线及损失曲线。

4.3. 早期停止策略与两阶段训练策略的比较
从表2和表3的稳定性指数Δ????????可以看出，使用两阶段训练方法后的早期停止策略模型的稳健准确率非常低，而最终训练模型的稳健准确率甚至优于早期停止策略模型的准确率。此外，我们利用早期停止条件自动找到了模型两个阶段之间的切换点，在第二阶段也使用了早期停止条件进行迭代训练。结果显示在表4中。从表4可以看出，基于早期停止条件的两阶段模型的训练准确率与固定迭代次数的两阶段训练相比没有显著提高。这表明在对抗训练过程中，可以选择不依赖早期停止策略的模型训练方式，使训练更加灵活。主要原因是第二阶段的新方法有效抑制了模型的稳健过拟合现象，使模型训练变得稳定，因此不需要依赖依赖于验证集来优化模型的早期停止策略。早期停止是对抗训练方法中有效的模型选择标准。通过设置不同的早期停止条件，可以防止连续训练导致的稳健过拟合和灾难性过拟合问题。实际上，这是一种权衡；它并没有从根本上解决稳健过拟合的问题，而只是在稳健过拟合发生之前选择了一个大致最优的模型。尽管早期停止条件可以在许多数据集上获得有竞争力的结果，但它们并不是最优的，并且在与大多数其他方法结合使用时也需要考虑兼容性问题。本文中的两阶段方法不依赖于严格的早期停止条件，只需要在第一和第二阶段之间设置一个粗略的训练间隔，模型可以在完成两阶段训练之前自由训练，从而保持相对稳定的稳健准确率。此外，为早期停止条件设置超参数是一个具有挑战性的问题，需要通过不断的实验验证来确定哪种停止策略是最优的。相比之下，我们的两阶段方法能够稳定训练，两个阶段之间的选择更加灵活，可以根据数据集和计算能力灵活配置训练迭代次数。在第4.5节中，我们进行了长期训练，将训练迭代次数加倍，模型的稳健准确率并未下降。

4.4. 消融实验
(i) 单阶段训练与两阶段训练的比较。我们将Ulam稳定性与infoNCE损失函数结合用于单步对抗训练，并将其与两阶段训练的实验效果进行了比较。实验结果表明，Ulam和infoNCE的稳健准确率和稳定性优于第一阶段的训练，而第二阶段的训练在小批量和大批量稳定性方面表现更好。从图6和表5还可以看出，单阶段方法未能有效抑制稳健过拟合现象，模型仍然存在稳健过拟合问题，而两阶段方法则有效抑制了稳健过拟合问题并提高了稳健准确率。图6：单阶段PGD对抗训练方法和两阶段PGD对抗训练方法在训练集和验证集上的稳健准确率曲线及损失曲线。表5：在CIFAR10数据集上对PreResnet18进行单阶段训练与两阶段训练的比较实验。
(ii) 批量大小消融实验。128 → 4096表示第一阶段的训练批量大小设置为128，第二阶段的训练批量大小设置为4096。对PGD、TRADES、GRADALIGN和GAT四种模型进行了两阶段模型测试。第一阶段的批量大小设置为64时，模型的稳健准确率较高。从表6可以看出，第一阶段使用较小的批量大小（64）适合采用Ulam稳定性损失对抗训练，而第二阶段使用较大的批量大小（4096）更合适。表6：在CIFAR10数据集上对PreResnet18进行的批量大小消融实验。
(iii) Ulam稳定性与对比学习消融实验。该实验验证了Ulam稳定性、infoNCE和随机丢弃对模型的影响。从表7可以看出，与原始的PGD方法相比，使用两阶段训练策略，在第二阶段增加infoNCE损失可以在一定程度上提高模型的稳健准确率并抑制稳健过拟合。在第一阶段添加Ulam稳定性可以略微提高模型的稳健准确率和最终模型的准确率，验证了Ulam稳定性能够提升模型的稳健准确率和稳定性。在第二阶段，Ulam稳定性模型的稳健准确率进一步提高，过拟合现象得到抑制，模型逐渐稳定收敛。另外，在网络的最后输出中添加随机损失可以进一步减少稳健过拟合现象并进一步提高模型的稳健准确率。表7：在CIFAR10数据集上对PreResnet18进行的参数消融实验。

4.5. 辅助实验
在这个辅助实验中，我们验证了在没有明显稳健过拟合的情况下，两阶段稳定性对抗训练方法是否仍然有效。使用PreResnet18模型进行了测试。攻击中的范数是??∞范数。我们设置了???????????????? =2/255, ???????????????? =2, ????????????????????????? =10, ????????????? =2/255, ?????????????????????? =20, ????????????? =2。其他比较实验使用的是论文中的开源代码或默认设置，如GAT、PGD、TRADES和GRADALIGN。模型的学习率设置为分段学习率（?????0 =0.1），在100和150个时期衰减0.1。攻击方法为PGD-20。以下实验表明，在200个时期之内，模型中没有观察到明显的稳健过拟合现象，这可以验证在没有明显稳健过拟合的情况下该方法的有效性。从表8的实验结果可以看出，两阶段稳定性对抗训练方法仍然可以在该数据集上实现高稳健准确率，并且所有四种基准模型的稳健准确率都非常高。然而，PGD和GAT方法的最高准确率与最终准确率之间的差异大于Ulam稳定性对抗方法。表8：在RADIOML10A数据集上使用PGD-20攻击对PreResnet18进行性能比较。此外，我们将训练时期数增加到350，学习率在100、150和250时期分段衰减，这被称为LONG TERM TRAINING实验。从表8可以看出，增加训练迭代次数后，两阶段稳定性训练方法具有最佳的稳健准确率和训练稳定性。实验还验证了即使在没有明显稳健过拟合的数据集上，两阶段对抗训练方法也能有效提高模型的稳健准确率，并支持更长时间的连续训练。

5. 结论
在本文中，我们提出了一种基于Ulam稳定性的两阶段稳定性对抗训练方法。在对抗训练的第一阶段，模型利用小批量数据进行稳定对抗训练，迅速提高模型的稳健准确率。在模型的第二阶段，使用大批量稳定性对比学习训练来抑制该阶段出现的稳健过拟合现象，使模型能够继续稳定训练并进一步提高模型的稳健准确率。该方法具有良好的兼容性，可以与多种现有的对抗训练方法结合使用，进一步提高基准模型的稳健准确率和训练稳定性。此外，模型具有较高的训练稳定性，可以减少对早期停止策略的依赖，使模型训练和应用更加灵活。