DWAT：基于密度加权的对抗训练方法，以实现超出训练扰动预算的模型鲁棒性

《Applied Sciences》：DWAT: Density-Weighted Adversarial Training for Robustness Beyond the Training Perturbation Budget

　　

摘要

深度神经网络（DNNs）被广泛应用于医疗诊断和自动驾驶等安全关键领域。对抗性训练（Adversarial Training, AT）是其中最有效的防御手段之一，它将鲁棒优化视为在一个由防御者指定的范围内进行的最小-最大问题。 script l sub p' data-semantic-attached="true" data-semantic-braille="?????" data-braille-attached="true" has-speech="true"> script l sub p' data-semantic-summary=" subscript' data-semantic-braille="?????"> script l' data-semantic-prefix=" Base' data-semantic-summary=" identifier' data-semantic-braille="???">? p' data-semantic-prefix=" Subscript' data-semantic-summary=" identifier' data-semantic-braille="?">??——即固定半径的球体。这类有界防御方法在对测试时产生的较大扰动时的泛化能力较差。 epsilon' data-semantic-attached="true" data-semantic-braille="??" data-braille-attached="true" has-speech="true"> epsilon' data-semantic-summary "??。本文在MNIST和FashionMNIST数据集上重新探讨了这种失效模式，并明确了它的三个特征：性能退化是突然发生的而非渐进的，其位置与训练预算相关；增加预算可以缓解退化，但不能完全消除它。此外，这种缓解效果受到可训练性的限制，因为当训练数据量（ ε）过大时，训练会停止收敛。决策表面的可视化也显示了同样的失效现象，因为经过对抗训练的模型会形成一个其边界与训练边界重合的平台。综合这些特征，我们可以推断出这种失效是由于训练集中在单一半径范围内造成的。因此，我们提出了密度加权对抗性训练（Density-Weighted Adversarial Training, DWAT）这一框架，它将训练分散到一组采样的球体上，并根据每个候选对抗样本与良性样本的距离，用高斯密度对其进行重新加权。我们将DWAT的目标定义为在扰动先验下对预期对抗风险的自标准化重要性采样估计，并证明这种风险上限受到标准对抗风险的限制，因此DWAT的目标是在不影响AT目标的基础上对其进行优化。我们还证明了总体目标能够限制每个半径下的最坏情况对抗风险，包括超出训练预算的半径范围，且这种限制的成本会随着半径的增加而增加。使用PGD-AT、TRADES和MART等基础防御方法的实验表明，在我们所研究的场景中，DWAT能够减轻超出预算范围的性能退化，且这种优化所需的成本在我们报告和讨论的范围内。