关于鲁棒且准确分类器的连续性

《IEEE Transactions on Neural Networks and Learning Systems》：On Continuity of Robust and Accurate Classifiers

对抗样本问题中，连续假设的鲁棒性与准确性存在根本性矛盾，需通过分区域训练离散假设解决。研究调和与全纯假设框架揭示了连续函数无法收敛到最优鲁棒断续解的数学本质，为构建抗攻击模型提供新理论路径。

　　

摘要：

学习模型的可靠性是机器学习在各种应用中成功部署的关键。创建一个稳健的模型，特别是不受对抗性攻击影响的模型，需要全面理解对抗性样本现象。然而，由于机器学习问题的复杂性，描述这一现象非常困难。研究表明，对抗性训练可以提高模型的鲁棒性，但这种提升通常会以在自然样本上性能下降为代价。因此，有人认为模型的鲁棒性和准确性是相互矛盾的。在本文中，我们提出了另一种观点，即在这些情况下，模型的连续性与鲁棒性和准确性是不兼容的。换句话说，连续函数无法有效地学习出最优的鲁棒模型。我们提出了一个框架，用于从学习理论的角度严格研究和谐函数与全纯函数，并提供了实证证据，证明在某些常见的机器学习任务中，连续函数的性能不如不连续函数。从实际角度来看，我们的结果表明，一个既稳健又准确的学习规则需要为域的不同区域训练不同的连续模型。从理论角度来看，我们的分析将这些情况下的对抗性样本现象解释为函数序列的连续性与其向不连续函数的一致收敛之间的冲突。鉴于许多现代机器学习模型都是连续函数，从理论上研究鲁棒且准确的分类器的连续性非常重要，因为这对其构建、分析和评估具有深远影响。在构建过程中，连续性可能会导致近似结果的误差。因此，有必要对这些现象进行分析...

显示更多