基于α-修正幂单元（α-RePU）的H?lder网络：提升对抗鲁棒性的新型通用逼近架构

本文提出了一种新型H?lder网络架构，通过α-修正幂单元（α-RePU）实现α-H?lder连续性约束，突破了传统Lipschitz网络的函数逼近局限性。理论证明其可通用逼近H?lder连续函数，实验验证在图像（MNIST/CIFAR-10）和表格数据（ISOLET/BSEQ）上均展现优异分类精度与对抗鲁棒性（抵抗PGD/l∞攻击等）。

　　

研究亮点与主要成果

1. 1.

   首次提出H?lder网络概念，其行为满足H?lder不等式条件；创新性设计α-修正幂单元（α-RePU）激活函数，并构建了基于α-RePU的特定H?lder网络。同时探讨了H?lder网络与L_q正则化（0<>

2. 2.

   在MNIST数据集上验证了α-RePU H?lder网络的分类性能及对抗攻击鲁棒性。实验表明，该模型相比ReLU等常用激活函数模型具有更低分类误差，对FGS（Fast Gradient Sign）、BIM（Basic Iterative Method）和PGD（Projected Gradient Descent）攻击表现出更强抵抗力。

3. 3.

   基于CIFAR-10数据集，采用ResNet架构进一步测试H?lder网络的图像分类性能。通过调节激活函数参数发现，1-RePU模型相比其他激活函数具有更低分类错误率和更优分类表现。

4. 4.

   在表格数据集（如ISOLET和BSEQ）上评估H?lder网络对高斯噪声、l_∞有界扰动和随机特征掩蔽的鲁棒性。实验证明α-RePU激活网络相比ReLU和GroupSort等标准激活函数模型具有更好的稳健性。

结论与讨论

本文提出的α-RePU激活函数神经网络（即α-H?lder网络）是Lipschitz网络的广义形式（当α=1且c=0时退化为Lipschitz网络）。理论证明该网络可逼近任意H?lder类函数（比Lipschitz函数更广泛），因此能适用于更广泛的实际任务场景。实验表明H?lder网络在图像和表格数据分类任务中均表现优异。