分数弦正则化：基于分数阶Sobolev能量的Mixup弦外泛化约束方法

《IEEE Access》：Fractional Chord Regularization for Neural Interpolation Paths

　　

摘要：

Mixup类训练在连接两个样本的线段（或弦）上的少数几个点拟合插值标签，而这些点之间的预测则不受约束。分数弦正则化（Fractional Chord Regularization，FCR）利用以分数阶 s ∈ (0, 1) 为索引的归一化分数 Sobolev 能量，惩罚预测与插值标签之间的残差沿输入空间和隐藏空间弦的变化程度。基于经典的分数 Sobolev 结果，我们证明逐点拟合或均方拟合会使该能量不受约束，推导出 s > 1/2 时的整弦上界，并在 s → 1? 时将能量与弦方向导数匹配联系起来。一种通过采样两个弦坐标间滞后量的估计器对 Lipschitz 残差是无偏且有界的，而均匀估计器在 s ≥ 3/4 时可能具有无限方差。为了数值稳定性，训练过程中会省略低于截断值 δ 的滞后量，由此产生的与完整能量之间的差距具有显式界。在 two-moons 数据集上，s = 0.75 且惩罚权重 λ = 0.05 的 FCR 相对于匹配的非惩罚对照，将常见评估能量降低了 15.35%，在该权重下跨不同训练顺序的降幅为 11.33% 至 15.35%。在 CIFAR-10 上（使用小型卷积网络）和 CIFAR-100 上（使用 ResNet-18），FCR 的输入空间变体达到 0.85% 和 3.0% 的预期校准误差，而 Mixup 分别为 13.35% 和 10.86%，这一优势源于它与其对照组共享的干净的交叉熵锚点。该变体与匹配的非惩罚对照之间的种子配对差异在准确率、负对数似然、校准误差和 Brier 分数上的 95% 置信区间均包含零。