基于新型有界凹损失的大规模弹性网络支持向量机：稀疏性、鲁棒性与高效计算创新

本文提出一种融合新型有界凹损失函数（bounded concave loss）的弹性网络支持向量机（Elastic Net SVM）模型，通过引入近端稳定点（proximal stationary point）理论和基于工作集（working set）的ADMM优化算法，显著提升大规模分类问题的计算效率与分类精度，在稀疏性、鲁棒性和运行速度方面均优于现有11种主流求解器。

　　

Highlight

(1) 新型有界凹损失：提出具有抗异常值和稀疏特性的有界凹损失函数（见公式(4)）。

(2) 新型鲁棒稀疏弹性网络SVM：构建基于有界凹损失的弹性网络支持向量机（L_bou-SVM），兼具鲁棒性与稀疏性。

(3) 新型次微分与近端算子：精确刻画了L_bou-SVM的次微分和近端算子形式，为算法设计与最优性理论奠定基础。

(4) L_bou-SVM的新型最优性理论：提出近端稳定点概念，并证明其与L_bou-SVM最优解之间的等价关系。

(5) 新型工作集与支持向量：提出L_bou-SVM的新型支持向量定义，并证明其仅占全数据集一小部分，据此构建高效工作集（见式(24)），大幅降低计算开销。

(6) 新型高效算法：开发L_bou-ADMM算法，通过局部数据更新替代全局计算，显著提升L_bou-SVM在大规模问题上的求解效率。

(7) 低计算复杂度与全局收敛性：L_bou-ADMM算法具备低计算复杂度与全局收敛至L_bou-SVM最小解的能力。

(8) 卓越数值表现：在多个数值实验中，L_bou-ADMM在支持向量数量、运行时间和分类准确率上均优于其他七种主流求解器。

The new optimality theory

本节探讨L_bou-SVM的新型最优性理论。首先给出其近端稳定点的定义。

定义 4.1

给定λ, λ₁ > 0，点(h^?; β^?; β₀^?)称为L_bou-SVM（6）的近端稳定点，若存在υ > 0和τ^? ∈ R^m满足以下条件：

〈y, τ^?〉 = 0,

N^?τ^? + β^? + λ₁?‖β^?‖₁ ? 0,

h^? + Nβ^? + β₀^?y = 1,

prox_υλLbou(h^? ? υτ^?) ? h^?。

给定λ > 0，τ^? ∈ R^m和h^? ∈ R^m，定义：

A^? ? {i ∈ [m]: h_i^? > 3/4},

ā^? ? {i ∈ [m]: h_i^? ∈ (0, 3/4]},

?^? ? {i ∈ [m]: …}

The new fast algorithm

支持向量对L_bou-SVM模型至关重要，因其决定了最优超平面。因此，在求解大规模L_bou-SVM时无需保留非支持向量。基于定理4.1和4.2中的新最优性条件，可识别L_bou-SVM的新型支持向量。

Numerical experiments

本节通过对比表1中的七种求解器评估L_bou-ADMM的性能。所有实验均在单台个人计算机上使用MATLAB (R2018b)完成。计算机操作系统为Windows 10，搭载64位Intel Core i7处理器（主频2.7 GHz），配备32 GB内存，确保算法高效运行。

Statistical test

本节选用15个大规模数据集，采用Friedman检验和Wilcoxon符号秩检验，评估所提模型相对于基线模型的性能。

Conclusion

本研究提出一种融合新型有界凹损失函数的弹性网络SVM模型（L_bou-SVM），旨在同时实现鲁棒性与稀疏性，尤其适用于大规模问题求解。针对L_bou-SVM的非光滑与非凸特性，我们基于近端稳定点提出了新型最优性理论，并据此开发了高效求解算法。