基于拟范数的SVM分类中稀疏且稳健的特征选择

《Neurocomputing》：Sparse and robust feature selection in SVM classification through -quasi-norms

　　摘要：尽管已有许多支持向量机方法被提出，旨在提升高维数据环境下的鲁棒性、可解释性（此处指特征层面的稀疏性和稳定性）以及可扩展性，但很少有框架能够将这三方面有效地整合到一种统一且计算效率高的模型中。本文通过引入一种用于高维空间中具有鲁棒性和可解释性的分类新框架，来弥补这一缺陷。利用-拟范数的稀疏性特性，我们开发了新的基于SVM的模型，将这些-正则化项直接纳入优化问题中，从而在单一数学框架内实现特征选择与鲁棒性的结合。这些模型借鉴了最小误差极小化概率机与Cobb–Douglas学习机，同时引入了关键创新，以有效处理非凸稀疏惩罚问题并提升数值计算的可行性。为高效解决由此产生的非光滑非凸问题，我们提出了一种对角线两步算法，该算法通过交替处理加权凸子问题与辅助参数更新来实现求解。理论分析表明，对于正则化逼近问题，其目标值呈单调递减趋势，生成序列有界，且其累积点满足KKT条件。该算法的每轮迭代复杂度与特征数量呈多项式关系。在多个生物医学基准数据集上的广泛实验系统地评估了范数参数的影响，揭示了稀疏性、鲁棒性与平衡精度之间的权衡关系。基于Friedman和Nemenyi检验的补充统计分析进一步证实了各模型之间性能差异的显著性。与RoBoSS-SVM和Wave-SVM等近期提出的鲁棒SVM框架相比，所提方法在特征扰动条件下实现了更好的分类精度与稳定性平衡，同时保持了高效的训练速度。总体而言，这些-正则化模型为高维数据提供了可扩展且可解释的解决方案。模型的可解释性不仅得益于稀疏性——它使得权重向量更为紧凑且易于分析——还得益于学习到的分类器对特征扰动的更强稳定性，这提升了特征重要性评估的可靠性。

引言：二元分类方法是机器学习中的基础工具[1]，而支持向量机因其强大的泛化能力与坚实的理论基础，至今仍具有重大影响力[2]。多年来，人们开发出了多种SVM变体以提高效率，如Twin SVM[3]，以及为提升可解释性而设计的模型[4]。虽然“可解释性”这一概念具有多面性，SVM相关研究也从不同角度对其进行了探讨，包括事后规则提取、替代建模以及基于核函数的模型结构简化[5][6]，但在本研究中，我们采用特征层面的可解释性定义。具体而言，我们认为当一个SVM分类器依赖于更少但更具信息量的特征子集时，它更具可解释性，因为这样可以明确哪些变量决定了决策函数。这一视角与现有关于可解释特征选择的文献[7][8]高度一致，这些研究指出，减少活跃特征集有助于提高透明度，帮助领域专家——尤其是在高维生物医学场景中——识别出影响模型决策的关键生物标志物或预测因子。SVM在表格数据及高维数据上表现优异，能够提供可解释的决策边界。然而，现实世界的数据集往往存在不确定性与噪声，若不加以处理，就会降低预测性能[9][10][11]。与此同时，在生物医学诊断[12]和金融风险分析[13]等应用领域，可解释性与稀疏性愈发重要，因为在这些领域中，理解特征的重要性与精确度同样关键。在特征数量远超样本数量的高维问题中，传统模型面临着过拟合、可解释性及计算效率等方面的挑战。因此，嵌入式特征选择对于提升模型泛化能力及识别最相关的预测因子至关重要[14]。Tibshirani[15]提出的-范数正则化方法并被引入SVM中[4][16]，可用于实现特征稀疏化，但往往难以达到最优的特征降维效果。通过基于-或-的正则化方法[17][18][19][20]，可以进一步强化稀疏性，不过由此产生的问题属于非凸非光滑类型，给数值计算带来了巨大挑战[21][22][23][24]。另有研究致力于提升模型对数据不确定性的鲁棒性。最小化极大化概率机[9]、其针对特定类别的扩展版本[10]，以及Cobb–Douglas学习机[11]，均通过将概率约束重新表述为非线性二阶锥规划来建模不确定性[25]。然而，这些模型并未整合嵌入式特征选择功能。同样，基于-或-范数的鲁棒特征选择方法[26][27][28][29]，在兼顾稀疏性、鲁棒性与数值计算可行性方面也存在局限。据我们所知，目前尚无研究系统探讨在鲁棒分类中使用-拟范数，也未分析该范数对算法行为、平衡精度以及鲁棒性权衡的影响。本文通过提出一种将-拟范数正则化融入SVM框架的统一架构，同时实现嵌入式特征选择与对不确定性的鲁棒性，从而解决了上述问题。本研究的主要贡献如下：1. 我们提出了新的基于SVM的鲁棒分类模型，这些模型引入了-拟范数正则化，从而在单一优化框架内实现了特征选择与鲁棒性（此处指分类器对输入特征随机扰动的稳定性）的结合，并通过稀疏性明确识别出最具影响力的特征，进而提升了模型的可解释性。2. 我们提出了一种新颖的对角线两步算法用于求解这类模型，该算法通过交替处理加权凸子问题与自适应参数更新来实现求解，具有多项式级的每轮迭代复杂度，且正则化目标值呈单调递减趋势。3. 我们对所提算法进行了理论与实证分析，包括证明正则化逼近问题的目标值呈单调下降、生成序列有界以及其累积点满足KKT条件的定理，同时还进行了运行时间方面的评估。4. 我们在六个高维生物医学基准数据集上开展了大量实验，系统分析了参数在调节稀疏性、鲁棒性与平衡精度之间关系中的作用。5. 我们运用Friedman和Nemenyi检验进行了全面的统计分析，以验证所观察到的性能差异的显著性，从而证明了所提-正则化模型相较于各类基准模型具有更优的实证性能。6. 实验结果表明，与-SVM、Wave-SVM[30]、RoBoSS-SVM[31]以及逻辑回归等标准基准模型相比，所提模型在基于稀疏性的可解释性以及面对特征扰动时的鲁棒性方面均表现出竞争力或更优的性能，这些优势均在相关基准数据集上得到了验证。最后，本文通过整合计算复杂度分析、定量鲁棒性评估以及统计显著性检验，提供了所提框架在稳定性、可解释性及效率方面的实证依据。本文的其余部分结构如下：第2节回顾了相关的分类模型与特征选择方法；第3节介绍了所提出的框架与优化算法；第4节详细描述了实验设置，并分析了数值结果，包括所提算法的数值行为、鲁棒性评估、统计显著性检验以及与现有先进基准模型的比较；最后，第5节总结了主要研究发现，并探讨了未来的研究方向。