具有最优子集选择的直觉主义邻近一致性模糊几何孪生支持向量机

《Neural Networks》：Intuitionistic proximity-consensus fuzzy geometric twin support vector machine with best subset selection

　　摘要：直觉模糊孪生支持向量机（IFTSVM）利用直觉模糊集（IFS）来提升孪生支持向量机（TSVM）的鲁棒性。尽管IFTSVM已有效降低了噪声和异常值的影响，但仍有改进空间：1）IFS无法减少重采样噪声偏差；2）TSVM对噪声特征较为敏感。为解决这些问题，我们提出了一种新的直觉接近共识模糊（IPCF）几何TSVM，并结合基于l0范数的最佳子集选择方法，同时降低异常值、重采样噪声及噪声特征的影响。所提出的IPCF是通过最小二乘法一类支持向量机得到的超平面距离来确定的，而非像IFS那样以到类中心的距离为依据。这一策略能有效减轻异常值和重采样噪声的影响。此外，通过引入l0范数惩罚，可同时实现有效的特征选择和噪声特征降维。由于l0范数惩罚具有非凸性、不光滑性和不连续性，其优化问题较难求解。受近期提出的变序活跃集算法启发，我们设计了直觉接近共识模糊优化变序活跃集算法（IPCF-VSAS）来优化该问题。在模拟数据集和UCI数据集上的实验结果均证明了该方法的优势。具体而言，与其他最先进的支持向量分类器相比，该方法在存在冗余特征和噪声的数据集上通常能取得最优性能。

引言：孪生支持向量机作为SVM的一种流行变体，已被证明能有效处理二元分类问题（Chen, Yang, Ye, Liang, 2011; Jayadeva, Khemchandani, Chandra, 2007; Qi, Yang, 2022a）。与SVM不同，TSVM寻找一对非平行的分离超平面，每条超平面都靠近某一类样本而远离另一类。通常，TSVM只需优化两个规模较小的二次规划问题，因此比SVM更高效。在许多现实场景中，收集到的数据往往包含噪声、异常值以及冗余特征，这些都对建模构成挑战。然而，由于标准TSVM继承了SVM的铰链损失函数，它对噪声和异常值极为敏感（Akhtar, Tanveer, Mohd, 2025; Batuwita, Palade, 2010; Lin, Wang, 2002; Zhai, Gu, Deng, Huang, 2025）。此外，TSVM缺乏有效的特征选择能力，因此对无关或噪声特征尤为敏感（Li, Pan, Chen, Tsang, Shao, 2025a; Xie, Sun, Qian, Zhang, Ye, Wang, 2023）。因此，为应对复杂的现实问题，必须解决TSVM的固有局限性。

降低噪声和异常值影响有两种常见策略，即嵌入法和加权法（Liu et al., 2023）。对于嵌入法，研究人员通常用非凸损失函数替代铰链损失函数以提高鲁棒性。实际上，由于铰链损失函数没有上界，异常样本通常会远离类中心，从而导致较大的损失，进而影响最终分离超平面的性能（Wang, Zhu, Shao, 2024; Zheng, Chen, Wang, Wang, 2021b）。由于非凸函数具有上界，能够限制异常样本的损失，从而提高SVM的鲁棒性。许多非凸损失函数，如斜坡损失（Wang, Ye, Luo, Ye, Fu, 2019; Wu, Liu, 2007）、lp范数损失（Wang et al., 2022）以及相关性诱导损失（C损失）（Xu, Cao, Hu, Principe, 2017a; Zheng, Li, Yan, 2021a），都被用来提升SVM的鲁棒性。近期，人们提出了波形损失函数，这是一种具有不对称性和有界性的损失函数，且具有经过验证的分类校准特性，已被成功应用于最小二乘环境下的SVM和TSVM，形成了波形SVM和波形TSVM（Akhtar, Tanveer）。随后，他们又提出了守护者损失（G损失），这是一种不对称、有界且光滑的损失函数，由此产生了GL-TSVM模型，进一步提升了模型对异常值的抵抗能力（Akhtar et al., 2024a）。在回归领域，人们提出了HawkEye损失函数，旨在同时实现有界性、光滑性以及不变敏感区（Akhtar et al., 2024b）。最近，Akhtar等人（2026）将所谓的RoBoSS损失集成到孪生SVM框架中，开发出了RoBoTS，该模型具有鲁棒性，并包含正则化项以遵循结构风险最小化原则。

然而，采用非凸损失的SVM的一个主要局限是，非凸性会显著增加计算成本（Akhtar, Tanveer, Mohd, 2025; Wu, Liu, 2007; Xu, Cao, Hu, Principe, 2017a）。因此，加权法似乎更具吸引力。在加权法中，根据样本的重要性为其分配不同的权重，从而大幅降低那些权重极小的异常样本的影响（Xu et al., 2014）。其中，模糊集是一种衡量不同样本重要性的强大工具（Hazarika, Gupta, 2025; Hazarika, Gupta, Borah, 2021）。Lin和Wang（2002）首次将模糊集引入SVM，以增强其鲁棒性，他们通过样本到类中心的距离来衡量其重要性。Batuwita和Palade（2010）提出了一个强大的模糊隶属度框架FSVM-CIL，该框架分别利用样本到类中心、估计超平面以及实际超平面的距离。由于当类别由形状不规则且存在多个密集团块的结构组成时，FSVM-CIL可能效率较低，Sevakula和Verma（2017）提出了通用型隶属度函数，以提高FSVM的灵活性。基于相对密度，Yu等人（2019）设计了FSVM-WD和FSVM-BD用于识别异常值。直觉模糊集是模糊集的扩展，它引入了非隶属度函数的概念，能够更好地衡量样本的重要性和不确定性（Atanassov, 1986）。Rezvani等人（2019）将FSVM-CIL发展为IFTSVM。Rezvani和Wu（2023）构建了基于相对密度的IFS，并将其应用于提升多类TSVM的鲁棒性。Tanveer等人（2024）提出了直觉模糊加权最小二乘TSVM，该模型同时结合了隶属度权重和非隶属度权重以及局部邻域信息。此外，为同时处理类别不平衡和噪声数据，还开发了基于投影的模糊LS-TSVM方法（Tanveer et al., 2024）。总体而言，这些最新研究显示出将模糊机制整合到TSVM中的明显趋势，而开发既能应对噪声鲁棒性、又能实现特征选择且具备较高计算效率的TSVM变体仍是一个未解之题。

标准TSVM缺乏正则化项。为解决这一缺陷，Shao等人（2011）引入了l2范数惩罚来控制其结构风险，这一方法在后续研究中得到了广泛应用（Tomar and Agarwal, 2015）。不过，l2范数惩罚无法筛选出重要特征并去除冗余特征（Tibshirani, 1996），因此经过l2范数惩罚的TSVM对噪声特征较为敏感。为实现特征选择，Zhu等人（2003）考虑了使用l1范数SVM。Ikeda和Murata（2005）研究了lp范数（p≥1）ν-SVM的几何特性。由于l1范数惩罚最多只能选择n（样本数量）个特征，Wang等人（2006）转而使用弹性网，在高维情况下获得更好的性能。Liu等人（2007）提出了适用于二元和多类分类问题的自适应lp范数（p≥0）SVM。Shao等人（2019）提出了一种联合方法，即SPDLSSVM，旨在同时实现最小二乘SVM中原始问题和对偶问题的稀疏性。Ke等人（2021）结合l0范数进行正则化以及l∞范数作为损失函数，提出了lp?l∞ LSSVM，以便利用高维数据集中边缘点的信息。在某些情况下，我们更关注特征组而非单个特征，Zou和Yuan（2008）利用F∞范数对特征进行分组级处理，以实现SVM的特征组选择。后来，Li等人（2025b）将这一理念应用于非类别数据学习。近期，l0范数正则化引起了大量研究兴趣（Huang, Jiao, Liu, Lu, 2018; Ming, Yang, 2024）。尽管从理论上而言，l0范数非常适合特征选择，但它带来了重大的优化难题。Huang等人（2018）提出了所谓的SDAR算法，用于l0范数惩罚回归，该算法能够快速且稳定地处理大规模数据集。然而，其在SVM中的应用尚未得到充分研究。

需要指出的是，大多数模糊集都旨在降低异常值的影响，却忽视了SVM边界超平面附近偏离零均值特征的噪声，即重采样噪声。Huang等人（2014）证明，基于铰链损失函数的SVM对重采样噪声很敏感，这会导致性能下降。为提升模型稳定性，他们引入了弹球损失作为更为鲁棒的替代方案。然而，弹球损失SVM缺乏样本稀疏性，所有样本都是支撑向量（Huang, Shi, Suykens, 2014; Xu, Yang, Pan, 2017b）。这一缺点可能会增加训练负担。受IFS启发，本文我们构建了一种新的直觉接近共识模糊（IPCF），该机制能够给异常值和重采样噪声赋予极小的权重，从而同时降低它们的影响。此外，我们将IPCF与基于l0范数惩罚的几何TSVM相结合，以实现鲁棒且稀疏的学习效果。为进一步阐明本工作的贡献，表1对比了所提出的IPCF-l0GTSVM与包括IFTSVM、ATFLSSVM（Borah and Gupta, 2022）以及lpLSTSVM（Zhang et al., 2014）在内的几种相关方法的特性。

简而言之，主要贡献如下：
1.1）提出了一种新的直觉接近共识模糊（IPCF）机制，用于识别噪声和异常值。通过自适应衡量样本重要性，IPCF能够有效减少无关或干扰性数据的影响。
2.2）提出了一种基于IPCF的几何TSVM新模型，并结合l0和l2范数正则化项，形成IPCF-l0GTSVM，以实现鲁棒学习。首先，IPCF能够使GTSVM动态抑制异常值和重采样噪声的干扰；其次，l0范数正则化通过限制非零参数的数量来强制实现稀疏性，从而实现特征选择，消除冗余属性；第三，l2范数正则化通过惩罚模型参数的复杂性来减轻过拟合现象，进一步提升模型的泛化能力。
3.3）为实现非凸且不光滑的IPCF-l0GTSVM问题的优化，设计了一种高效的算法。在每次迭代中，该算法都会根据当前重要的特征（即非零参数分量）更新基于IPCF的得分，从而有效消除冗余噪声的干扰。这种自适应的得分更新机制能够动态跟踪各迭代中样本重要性的变化，确保模型在优化过程中始终优先考虑可靠的样本和关键特征，进而提升收敛效率和解题精度。
4.4）在人工数据集和基准数据集上的实验结果表明，所提出的IPCF-l0GTSVM在处理高维复杂数据时，性能优于现有的最先进SVM/TSVM算法。得益于IPCF加权策略、l0范数稀疏性正则化以及l2范数复杂性正则化的协同作用，该模型在应对重采样噪声、异常值和噪声特征——这些高维学习场景中的核心挑战——方面表现出色。其优异的性能体现了其对复杂数据特征的强大适应性，进一步证明了其在高维、易受噪声干扰的学习分类任务中作为可靠解决方案的竞争力。

其余部分结构如下：第2节介绍必要的符号说明并回顾相关研究；第3节详细阐述IPCF并提出IPCF-l0GTSVM模型；第4节介绍所实现的算法；第5节通过数值研究验证IPCF-l0GTSVM的优势；最后，第6节对全文进行总结。第1节给出IPCF-VSAS算法的详细推导过程，第2节则对定理1进行证明。数值研究
在本节中，我们将在众多合成数据集和UCI基准数据集上，比较1-SVM（Bradley和Mangasarian，1998）、Pin-TSVM（Xu等人，2017b）、rhangesVM（Xu等人，2017a）、ATFLSSVM（Borah和Gupta，2022）、L1LSTSVM（Zhang等人，2014）、IFLSTSVM（Tanveer等人，2022）、GBTSVM（Ganaie和Ahire，2025）、RoBoSS-SVM（Akhtar等人，2025）以及我们所提出的IPCF-l0GTSVM的性能。对于所提出的IPCF-l0GTSVM，其参数调整范围为：τ∈{20,21,…,min(2[log2(n/log(n))],p)}，k∈{3,}。

结论
本研究提出了一种新的基于直觉模糊的l0范数几何TSVM（IPCF-l0GTSVM），旨在同时降低重采样噪声、异常值以及冗余特征对分类任务的影响。该算法的鲁棒性得益于所设计的IPCF策略，该策略通过LSOCSVM计算特征空间中样本间的接近度，并通过评估样本与其邻居之间的共识程度来衡量样本的重要性。在实际应用中……

CRediT作者贡献声明
Kai Qi：写作——审阅与编辑，写作——初稿，指导，软件，方法论，研究，资金获取，数据整理，概念设计。Yuanmei Zhang：写作——初稿，可视化，验证，软件，数据整理，概念设计。Hongchun Wang：写作——审阅与编辑，指导，数据整理，概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号12401664）以及重庆市自然科学基金（项目编号CSTB2024NSCQ-MSX0855）的支持。
Kai Qi|Yuanmei Zhang|Hongchun Wang