基于Slack引导与几何感知的知识驱动过采样方法，用于智能不平衡学习

《Knowledge-Based Systems》：Slack-Guided and Geometry-Aware (SGGA) Knowledge-Based Oversampling for Intelligent Imbalanced Learning

　　雷玛·拉利特|卡皮尔
印度哈里亚纳邦库鲁克谢特拉国立技术学院计算机应用系，邮编136119

摘要
在基于知识的机器学习任务中，如欺诈检测、医疗诊断、预测性维护和风险评估，不平衡数据集一直是一个亟待解决的难题。支持向量机虽然能够通过二次规划找到全局最优解，但极易受到类别不平衡的影响，往往偏向多数类。本研究提出了一种基于松弛变量的几何感知过采样技术，该技术利用嵌入在支持向量机松弛变量中的领域知识以及支持向量的空间分布。该方法并非生成合成数据，而是有选择地在特定松弛带内复制少数类支持向量，尤其是那些靠近决策边界的向量，从而有效重塑数据分布，提升代表性不足的类别的影响力。这种受控的、基于几何原理的重复操作能够改变训练空间，有助于构建更公平的决策边界，提高少数类的识别能力，减少智能系统中的多数类偏见。在多个基准数据集上的实验结果表明，该方法相较于SMOTE、ADASYN和MWMOTE等传统重采样技术具有显著优势。通过将基于松弛变量的几何推理融入数据复制过程，该方法为解决现实世界中的分类问题提供了一种稳健、可解释且符合领域知识的解决方案。

引言
支持向量机模型最初由Cortes和Vapnik[1]为二元分类而提出，后来被证明是最有效的核基算法[2]。通过最大间隔法，支持向量机可以为优化问题提供全局最优解。此外，它还融合了结构风险最小化的理念[3]。传统上，支持向量机使用铰链损失函数[4]来衡量分类误差。虽然铰链损失函数能有效最大化类别间的间隔，但其无界特性使其容易受到异常值的影响。此外，支持向量机在处理不平衡数据集时表现不佳，这一局限影响了其在实际应用中的效果，比如异常检测[5]、疾病诊断[6]以及欺诈检测[7]。实际上，大多数现实世界的数据集本质上都是不平衡的。传统的分类算法通常假设数据集中的类别分布是平衡的，因此类别不平衡问题会严重影响任何分类器的性能。为了解决这一问题，人们提出了多种改进型的支持向量机。

处理类别不平衡问题有多种方法，可分为数据层面方法和算法层面方法。数据层面方法包括通过采样技术来平衡数据集中的类别分布。为了实现类别分布的平衡，数据层面算法会采用扩大或缩小训练数据集的策略。常见的采样技术有三类：欠采样、过采样和混合采样。其中最流行的过采样方法包括合成少数类过采样技术（SMOTE）及其变体[8][9][10]。另一种处理类别不平衡的方法是欠采样，即减少多数类的样本数量。常见的欠采样方法有随机欠采样[11]、基于相关信息的欠采样[12]以及用于解决类别不平衡问题的舒尔分解法[13]。混合采样则是欠采样与过采样的结合。另一方面，算法层面方法则致力于在不修改原始数据集的情况下提升现有分类器的性能，这类方法通过成本函数或集成学习策略来从少数类中学习。机器学习中用于处理类别不平衡的算法还包括边界移动法[14]、基于成本的方法[15]、阈值调整方法[16]以及基于核函数的缩放方法[17]。成本敏感学习是一种算法方法，它根据类别归属为不同实例分配不同的权重。不同错误成本模型[15]利用不平衡比率来给少数类样本赋予比多数类样本更高的权重。尽管这种方法提升了标准支持向量机在不平衡数据集上的性能，但它仍然容易受到噪声和异常值的影响。最近有一项研究通过对类别不平衡相关研究的科学计量学和文献分析，指出了该领域的重要性、发展趋势及未来方向[18]。

模糊支持向量机[19]通过在传统支持向量机模型中引入模糊隶属函数，降低了算法认为可能是噪声或异常值的样本的权重，从而减少了它们对分类过程的影响。模糊隶属函数有助于微调支持向量机的决策边界，降低不可靠数据点的影响，提升整体分类性能。然而，传统模糊支持向量机中的模糊函数可能无法准确反映数据点的实际重要性，因为与决策边界的几何距离并不一定能够准确表明数据点在分类中的关键性。SFFSVM模型[20]解决了这一缺陷，它通过使用松弛因子为潜在的异常值或噪声样本赋予更低的模糊隶属值，从而使决策边界更加稳健。不过，SFFSVM模型在为多数类样本定义模糊隶属值时存在局限性：只有当多数类样本被决策超平面错误分类且其松弛因子小于2时，模糊函数才会赋予其较高重要性。但2这个固定阈值并非总是最优的。ISFFSVM模型[21]进一步拓展了这一工作，它借鉴了先前的研究思路，专门在决策边界附近的特定区域内重复少数类的支持向量。这种针对性的重复操作增加了关键少数类样本对决策边界的影响，直接解决了类别不平衡问题，同时避免了调整模糊隶属值或松弛因子阈值的复杂性。

文章结构如下：1.1节阐述了具体的研究问题；1.2节和1.3节对支持向量机进行了全面的理论分析；1.4节介绍了SMOTE方法，1.5节则介绍了本文提出的创新方法；2节详细描述了研究方法，包括数据集和实验设计；3节展示了实验所得的详细结果；4节分析了实验过程中观察到的现象；5节对结果进行了深入讨论；最后，6节总结了研究内容并提出了未来研究方向。

本文试图回答以下研究问题：
1. 如图1所示，从松弛带区域重复采样是否会影响系统的性能？该区域的松弛变量满足ξ>0和ξ*>0。
2. 如图1所示，从边际区域之外重复采样是否也会影响系统性能？该区域的松弛变量满足ξ=0和ξ*=0。
3. 在上述两种情况下，决策边界会发生多大偏移？在指定的松弛带区间[0-0.5]和[0.5-1]内，入侵程度或松弛变量值会发生多大变化？
4. 如何利用这些结果来解决类别不平衡问题？
5. 在合成数据集和真实世界的数据集上，评估所提系统相对于其他基准方法的性能，这些数据集具有不平衡特征且数据点分布在不同的空间位置。通常，为了解决类别不平衡问题，人们会复制少数类样本，以减少对多数类的偏见。本文的核心思路是通过聚焦于过采样，尤其是对松弛带内的支持向量进行过采样，来减少这种偏见。通过分析重复样本的空间分布，可以了解它们的位置如何影响决策超平面的行为和方向。通过策略性地调整超平面的位置，可以最小化平均分类误差，从而降低整体误分类率。

支持向量机分类器综述
支持向量机是一种广为人知的分类工具。1995年，Cortes和Vapnik[23]将其引入以解决二元分类问题。如图1所示，支持向量机通过最大化可行间隔，将多数类数据与少数类数据分开。由于采用了二次规划方法，因此能够最大化超平面之间的距离。通过核方法，支持向量机也可应用于非线性问题[2]。此外，特征选择技术也运用了支持向量机[22]。目前已有多种改进型的支持向量机，如鲁棒支持向量机、模糊支持向量机、双支持向量机、基于L1范数的TSVM、最小二乘支持向量机，以及用于多视图和多类学习的支持向量机。为了提高模型在含噪声环境下的泛化能力，鲁棒支持向量机通过损失函数对所有样本进行惩罚[24]。尽管支持向量机在性能上优于许多其他分类器，但由于需要解决二次规划问题并选择合适的核函数，其计算成本仍然较高。为了解决二次规划问题，双支持向量机提出了两个非平行的超平面[25]；在最小二乘双支持向量机中，等式约束被转化为不等式约束；基于L1范数的双支持向量机进一步提升了模型的鲁棒性[26]；模糊支持向量机主要作用是降低异常值的影响[27]；在最小二乘支持向量机中，无需解决二次规划问题，而是直接处理线性方程组；多视图学习提高了基于支持向量机的模型的通用性[29]。Cha等人[30]提出了密度加权支持数据描述方法；在密度加权支持向量机中，会在训练阶段应用密度权重，以提高少数类的重要性并降低多数类的重要性[31]；简化版的双支持向量学习则通过使用小型矩形核矩阵来加快计算速度，并有效缓解类别不平衡问题[32]；还有研究探讨了支持向量重复对支持向量机超平面方向的影响[33]。为了解决含噪声数据导致的类别不平衡问题，有人将基于松弛因子的模糊支持向量机与成本敏感学习相结合[20]。

支持向量机用于确定最优超平面，其公式为(?(A)w)+b。其中，训练数据A属于实数空间RNn，通过函数?(A)被映射到更高维的特征空间，该函数在其线性形式下能够区分多数类和少数类数据样本。系统会选择产生最大间隔的超平面，当然也可以使用其他多个超平面来划分两类数据。间隔是指超平面与相邻的多数类或少数类样本之间的距离[5]。设Traindata表示训练数据，即Traindata={(A1,d1),(A2,d2),?(Am,dm)}，其中Ai属于RNn，di属于{?1}（少数类）或{1}（多数类），i从1到m。线性支持向量机的目标就是解决二次规划问题。支持向量机试图找到最优的超平面，其数学表达式为：min12∥w∥22+C∑i=1mξis.t, D(?(A)w+eb)≥e?ξ，其中ξ和e分别是误差向量和单位向量。C为正则化参数。通过拉格朗日乘数法和Karush–Kuhn–Tucker条件，可以得到方程(2)的对偶形式。从数学上看，对偶形式可表示为：min12αtD?(A)?(A)tDα?etα。方程(3)还可以改写为：min12αtDK(A,At)Dα?etαs.t., 0≤α≤Ce,Dtα=0且α≥0。此处α为拉格朗日乘数，D为类别标签的对角矩阵。K(A,At)=?(A)?(A)t为线性核函数。那些满足α≠0条件的数据样本被视为支持向量。[D(?(A)iw+eib)+ξi?ei]=0，其中ei=1，阈值条件为|α|≥θ。变量偏差和权重分别通过方程(9)和(10)计算，前提是ξi≠0。首先，需要确定用于计算b的支持向量；为此，只需考虑处于决策边界上的样本，这些样本可通过方程(6)找到。具体计算公式为：SV=(α>threshold)bMajSV=Min(?A+1w+e)bMinSV=Max(?A?1w?e)b=12(bMajSV+bMinSV)。b的值是通过结合两类样本的支持向量来计算的：b的最小值来自标签为+1的支持向量，最大值来自标签为-1的支持向量，如方程(7)和(8)所示，最终b的值则为两者的平均值，如方程(9)所述。w=AtDα。每个支持向量的ξi和ξi*值可通过方程(11)和(12)分别计算，其中方程(11)用于少数类，方程(12)用于多数类。ξi=1?K(xit,At)Dα?b，ξi*=1+K(xit,At)Dα+b。这里的xi为用于计算ξ和ξi*的少数类或多数类数据样本。对于少数类，SMOTE通过利用该类样本的k个最近邻居来生成合成样本，从而纠正数据集的偏差。具体而言，会随机选取k个最近邻居中的一个，然后将对应的特征向量与该随机值相乘，从而生成新的合成样本。大多数SMOTE版本都需要一个参数k，表示预先确定的最近邻居的数量。如果k值选择不当，可能会导致生成人为的噪声样本。而本文提出的方法则不需要这样的k值。Dsyn=pi+Δ(pi?nj)，其中Dsyn为新生成的样本，pi为少数类样本，nj为k个最近邻居之一，Δ属于[0,1]区间。多年来，已有许多SMOTE的变体被提出[34]、[35]、[36]、[37]、[38]、[39]、[40]。从中我们选择了SMOTE、ADASYN和MWMOTE与所提出的方法进行比较。ADASYN[35]能够自适应地生成合成少数类样本，尤其关注少数类样本分布稀疏的区域。这样一来，决策边界就会向那些更难处理的样本移动。MWMOTE[37]则通过给那些靠近多数类样本的“困难”少数类样本赋予更高权重，并在最具信息量的候选点周围生成新样本，从而创建出高质量的合成样本。近期有一些研究提出了多种先进的SMOTE变体，以应对不平衡学习带来的挑战。例如，SMOTE-SA-LSTM[41]将SMOTE过采样与经过模拟退火优化的LSTM网络相结合，提升了不平衡数据集上的金融风险预警精度。同样，基于链接的SMOTE（LSMOTE）[42]则利用基于链接的采样、高斯合成以及噪声过滤等方法，减少二分类任务中的过拟合和噪声问题。基于迭代的SMOTE（ISMOTE）[43]则通过围绕错误分类的样本不断生成新样本来改进数据质量，进而提升分类性能。此外，DDSC-SMOTE[44]还借助数据分布和谱聚类技术来生成更具代表性的合成样本。与传统如SMOTE和ADASYN这类通过插值或自适应密度估计来生成合成样本的过采样算法不同，所提出的这种基于松弛度引导、考虑几何结构的过采样方法并不创建人工数据点。相反，它选择性地重复那些落在特定松弛带（0??1）以及那些已被轻易分类的样本（ξ?≈?0）。相比之下，SMOTE和ADASYN可能会因为其基于插值的生成方式而引入噪声或重叠样本，而MWMOTE则需要进行复杂的迭代加权计算。我们所采用的基于松弛变量的重复策略则能够保留真实数据的几何结构，通过强化真正具有区分度的样本来提升模型的泛化能力。

方法论
本研究所采用的方法论在算法1中有详细阐述。首先需要定义一个大小为m?×?n的矩阵X。接着使用一系列正则化参数C={10?2,10?1,?,104}以及决策阈值（θ=10?2）应用SVM分类器。松弛变量ξ和ξ*分别对应少数类和多数类的分类误差。在实验中，对于简单的数据集会使用线性核函数，而对于其他情况则使用径向基函数。那些松弛变量ξ值落在(0–0.5]和(0.5–1.0]范围内的少数类数据点被选出来作进一步分析。在这两个区间内，分别有25个和16个支撑向量被识别出来并进行了可视化展示。由于这两个区间内支撑向量的数量存在差异，因此在数据平衡处理过程中采用了不同的重复因子。具体来说，对于(0–0.5]区间，测试了从1到20不等的重复因子；而对于另一个区间，则测试了从1到……的重复因子。

所提方法的误差分析
该方法引入了一种全新的、基于几何信息的 数据增强技术，能够根据松弛变量ξ的值有选择地复制少数类支撑向量。与传统可能随意生成合成数据的过采样策略不同，该方法专门针对那些位于精心挑选的ξ区间内的支撑向量，即(0–0.5]和(0.5–1.0]区间。这种有针对性的复制操作有助于强化那些最容易出现少数类样本的决策边界区域。

讨论
尽管所提出的基于支撑向量的过采样方法在大多数数据集上都能取得优异效果，但在某些情况下，其性能略低于全局或自适应过采样技术。这种情况通常出现在少数类样本数量极少、分布较为分散或极度零散的数据集中，这类数据集所能提供的有用数据量十分有限。在这样的场景下，像SMOTE或ADASYN这类会对所有样本进行插值处理的算法则更为适用。

总结、结论与未来工作
本研究得出结论：在SVM中，支撑向量对于确定超平面的方向和位置起着至关重要的作用。对少数类支撑向量进行过采样是一种解决类别不平衡问题、从而降低分类误差的有效方法。在本研究中，少数类支撑向量被重复到不同的空间位置，同时分析了这些重复操作对误差ξ（少数类中的误差幅度）以及ξ*的影响。

代码可用性
本研究所使用的MATLAB脚本可在以下地址获取：https://github.com/reema275/Slack-Guided-and-Geometry-Aware-Knowledge-Based-Oversampling/tree/main。

资金支持
作者们在本项研究、文章撰写及发表过程中没有获得任何财政资助。

CRediT作者贡献说明
Reema Lalit：写作——审稿与编辑，写作——初稿撰写，可视化，软件开发，方法论设计，研究实施，正式分析。Kapil：写作——审稿与编辑，结果验证，研究指导，正式分析，概念构建。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。该作者还是该期刊的编委会成员/主编/副主编/特邀编辑，但并未参与本文的审稿或发表决策过程。作者们还声明了自己可能存在以下财务利益/个人关系，这些或许可被视为潜在的利益冲突：