基于后验误分类率的自适应复合邻居过采样算法用于不平衡数据学习

《Neural Networks》：Posterior misclassification rate-based adaptive composite neighbor oversampling for imbalanced learning

　　摘要：
类别不平衡指的是各个类别之间的样本数量存在显著差异，这可能会妨碍少数类别的学习并降低分类性能。现有的过采样方法通常依赖于固定大小的邻域进行线性插值，使得样本生成对边界样本和噪声样本敏感。因此，我们提出了基于后验误分类率引导的自适应复合邻居合成少数类过采样技术（RAN-SMOTE）。首先，使用异构基础学习器设计了一种自适应误分类率估计策略来描述样本分布并移除噪声样本。其次，将后验误分类率纳入考虑，以自适应调整邻域大小并选择可靠的少数类邻居，从而减少边界样本的干扰。最后，基于复合分数开发了一种概率邻居选择策略，并采用Beta分布引导的三角形插值来生成多样性和可靠的合成样本。在31个不平衡数据集上的实验表明，与竞争方法相比，RAN-SMOTE提高了分类性能。在五个数据集上的额外标签噪声实验表明，该方法在5%和10%的噪声率下表现出良好的鲁棒性。

引言：
在现实世界的应用中，类别不平衡是医学诊断（Salmi, Atif, Oliva, Abraham, Ventura, 2024, Siddavatam, Shinde, 2026）、欺诈检测（Dal Pozzolo et al., 2018）和故障诊断（Chen, Wei, Huang, Yuan, Wang, 2024a, Lin, Jamrus, 2024）等实际应用中的关键问题之一。数据空间中样本较少的类别通常被称为少数类。尽管少数类样本较少，但它们往往代表更关键或高风险的情况，从而导致更高的误分类成本。相反，多数类包含更多的样本，通常代表常见的事件或状态。例如，在医学诊断中，患者只占人口的一小部分，但准确识别他们是应用的核心目标。因此，可以利用机器学习来帮助识别患者并提高诊断效率和准确性。模型在学习过程中往往会偏向多数类，从而降低其识别少数类样本的能力（Guo et al., 2017）。为了解决上述问题，研究人员从两个角度探索了方法：改进模型学习机制和调整数据分布，这可以分为算法级方法（Rezvani, Pourpanah, Lim, Wu, 2024, Yu, Sun, Yang, Yang, Shen, Qi, 2016, Zhou, Liu, 2006）和数据级方法（Chawla, Bowyer, Hall, Kegelmeyer, 2002, Hu, Li, Li, Zhang, Feng, Law, 2026, Zhou, Zou, 2025）。算法级方法旨在调整学习机制以学习少数类样本的特征和决策边界，从而减少对多数类的预测偏差。例如成本敏感学习（Sun, Kamel, Wong, Wang, 2007, Zhou, Liu, 2006）、分类策略调整（Yu, Sun, Yang, Yang, Shen, Qi, 2016, Zhang, Gweon, Provost, 2020）和核学习（Rezvani et al., 2024）。成本敏感学习通过为少数类错误分配更高的误分类成本来减轻多数类偏差（Sun et al., 2007）。与成本敏感学习不同，分类策略调整修改决策规则或阈值以平衡各类别的预测倾向，并在默认决策策略下改善对少数类样本的识别（Zhang et al., 2020）。从特征表示的角度来看，核学习将样本映射到合适的特征空间，以更好地描述少数类分布和决策边界（Rezvani et al., 2024）。除了核空间映射，补充子空间表示也为不平衡分类提供了一种新方法。CSCR-W（基于补充子空间的加权协同表示模型）（Li et al., 2024b）将补充子空间正则化纳入协同表示，并根据原始类别分布自适应确定类别权重，以增强少数类表示。随后，AWLICSR（具有自适应权重学习的不平衡补充子空间表示）（Li et al., 2024c）进一步整合了类内和类间密度信息，以学习样本级权重，同时保留封闭形式解。除了这些基于补充子空间的协同表示方法，LSIBLS（具有标签松弛和样本权重适应的不平衡广义学习系统）（Li et al., 2025a）结合了基于遗传编程的特征优化、由成对标签关系指导的标签松弛和基于密度的样本加权，以减轻模型对多数类的偏差。然而，这些方法的有效性取决于它们的加权策略、特征表示和学习机制是否适合数据分布，这可能限制了它们在不同学习场景中的适用性。数据级方法通过调整数据空间中的样本分布来缓解类别不平衡。这些方法相对简单易实现，不依赖于特定的分类模型（He and Garcia, 2009）。根据数据分布的调整方式，这些方法可以大致分为欠采样和过采样。欠采样方法通过移除部分多数类样本来平衡类别分布，但这可能导致丢失多数类的信息（Sun et al., 2024b）。相比之下，过采样方法通过增加少数类样本来平衡数据分布，从而帮助模型更好地学习少数类特征。随机过采样是最简单的过采样方法之一，它通过直接复制现有的少数类样本来平衡数据分布，但这可能增加过拟合的风险。Chawla等人提出了SMOTE（合成少数类过采样技术）（Chawla et al., 2002），它通过在欧洲类样本及其最近邻居之间插值来生成新的少数类样本，从而提高样本多样性。然而，原始数据中的噪声样本也可能被选中进行插值，导致噪声扩散到相邻区域（Matharaarachchi, Domaratzki, Muthukumarana, 2024, Sáez, Luengo, Stefanowski, Herrera, 2015, Tao, Wang, Zhu, Yu, Yin, 2024）。为了解决这些问题，研究人员提出了RN-SMOTE（降低噪声-SMOTE）（Arafa et al., 2022）和SMOTE-kTLNN（基于SMOTE和两层最近邻分类器的混合重采样方法）（Sun et al., 2024a）等方法来识别和移除样本合成过程中引入的噪声。然而，这些方法通常在过采样后进行噪声过滤，而不是防止噪声样本参与合成过程。一旦噪声样本参与插值，噪声可能会传播到合成样本中，使得后续过滤难以检测到噪声。为了防止噪声样本参与合成，Cai等人提出了LSMOTE（基于链接的合成少数类过采样技术）（Cai et al., 2024），它在过采样之前移除噪声样本。然而，它依赖于局部邻居信息，当噪声样本和正常样本高度混合或数据分布复杂时，噪声识别可能不可靠。除了噪声去除，识别少数类边界样本对于描述决策边界也很重要。Borderline-SMOTE（Han et al., 2005）关注接近类别边界的少数类样本，而ADASYN（自适应合成采样）（He et al., 2008）则通过自适应样本分配进一步强调难以学习的少数类样本。然而，使用固定的k最近邻机制来识别边界或难以学习的少数类样本可能会忽略局部结构和样本密度的变化，从而降低边界样本识别和新样本生成的有效性（Zhu et al., 2016）。除了样本可靠性和邻居选择之外，插值机制在确定合成样本的分布和多样性方面也起着重要作用。大多数基于插值的过采样方法通过线性插值生成样本，这在一定程度上减少了落入多数类区域的风险，但仍将合成样本限制在原始样本之间的局部线段空间内。因此，这些方法可能无法捕捉少数类样本的复杂底层分布（Dai et al., 2025）。总之，现有的过采样方法通过噪声抑制、邻居选择、决策边界增强和面向多样性的样本生成提高了分类器的性能。然而，它们的有效性仍受到不可靠的噪声过滤、固定邻域依赖性和线性插值导致的样本多样性限制。因此，需要一种同时考虑样本可靠性、自适应邻居选择和多样样本生成的过采样方法。为此，本文提出了RAN-SMOTE。首先，该方法使用异构基础学习器和基于预测概率稳定性的自适应重复机制来估计少数类样本的后验误分类率。在合成之前，根据误分类率移除噪声少数类样本。接下来，对于每个保留的少数类样本，使用欧几里得距离构建候选邻居集，然后使用后验误分类率来确定自适应邻域大小，并通过结合距离和误分类风险的复合分数选择可靠邻居。进一步使用后验误分类率为少数类样本分配采样权重。在样本生成过程中，概率选择两个可靠邻居，并采用基于Beta分布的三角形插值策略来合成新的少数类样本。

本文的主要贡献如下：
- 开发了一种基于异构基础学习器的自适应后验误分类率估计策略，用于根据误分类风险描述少数类样本并在过采样前识别噪声样本。
- 提出了一种自适应邻居选择机制，将欧几里得距离与后验误分类率相结合，并根据样本级别的误分类风险调整邻域大小，从而在不同局部密度条件下选择可靠的邻居。
- 引入了一种基于Beta分布的误分类率引导的三角形插值机制，以提高合成少数类样本的多样性。
- 在31个公开的不平衡数据集上的实验证明了RAN-SMOTE的分类有效性，而在五个数据集上的标签噪声实验评估了其在不同噪声率下的鲁棒性。

本文的其余部分组织如下。第2节介绍了不平衡学习的相关工作。第3节描述了所提出方法的工作原理。第4节提供了实验结果和相应的分析。第5节总结了本文并讨论了未来的研究方向。

相关工作：
在不平衡学习中，减少分类模型的偏差和提高对少数类的识别已成为活跃的研究课题（Chen, Yang, Yu, Shi, Chen, 2024b, Hida, Nascimento, 2026）。过采样方法因其通过丰富少数类样本的分布来缓解类别不平衡，并且可以轻松应用于不同的分类器而受到广泛研究。然而，许多基于插值的过采样方法通过局部线性生成新样本。

模型构建：
大多数现有的噪声识别机制基于k最近邻的局部一致性假设，并通常依赖于距离度量来描述样本的邻域结构。然而，在复杂的数据场景中，局部邻域结构可能变得不稳定，使得噪声识别不可靠。例如，如图1(a)所示，靠近决策边界的少数类样本可能被误认为是噪声，因为它们的邻域包含许多多数类样本。

实验分析：
为了评估RAN-SMOTE在不平衡分类任务上的性能，本节介绍了实验设置和比较结果，包括数据集、评估指标、分类器、比较算法、交叉验证协议、参数设置和统计测试。

结论与未来工作：
本文提出了RAN-SMOTE，以解决现有过采样方法在不平衡学习中的局限性。通过结合样本级别可靠性估计、自适应邻域选择和Beta分布引导的三角形插值，所提出的方法减少了噪声和不可靠少数类样本的负面影响，缓解了在复杂和不均匀的局部数据分布中固定大小邻域的限制，并生成了更多多样化的合成实例。

CRediT作者贡献声明：
Xianyou Zhong：撰写——原始草案、方法论、形式分析。
Yifeng Zheng：撰写——审稿与编辑、监督、项目管理、资金筹集、概念化。
Wenjie Zhang：撰写——审稿与编辑、监督、资金筹集。
Baoya Wei：调查、数据管理。
Weiqiang Liu：撰写——审稿与编辑。

利益冲突声明：
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。

致谢：
本项工作是自然科学基金（项目编号62376114, 62372488）、漳州市自然科学基金（项目编号ZZ2024J20）、福建省自然科学基金（项目编号2026J001984, 2026J002035, 2025J01366）资助的研究项目的成果。