基于多数类别的定位关系过采样技术，用于不平衡数据学习

《Neurocomputing》：Positional relationship majority-based oversampling technique for imbalanced data learning

　　刘佳佳|严建建|廖波|罗远生|罗雄彪
江西财经大学软件与物联网工程学院，南昌市，江西省，330013，中国

**摘要**
不平衡数据学习在现实世界中非常重要且普遍存在，这对传统分类器来说是一个巨大的挑战，因为它们往往难以学习到少数类样本。过采样方法通过生成合成样本来平衡多数类和少数类之间的样本分布来解决这个问题。然而，大多数现有方法无法考虑少数类样本与其多数类邻居之间的位置关系，这可能导致识别出“更多”的边界样本并引入重叠问题。在本文中，我们提出了一种新的方法，称为基于位置关系的多数类过采样技术（PRMOTE），以解决这些问题。PRMOTE采用了一种无参数策略来识别真正的边界样本，并为它们构建纯生成区域，确保生成的合成样本不会侵入类别重叠区域。为了评估我们提出的PRMOTE的有效性，我们在16个真实世界数据集和四种不同的分类器上进行了广泛的实验。实验结果表明，我们的方法在不同分类器的不同评估指标上明显优于基线方法。

**引言**
不平衡数据集是指一个类别的数量显著多于其他类别的情况，前者通常称为多数类，后者称为少数类。作为一种关键且普遍存在的挑战，不平衡学习在欺诈检测[3]、[22]、软缺陷检测[15]、[16]、[53]、医学诊断[50]、[51]等多个领域引起了广泛的研究关注。然而，传统的分类算法通常致力于提高整体分类准确性，使得分类器更多地关注多数类样本，而在一定程度上忽视了少数类样本。在现实世界的应用中，少数类中隐藏的信息或模式（例如罕见但关键的事件）更为重要。例如，网络入侵虽然比正常访问少见，但如果未能及时发现，可能会导致严重的后果，如商业秘密泄露甚至国家安全威胁。

为了解决这个问题，过去几十年来许多研究人员提出了不同的方法，这些方法大致可以分为两类：数据级方法和算法级方法。数据级方法[1]、[9]、[29]主要通过基于采样的方法改变不同类别的样本数量来重新平衡不平衡的类别分布，包括欠采样方法[10]、[37]、过采样方法[11]、[40]、[48]和混合方法[19]、[42]。算法级方法[30]、[32]、[34]、[39]、[45]旨在修改现有的分类算法以适应类别不平衡数据集的特点[46]。与算法级方法相比，数据级方法位于数据处理阶段，可以在重新平衡不平衡数据集后与任何现有的分类器配合使用。因此，在这项工作中，我们专注于数据级方法，特别是过采样技术。

近年来，出现了越来越多的过采样方法[13]、[17]、[18]，其中SMOTE[6]仍然是使用最广泛的方法之一。SMOTE通过在少数类样本及其最近的少数类邻居之间插值来生成合成样本。然而，由于忽略了采样种子与其参考邻居之间的局部数据分布，SMOTE经常导致过泛化问题[7]、[33]，从而降低了后续的分类性能。为了应对这些问题，提出了许多基于SMOTE的方法，通常分为边界增强方法[2]、自适应方法[31]、[38]和基于聚类的方法[12]、[14]、[27]、[35]、[41]。边界增强方法在决策边界附近生成样本，使分类器倾向于少数类。自适应方法根据学习难度分配权重，为更难的样本生成更多样本。基于聚类的方法将少数类样本划分为簇，以防止生成样本时出现过泛化。尽管这些方法在特定场景下表现出优势，但它们也存在明显的局限性。边界增强方法依赖于k-近邻（k-NN）来检测少数类边界样本，其中较大的k值会引入冗余。如图1(a)所示，只有实线紫色区域内的样本是真正的边界点，而较大的k值会将绿色虚线区域内的所有少数类样本错误地分类为边界样本。自适应方法倾向于忽略数据分布并过分强调噪声样本，放大噪声并降低分类性能。如图1(b)所示，样本A和B获得了更高的权重，导致它们周围生成了更多的合成样本；然而，这有可能引入额外的噪声。基于聚类的方法忽略了多数类分布，可能会导致噪声合成样本或类别重叠，从而影响增强数据的质量。

此外，还提出了基于空间的过采样方法来减轻类别重叠和抑制合成样本引起的噪声传播。CCR[25]通过基于能量的机制将多数类样本从少数类样本附近排斥，从而在相应区域生成样本；LDAS[47]通过移除重叠度高的多数类样本为少数类样本建立干净区域；CHSMOTE[49]使用它们两个最近的少数类邻居在边界样本周围构建凸包，以确保生成受控。尽管如此，CCR和LDAS仍然对复杂的数据分布敏感，因为它们的净化区域容易受到附近多数类实例的干扰。而CHSMOTE仅依赖于k-近邻结构，这在未知的多数类分布下限制了其有效性，并且通常需要额外的过滤步骤。

基于上述分析，我们发现现有方法的局限性根源在于采样种子与附近多数类样本之间的位置关系确定不准确。为了解决这个问题，我们提出了一种利用这些位置关系的新过采样技术。我们的方法包括四个步骤：（1）通过k-近邻构建候选边界集，并通过分析与多数类邻居的位置关系来过滤样本；（2）识别真正的边界样本；（3）构建生成区域并分配权重；（4）在这些区域内生成合成样本。

本文的主要贡献可以总结如下：
• 我们提出了一种新策略，通过利用少数类样本与其最近的多数类样本之间的位置关系来准确识别真正的边界样本。
• 我们提出了一种新方法，为每个边界样本构建纯生成区域并为其分配自适应权重。
• 基于建立的纯生成区域，我们提出的方法能够有效捕捉数据集中的小离散部分。

本文的其余部分组织如下。第2节回顾了关于不平衡数据集分类的相关工作。第3节介绍了提出方法的动机。第4节详细介绍了提出的方法。第5节展示了实验结果和分析。第6节简要总结了本文。

**相关工作**
到目前为止，研究人员提出了许多过采样技术来处理不平衡学习问题。作为最典型和最广泛使用的过采样方法，SMOTE[6]取得了显著的结果，但该方法也存在许多缺陷。首先，在少数类样本分布重叠或噪声较大的情况下，噪声区域中的一些样本可能会被合成，从而降低分类性能。此外，它只关注样本之间的关系。

**动机**
众所周知，识别少数类边界样本和生成合成样本是设计过采样方法中的关键步骤。尽管已经提出了各种方法来缓解这些问题，但在各种场景中仍然存在局限性。因此，我们从这两个角度分析了最近的方法。以MWMOTE方法[2]为例，我们简要回顾了从数据集中识别少数类边界样本的步骤。MWMOTE首先对每个少数类样本应用k-近邻算法。

**提出的方法**
在本节中，我们提出了一种新的过采样方法来解决上述问题，该方法分为三个连续的阶段。图4展示了所提出方法的框架图。在第一阶段，我们提出了一种新策略来识别最接近决策边界处的真实边界少数类样本。然后，在第二阶段，我们根据每个边界样本最近的多数类样本为其构建生成区域。

**实验研究**
在本节中，我们通过对十六个真实世界数据集进行广泛的实验，并与九个基线方法进行比较，展示了我们提出的PRMOTE的有效性。

**结论**
在这项研究中，我们提出了一种名为PRMOTE的新过采样技术来解决类别不平衡学习问题。具体来说，我们首先开发了一种新策略来识别边界少数类样本。然后，为了避免生成合成样本时的类别重叠问题，我们为每个采样种子构建了一个纯生成区域，该区域位于其最近的多数类样本的对面。最后，在这些区域内生成了合成样本。

**作者贡献声明**
刘佳佳：撰写——原始草稿、验证、软件、方法论、数据整理。
严建建：撰写——审阅与编辑、方法论、概念化。
廖波：资源、项目管理。
罗远生：撰写——审阅与编辑、监督、方法论。
罗雄彪：撰写——审阅与编辑、方法论。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

**致谢**
作者感谢（匿名）审稿人的建设性评论。本工作得到了国家自然科学基金（项目编号72261016和62262023）和西藏自治区科技计划（项目编号XZ202303ZY0005G）的支持。
刘佳佳于2023年进入江西财经大学就读，目前是软件工程专业的本科生。她的当前研究兴趣包括数据挖掘和深度学习。