BFCH-SMOTE：边界融合凸包合成少数类过采样技术

《Neurocomputing》：BFCH-SMOTE: Boundary fusion convex hull synthetic minority oversampling technique

　　摘要：在分类任务中，类别不平衡问题带来了显著挑战，往往会导致少数类分布出现噪声或复杂性，从而影响分类器的性能。现有的过采样方法，如SMOTE及其变体，通常采用固定的基于邻居的采样方式，难以处理复杂的分布，并生成次优的合成样本。本文提出了边界融合凸包合成少数类过采样技术（BFCH-SMOTE）。与传统方法不同，BFCH-SMOTE同时利用了少数类和多数类边界样本的信息。具体而言，它通过将少数类边界样本与其最近的多数类边界邻居融合，构建可调整的凸包区域，并根据凸包面积比例动态分配合成样本。这样可以优化地扩展具有更强边界信息的安全合成区域。在27个数据集上的广泛实验表明了该方法的优越性，包括15个合成数据集和12个来自现实世界的大规模多类任务。更重要的是，Wilcoxon符号秩检验表明BFCH-SMOTE在统计上优于12种传统基准方法。此外，与SMOTE-GAN等深度生成模型相比，它具有更出色的全局判别性能，同时保持了极高的计算效率。对融合参数的敏感性分析也证明了其在不同噪声水平下的强大适应性，为处理复杂的失衡分类问题提供了有效解决方案。

引言：在许多分类任务中，数据集的失衡分布导致了类别不平衡问题，这已成为机器学习领域的重要研究课题。通常，失衡数据集是通过比较各类别样本数量的比例来衡量的，其中多数类的样本数量远远超过少数类。这种偏斜的分布常常迫使标准分类器过度偏向多数类，从而导致少数类的错误分类率过高。在诸如欺诈检测、疾病预测、信用评分、光学和红外数据处理以及遥感图像分析等众多实际应用领域中，错误分类少数类实例所带来的成本远远高于错误分类多数类实例。因此，准确地对失衡数据集中的所有样本进行分类仍然是一个重要且具有挑战性的问题。

为了解决这个问题，现有的解决方案大致可分为三种主要范式。第一种范式包括算法层面的修改和正则化技术，这些技术通过调整内部学习机制、优化决策边界（例如最大边际分类器）或应用面向类别的惩罚措施来强调少数类的重要性。第二种范式侧重于成本敏感学习，即为少数类分配更高的错误分类成本。第三种范式涉及数据层面方法或数据增强技术，包括欠采样、过采样和混合采样策略。数据层面技术因其灵活性、可扩展性和与模型无关的特性而备受青睐，因为它们可以直接调整类别分布，而无需对下游分类算法进行修改。

本文重点讨论过采样这种数据增强技术，它通过生成合成少数类实例来缓解类别不平衡问题。合成少数类过采样技术（SMOTE）通过在线性插值的方式连接少数类实例及其随机选定的最近少数类邻居，从而推动了这一领域的发展。尽管SMOTE仍是该领域的基石，但其基于随机、结构盲插值的根本机制在复杂且充满噪声的分布中存在严重局限。

如图1所示，SMOTE在运行时并不了解实际的决策边界，这就导致了两个关键的结构缺陷。首先，当数据集存在高度重叠时，SMOTE的随机选择会盲目地将孤立的少数类异常值与多数类区域相连，从而产生严重的合成噪声，破坏拓扑结构。其次，在少数类实例形成小型孤立子簇的极度失衡情况下，k-NN机制被迫反复选择相同的有限实例对。因此，SMOTE会沿着完全相同的线段反复插值。这种在受限位置上的重复生成会导致人为的密集、共线的重叠样本，造成严重的结构冗余，并增加局部过拟合的风险。

为了解决这些局限性，虽然已经提出了许多SMOTE的变体，但仍然存在显著的方法论差距。早期的方法如Borderline-SMOTE和ADASYN是基于局部距离度量来针对边界或难以学习的样本。然而，在极度偏斜且充满噪声的数据集中，依赖局部k-NN来识别边界是相当脆弱的。最近的几何方法（如CHSMOTE）通过将生成限制在凸包内来防止过度泛化，但它们依赖于被动插值，意味着它们严格地将合成区域限制在现有的少数类坐标范围内，无法主动将决策边界推向多数类。与此同时，现代的深度生成模型，如生成对抗网络（GANs）、DeepSMOTE以及新兴的基于扩散的过采样框架，虽然能够模拟复杂的流形，但作为计算成本高昂的“黑箱”，缺乏对决策边界的明确、可解释的几何控制。

为填补这些空白，我们提出了边界融合凸包合成少数类过采样技术（BFCH-SMOTE）。我们的动机源于两个基本原则：（1）稳健的边界识别需要全局概率估计，而非脆弱的局部距离度量；（2）有效的过采样应主动融合并扩展边界，而非被动地在边界内插值。因此，BFCH-SMOTE首先采用一种考虑不平衡问题的随机森林（RF）过滤机制。从理论上讲，RF提供了一种基于集成方法的、考虑边缘信息的概率估计，相比原始的k-NN距离，它对重叠噪声具有更强的鲁棒性，从而确保后续的边界定位能在拓扑结构清晰的特征空间中进行。之后，我们计算经过验证的少数类边界对的中点，并引入一种通过尺度控制插值向最近的多数类边界样本移动的新型自适应融合点。这个融合点的确切空间位置由一个融合参数动态控制，从而实现灵活的扩展。通过构建包含这个融合点的自适应凸包，BFCH-SMOTE能够明确且安全地扩展少数类决策区域。

本文的主要贡献可概括如下：1. 我们提出了一种考虑不平衡问题的随机森林机制，用于有效清除重叠噪声，克服了传统基于距离的局部选择的脆弱性。2. 我们利用自适应融合点构建跨越边界的凸包，主动扩展少数类决策边界，并根据几何面积动态分配合成样本，以防止区域过度密集。3. 在27个数据集上的广泛实验表明，无论是在全局分类平衡性还是计算效率方面，BFCH-SMOTE都在统计上优于传统的变体以及最先进的深度生成模型。

本文的其余部分安排如下：第2节回顾相关研究工作。第3节详细阐述所提出的BFCH-SMOTE的基本原理。第4节介绍实验设置、比较结果及统计分析。最后，第5节对整个研究进行总结。

相关研究：为了解决SMOTE的固有局限性，尤其是其生成无信息或含噪声合成样本的倾向，人们开发了大量先进的 数据增强技术。本节对这些最先进的进展进行了分类，并指出了促使我们设计BFCH-SMOTE的关键方法论差距。

所提出的BFCH-SMOTE方法：在本节中，如总体框架图（图2）所示，我们详细描述了该算法的三个核心组成部分：稳健的边界样本选择、主动的边界融合凸包构建以及动态的合成样本生成策略。

数据集介绍：为了验证所提出的算法在处理类别不平衡问题上的效果，我们测试了27个数据集：15个合成数据集和12个来自UCI等数据库的真实世界数据集。合成数据集包含800个样本，2个特征，呈现爪形、三叶草形或多项式集群拓扑结构，通过径向位移（范围为0.2）实现5种边界扰动程度（0%、30%、50%、60%、70%），以此模拟从理想可分离到强噪声的各种情况。真实世界数据集则涵盖了医学、工业、感官以及金融等多个领域。

结论：在本文中，我们提出了BFCH-SMOTE，这是一种主动边界融合凸包过采样算法，它克服了传统SMOTE变体的拓扑结构限制。通过构建以少数类和多数类边界样本为锚点的自适应凸包，并根据几何容量动态分配合成实例，我们的方法能够在安全扩展少数类决策区域的同时，有效防止多数类入侵。

在27个数据集上的广泛实验表明……

CRediT作者贡献声明：Hui Wen负责方法论和概念设计；Yangji Li负责初稿撰写、可视化以及资金筹集；Jihong Pei负责验证和数据整理；Rong Zheng负责调研和形式分析；Haitao Liu负责审稿编辑及软件相关工作。

利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文的研究成果。

致谢：本研究得到了中国国家自然科学基金[项目编号52577115]、福建省自然科学基金[项目编号2023J011015、2024J01888、2022J011179]、中国教育部[项目编号231102311285117]、中国莆田市科学技术局[项目编号2024N-JJ009、2023GJGZ003、2024GZ2001PTXY17]、中国莆田大学[项目编号yjs2024054]以及福建省科学……的支持。

Hui Wen出生于1981年，2018年在中国深圳大学获得智能信息处理博士学位。他目前是中国莆田大学人工智能学院的副教授，研究兴趣包括机器学习和神经网络。

Hui Wen|Yangji Li|Jihong Pei|Rong Zheng|Haitao Liu
中国福建省莆田市城厢区学园街，莆田大学人工智能学院，邮编351100