不要对边界进行过采样：不平衡学习中少数类缺陷的一种补救分解

《Neurocomputing》：Don’t oversample the boundary: A remedy decomposition of the minority Deficit in imbalanced learning

　　

摘要类别不平衡主要通过过采样处理，然而 SMOTE 类方法通常以牺牲多数类准确率为代价来提高少数类召回率，且过采样为何有效往往并不清楚。我们引入了一种对误分类少数类的补救分解：袋外误差分诊（集成置信度和局部类别表示，经过偶然不确定性 - 认知不确定性分解验证）与阈值可恢复性测试相结合，将每个少数类误差分配给能够修正它的补救措施：阈值可恢复（其分数已清除经过调整的决策阈值；只有默认截断值是错误的）、数据可简化（更多同类数据会有帮助）或不可简化（真正的类别重叠）。在 79 个真实数据集中，赤字主要由阈值可恢复构成（平均值；在不平衡比率为...时）；只有 6% 是数据可简化的，17% 是不可简化的。这解释了一个已知但未解释的规律：SMOTE 类重采样不改善排序（AUC 不变），且阈值移动可以在不生成合成数据的情况下复现其益处；唯一的例外是单个未充分训练的神经网络，其排序不平衡本身就会损坏，重采样可以部分修复。在具有已知贝叶斯边界的受控混合数据中，标准 SMOTE 将依赖于重叠的合成点放置在边界两侧，一个简短的命题展示了为什么插值边界种子会进入多数类后验空间。一旦每种策略都接受相同的折外阈值调整，非生成家族和生成家族之间的默认阈值差距在三个基础学习者中缩小到 pp 以内（而仅调整阈值则有 pp）：SMOTE 家族的表观优势是工作点效应，而非判别能力增益。实际结论是：诊断赤字；对于大多数赤字，移动决策而不是过采样。

引言类别不平衡是机器学习中的一个持续挑战。在生产环境中，由此产生的性能下降成本并非抽象的：在患病率为 10% 的医疗筛查中，在固定灵敏度下特异性下降一个百分点会使临床医生必须协调的假阳性体积倍增，而在欺诈检测中，它直接增加了决定操作可行性的分析师案件量。当一个类别主导训练分布时，分类器往往倾向于优化多数类准确率，以牺牲少数类召回率为代价 [1]。SMOTE [2] 通过插值现有样本及其最近邻来生成合成少数类实例，在二十年后仍然是主导解决方案，并产生了数百种变体 [3], [4]。然而，一个顽固的规律依然存在：SMOTE 变体几乎总是降低多数类准确率，同时提高少数类召回率。这种准确率 - 平衡准确率权衡如此常见，以至于从业者将其视为过采样的固有特性。

领域对此有两种回应方式。一种路线询问给定数据集需要哪种重采样方法：数据复杂性研究表明，数据特征（而不仅仅是不平衡比率）调节了过采样的有效性 [5]，元学习研究建议根据数据集元特征推荐重采样器 [6], [7]。另一种路线变得公开批评：大型基准研究发现，一旦仔细进行评估，过采样往往无法胜过什么都不做，且报告的增益在很大程度上取决于选择了哪些指标 [8], [9]。两种路线都是相关的：它们将测量的数据特征或基准结果与观察到的性能联系起来，但没有解释为什么某种方法有帮助或有害，且提出的选择规则勉强胜过平凡的“总是 SMOTE”基准。缺少的是关于这种权衡的机制解释，它告诉我们该拉动哪个杠杆。

我们提供了这样的机制解释。我们认为权衡不是过采样的固有特性，而是 SMOTE 生成合成数据位置的一个机制性后果。标准 SMOTE 使用每个少数类实例作为插值种子，包括那些位于决策边界附近真正类别重叠区域的实例。在那里生成会将学习到的边界推入多数类区域，恢复一些少数类实例，同时误分类以前正确的多数类实例。我们分两步建立这一点。在具有已知贝叶斯边界的受控高斯混合数据中，标准 SMOTE 明显将合成点放置在边界两侧。在边界未观察到的真实数据上，受控的干预实验操纵了合成点的生成位置：仅增强模型估计的边界（不可简化）误差复现了完整的 SMOTE 特征（平衡准确率，负准确率趋势），而增强非边界或随机实例则没有这种效果。证据表明，大部分成本可追溯于合成数据的放置位置，而不是重新平衡本身。

为了在真实数据上定位这种边界/重叠区域，我们引入了误差实例分诊，它根据袋外随机森林置信度和局部类别表示将每个误分类训练实例分类；这些类别的解释基于，并经过偶然不确定性 - 认知不确定性分解 [10], [11] 验证。我们明确说明范围：分诊工具是从随机森林集成计算的（这种分解的标准工具 [10]），而下游结论是在三个基础学习者上评估的：梯度提升树、随机森林和逻辑回归（第 5.5 节）。类别包括：
1. 类别 1（噪声）：可能误标记的实例：总不确定性高但偶然不确定性低；标签与特征模式冲突。
2. 类别 2（数据有限）：缺乏同类证据区域的误差：认知不确定性高，局部类别密度低。这些是可简化的：更多正确类别的数据可以解决它们。
3. 类别 3（不可简化）：类别重叠的估计边界/重叠区域的误差：偶然不确定性高。这些不能通过添加数据来简化。

分解产生的是一个诊断工具，而不是一个新的过采样器。在真实不平衡数据上，误分类的少数类集中在这些估计的边界/重叠区域（类别 3 占 85% 的误差，该比例在严格的折外重新估计下保持稳定），这正是 SMOTE 危害的来源。然而，这种平衡准确率赤字结果发现很大程度上是决策阈值伪影：仅移动决策阈值（非生成变化）在默认阈值之上恢复了大约九个百分点的平衡准确率（第 5.5 节），无需任何合成生成。实际含义是，杠杆是决策规则，而不是合成生成，事实上非生成策略（阈值移动、成本敏感学习、平衡集成）在不产生边界生成准确率成本的情况下捕获了可恢复的平衡准确率。

我们使用误分类少数类的补救分解使这一点精确化，将每个误差分为阈值可恢复、数据可简化（认知）或不可简化（偶然）。我们发现赤字主要是阈值可恢复的（在 79 个数据集上的平均值，在不平衡比率为...时）：分类器的分数已经将这些实例放置在经过调整的工作点之上。已知的“移动阈值”等效性 [9], [12], [13], [14] 是后果：在 16 种策略菜单中，过采样不产生排序增益，并在概率空间中改变类别先验而不是改善校准，一旦每种策略都接受相同的折外阈值调整，家族之间巨大的默认阈值差距在三个基础学习者中缩小到 pp 以内。我们将诊断转化为处方，通过一个状态图和一个诚实范围的选择器，它胜过总是 SMOTE / 不平衡比率范式，但只是因为菜单现在包括了主导的非生成策略，而强大的非生成默认值本身就是近最优的。
1. 少数类赤字的补救分解（头条）。我们通过结合误差分诊（袋外置信度和局部表示，经过偶然不确定性 - 认知不确定性分解验证）和阈值可恢复性测试来分解误分类的少数类，将每个误差映射到可以修正它的补救措施：阈值可恢复、数据可简化（认知）或不可简化（偶然）。与以前评估难度 [15], [16], [17], [18] 的实例分类法不同，我们的分类法以模型错误为条件，并引入了阈值可恢复轴。经验上，赤字主要是阈值可恢复的（平均值为，在不平衡比率为...时）。
2. “移动阈值”等效性背后的机制。分解通过表明赤字主要是阈值化伪影，解释了已知的规律（即重采样不改善排序且阈值移动复现其益处 [9], [12], [13], [14]），因此过采样是阈值移动的隐式、低效执行。我们给出了几何机制：在具有已知边界的受控混合数据中，SMOTE 跨边界生成，一个简短的命题（第 3.4 节）展示了为什么插值边界种子会进入多数类后验区域。
3. 大规模证据（确认，而非主张）。在 79 个数据集和 16 种策略菜单中，我们在广泛的名录上复现了过采样不产生判别增益（AUC 不变）并执行概率空间中的先验移动而不是校准改善，以及一旦每种策略都接受相同的折外阈值调整，家族之间 8 pp 的默认阈值差距在三个基础学习者中缩小到 2 pp 以内（六个已评估；记录的例外是单个 MLP，其排序不平衡损坏且重采样部分修复，第 5.5 节）。默认阈值下非生成方法的表观优势是工作点效应。我们将这些框定为对 [9], [14], [19] 的大规模确认。
4. 诚实范围的处方。分解说明哪种补救措施适用；我们添加了一个状态图，并作为次要分析，一个留出选择器，它以 9 分胜过总是 SMOTE，但仅不平衡比率规则与它匹配，强大的非生成默认值是近最优的，因此菜单，而不是选择器复杂性，是杠杆（对 [7] 留下的选择问题的实际答案）。

实例分类用于不平衡学习
几种框架通过学习难度分解训练数据。实例硬度 [16] 根据多个学习者的多数投票为每个实例分配难度分数。数据集制图 [17] 通过训练动态置信度/变异性映射实例。Data-IQ [18] 通过预测轨迹将其扩展到表格数据。最接近的工作线是 Napiera?a & Stefanowski [15], [20]，他们根据比例将少数类实例分类为安全、边界、罕见和异常值基于...

方法
图 1 给出了端到端流程：类加权袋外森林集成提供模型派生信号；误分类实例通过基于袋外置信度和局部表示规则的分诊分为三类，其解释基于，并经过偶然不确定性 - 认知不确定性分解验证（第 3.1 节 - 第 3.2 节）；然后误分类的少数类通过补救分解（第 3.3 节）映射到补救措施；由此产生的诊断是...

数据集
我们在 79 个真实分类数据集上进行评估：不平衡学习/KEEL 基准套件中的 27 个数据集（不平衡比率 -）和附录 I 中列出的 54 个 OpenML [47] 和 scikit-learn 数据集中的 52 个（由于高维度和稀疏格式，USPS 和 webpage 被排除在菜单评估之外），涵盖二元和多类问题，原始大小从 到 个实例和 到 个特征。我们应用分层子采样到每个数据集最多 个实例，这保留了...

结果
我们从验证分诊开始，到主要的补救分解（赤字主要是阈值可恢复的），到机制（受控重叠和一个命题），到其在大规模上的后果（过采样是工作点移动：无排序增益，概率空间中的先验移动而不是校准变化，以及与阈值移动的平局），最后到处方（一个状态图和一个诚实范围的选择器）。

权衡是决策问题，而不是数据问题
我们的核心发现是，少数类赤字按补救措施分解，主要是阈值可恢复的：在 79 个数据集中，平均 9.2 个百分点的少数类误差（在不平衡比率为...时）仅通过移动决策阈值即可纠正，只有 6% 数据可简化，17% 不可简化。这解释了该领域已记录但未解释的规律，即重采样不改变排序（AUC）且阈值移动复现其益处，无需合成生成且不改变...

结论
我们引入了一种对误分类少数类的补救分解，将每个误差分为阈值可恢复、数据可简化（认知）或不可简化（偶然），并使用它来解释为什么类别不平衡校正经常简化为决策阈值变化。在 79 个真实数据集中，少数类赤字主要是阈值可恢复的（平均值 9.2 个百分点，在不平衡比率为 1:9 时为 10.1 个百分点）：分类器的分数已经将这些实例放置在经过调整的工作点之上，只有...

CRediT 作者贡献声明
Cameron Hamilton: 写作 - 审查与编辑，写作 - 初稿，可视化，验证，方法论，调查，形式分析，概念化。

写作过程中生成式 AI 及 AI 辅助技术使用声明
在本工作的准备过程中，作者使用了 Anthropic 的 Claude 和 Claude Code 助手，以起草和编辑手稿文本，改善语言和结构，协助文献搜索和 LaTeX 格式化，并根据作者自己的数据和分析生成图表、示意图和表格。在使用这些工具后，作者审查和编辑了所有内容，独立验证了结果、统计声明和引用参考文献，并承担全部责任。

资助
本研究未从公共、商业或非营利部门的资助机构获得任何特定拨款。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这可能出现在影响本论文报告工作的方面。

Cameron Hamilton 是 Alliance AI 的一名机器学习研究人员。

他拥有佐治亚大学人工智能硕士学位和佐治亚州立大学哲学硕士学位。他的工作采取实用、诊断的方法来解决数据约束下的学习问题，旨在缩小方法论研究与生产级机器学习系统之间的差距。他最近的工作将不平衡学习重新定义为一种补救分解问题：诊断是否一个 卡梅伦·汉密尔顿 联盟人工智能，美国加利福尼亚州卡拉巴萨斯市卡拉巴萨斯路 23679 号，邮编 91302