知识覆盖引导的欠采样集成用于不平衡分类

《Pattern Recognition》：Knowledge Coverage-Guided Undersampling Ensemble for imbalanced classification

　　

• •
  KCUE将欠采样建模为主类知识覆盖最大化问题。
• •
  类间分离指数用于刻画局部主类与少数类的可分离性。
• •
  泊松覆盖函数用于量化主类信息的累积保留程度。
• •
  次模性指导边际收益采样，从而减少冗余获取。

引言

类别不平衡现象在现实世界的智能决策任务中普遍存在。例如，医学影像诊断与分级中的罕见病灶类别[1]、基于图的欺诈检测中的欺诈用户或异常节点[2]，以及时序监控系统中的罕见失效模式或异常事件[3]，通常仅占全部观测数据中的一小部分。然而，这些少数类样本往往带来不成比例的决策成本和应用风险。类别不平衡会削弱模型识别少数类样本的能力，以及其鲁棒性和泛化能力。此外，当敏感人口群体分布不均衡时，它还可能放大决策偏差，从而损害种族、性别和年龄群体之间的公平性。

现有的类别不平衡学习（CIL）方法通常从数据层面或算法层面应对类别偏差[4]。数据层面的方法通过重构训练数据来减少类别大小差异，而算法层面的方法则引入新的学习机制或修改现有模型。与算法层面的方法相比，数据层面的方法通常更易于实现且与具体模型无关，因此受到了广泛关注。作为最成熟的数据层面策略之一，欠采样在众多应用中展现了强大的性能[5]。然而，如果样本移除缺乏足够的约束，欠采样可能会丢弃具有判别力的主类信息。

现有欠采样方法可根据其信息处理机制分为结构驱动方法和学习驱动方法。前者基于数据的内在结构选择样本，包括邻域关系[6]、[7]、类间势[8]、空间分布[9]以及聚类结构[10]、[11]。这些方法能够保留主类的整体信息，且由于不依赖特定的下游分类器，因而具有广泛适用性和计算效率。然而，当少数类样本在局部特征空间中稀疏分布、类边界复杂或主类高度异质时，仅依赖局部几何规则可能会引入严重的区域采样偏差。

相比之下，学习驱动的欠采样利用下游任务的反馈动态调整样本选择。例如，Soltanzadeh等人[12]提出了一种元学习机制，根据模型性能的演化来选择样本。Liu[5]和Zhao[13]根据主类样本的分类难度及其对后续训练的贡献来选择代表性样本。尽管这些方法能够有效捕获与任务相关的决策边界信息，但它们也带来了较大的额外计算开销。更重要的是，学习驱动方法可能将具有相似模型预测的主类样本视为等价，从而忽略了它们在表征主类整体分布方面的互补作用。

此外，如何有效保留主类信息仍然是欠采样面临的核心挑战。现有方法主要关注样本选择规则[13]、分类性能提升[5]或训练集规模缩减[14]，而很少有方法从信息保留的角度对欠采样过程进行量化。因此，欠采样过程中保留了多少主类信息、以及保留的信息是否充分覆盖了主类分布的全局特征，仍然是一个悬而未决的问题。

基于此，本文从主类信息保留的角度重新审视欠采样问题，并对其知识覆盖进行定量建模。由于主类样本可能会被多个基学习器访问，有效的知识获取被建模为一个重复的随机过程。尽管等价的伯努利表述形式也可行，但本文采用泊松参数化作为知识获取的概率代理。这一选择基于以下动机：在独立性假设下，获取强度具有可加性，这直接将重复暴露与逐渐趋于饱和的期望知识覆盖联系起来。单纯的均匀随机采样无法利用暴露历史或递减的知识增益来指导后续选择，因此缺乏一种基于覆盖的目标来平衡进一步学习与冗余选择。基于此建模，本文提出了知识覆盖引导的欠采样集成方法（KCUE）。KCUE将主类子集的构建建模为知识覆盖最大化问题，旨在使多个基学习器能够从互补的角度捕获主类的全局分布。该框架不仅有助于缓解局部采样偏好导致的信息丢失，还为量化欠采样过程中主类信息保留程度提供了理论基础。本文的主要贡献如下：

• •
  为准确刻画不同分离程度下主类样本的特征，本文提出了一种基于异质性感知局部密度估计的类间分离指数。通过构建局部安全超球和方向投影集来量化主类样本的局部可分离性，从而为在各分离等级下保留代表性主类信息提供依据。
• •
  为量化多个欠采样训练子集之间主类信息的累积保留程度，本文将集成欠采样建模为期望知识覆盖最大化问题。通过样本出现次数来刻画训练子集之间的累积覆盖度和冗余度。所得到的覆盖函数被证明是单调非减且具有次模性，从而为基于边际知识增益构建训练子集提供了理论基础。
• •
  为减少重复采样造成的信息冗余并优先关注尚未被充分捕获的判别性主类信息，本文提出了一种基于最大化边际知识覆盖增益的概率贪心采样策略。利用动态信息权重评估每个候选样本的增量贡献。该策略保持了各分离等级下的覆盖比例，并促进了集成成员之间的互补知识获取。

本文的其余部分组织如下。第2节回顾欠采样、不平衡集成学习以及次模数据选择的相关工作。第3节介绍所提出的KCUE方法及其理论建模。第4节描述实验设置并评估KCUE的性能。最后，结论部分总结主要发现，讨论局限性，并展望未来的研究方向。

章节摘要

相关工作

KCUE在集成框架中利用次模优化进行主类欠采样。本节回顾欠采样、不平衡集成学习以及次模数据选择的相关研究，重点关注训练信息如何被选择、保留和复用，以阐明KCUE在特定任务上的贡献。

所提方法

本节介绍图1所示的KCUE框架。KCUE首先计算类间分离指数（ICS）以刻画每个主类样本周围的局部可分离性（图1(b)和第3.1节）。然后按ICS对样本进行分层，使每个训练子集代表不同的分离等级（图1(c)和第3.2.1节）。在迭代训练过程中，KCUE在多个子集上定义期望知识覆盖（第3.2.2节），然后选择主类样本

实验设置

数据集：KCUE在来自KEEL库、Kaggle以及先前不平衡学习研究中使用的基准测试集的43个公开不平衡数据集上进行了评估[9]、[13]、[22]。

这些数据集涵盖生物医学诊断、文本分类、图像识别、网络安全、欺诈检测、物理测量和通用机器学习基准。Kaggle数据集还代表了实际应用场景，包括电子商务欺诈、社交媒体仇恨言论检测、评论分类，

结论

本文从主类知识保留与覆盖的角度重新审视不平衡分类中的欠采样问题，并提出了KCUE。与主要关注保留或移除哪些样本的传统欠采样方法不同，KCUE构建了一个期望知识覆盖函数来量化欠采样过程中所获得的收益。在43个公开不平衡数据集上的实验表明，KCUE在不同基

CRediT作者贡献声明

Lingyun Zhao（赵凌云）：撰写—审稿与编辑，撰写—初稿，可视化，软件，资源。Weihao Deng（邓伟豪）：撰写—初稿，软件，数据管理。Fei Han（韩飞）：基金获取，数据管理，概念构思。Qinghua Ling（凌清华）：方法论，调查研究。Huan Liu（刘欢）：调查研究，形式化分析。Henry Han（韩亨利）：撰写—审稿与编辑，验证。

关于写作过程中生成式人工智能及AI辅助技术的声明

在本工作准备过程中，作者使用了OpenAI的ChatGPT/Codex来检查语法、拼写和格式。在使用该工具/服务后，作者根据需要审阅并编辑了内容，并对发表内容承担全部责任。

利益冲突声明

作者声明不存在已知可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本工作得到国家自然科学基金委员会（项目编号：62576154）的资助。

Lingyun Zhao | Weihao Deng | Fei Han | Qinghua Ling | Huan Liu | Henry Han