通过理论引导的数据自适应集成方法揭示高维类别不平衡学习中的统计结构

《Expert Systems with Applications》：Uncovering Statistical Structure in High-Dimensional Class-Imbalance Learning via Theory-Guided Data-Adaptive Ensembles

高维不平衡分类研究提出基于自适应图基的集成框架，通过结构感知采样和概率误差控制实现稳定性能。该方法包含三阶段：几何感知多数类采样、试点估计选择模型与集成规模、集成建模与独立校准，理论分析与多模态数据验证均显示其优势。

　　

谢飞彪|向兴华|刘星星|周小花|杨伟

中南大学数学与统计学院，长沙，431131，中国

摘要

高维不平衡学习在高风险应用中至关重要，包括药物安全监测、临床肺癌识别和金融风险控制，其中少数样本往往代表关键风险事件。在这些场景中的错误分类可能导致巨大的下游损失。现有的方法主要是启发式的，通常结合了采样、加权和集成组件，但没有统一的统计框架，这限制了在复杂高维数据中的可解释性、稳定性和泛化能力。我们提出了基于自适应图表示的采样集成（AGRSE），这是一个理论指导和数据适应的高维不平衡分类框架。AGRSE包括三个阶段：（i）AGRSE，它在进行几何感知的多数样本欠采样的同时保留了少数样本信息；（ii）试点估计，它估计校准预测的方差-协方差分量，以选择分类器并根据预定义的错误-置信度标准确定集成大小；（iii）集成建模，它重新训练选定的集成并应用独立校准进行最终的概率预测。该框架与概率错误控制目标保持一致，将概率估计的准确性与边际条件下的下游分类不一致性联系起来。理论分析和实证评估共同表明，AGRSE提供了更具代表性的采样、稳定的模型/集成大小选择以及在概率一致性和区分度指标上的强大预测性能。这些结果支持从临时启发式设计向高维不平衡学习的原则性、理论指导和数据适应范式的转变。

章节片段

引言

高维类别不平衡（HDCI）学习对于现实世界的数据驱动分析越来越重要（Albattah, Khan, 2025, Cusworth, Gkoutos, Acharjee, 2024, Megahed, Chen, Megahed, Ong, Altman, & Krzywinski），特别是在关键任务场景中，如不良药物反应（ADR）监测（Chaurasia, Kumar, & Yogita, 2025）、罕见疾病诊断（Hooda, Bawa, Rana, 2018, Zhu, Chen, Zhang, Chen, Liu, Yu, Wu, Chen, Tao, Yu, et al., 2025）和金融风险管理（Mena et al.,

重采样

高维环境大大限制了许多已建立的类别不平衡学习方法的有效性，主要是因为这些方法没有考虑到高维稀疏性和维数灾难（Ahmad, Distefano, Khan, Mazzara, Li, Li, Aryal, Ding, Vivone, Hong, 2025, Liu, Bellet, 2019, Lu, Chen, Yue, Li, Yue, Fang, 2025）。大多数此类方法依赖于样本级别的预处理（Gu, Yang, Yan, Shen, Gao, 2023, Guo, Du, Li, Guo, Liu, 2025, Khan, Ali,

理论

本章为高维不平衡二元分类中的代表性平衡采样和集成学习开发了一个理论框架。该方法保留了所有少数类观测值，并对多数类进行结构感知的代表性欠采样，以构建多个平衡的训练子集，在这些子集上训练并聚合偏差校正的分类器。解决了两个相关问题。第一个问题是如何减少多数样本

方法

基于第3节中的理论，我们提出了基于自适应图表示的采样集成（AGRSE），这是一个三阶段框架：（i）AGRSE用于代表性多数样本欠采样，（ii）试点估计用于选择分类器和集成大小，以及（iii）集成建模用于最终训练和预测。整个工作流程如图2所示，完整过程在算法1中总结。

在实现过程中，数据集被分为开发集和

实验设置

所有实验都在一台配备Intel Core i5-1035G1 CPU（4核，8线程）和NVIDIA GeForce MX350 GPU（2 GB VRAM）的笔记本电脑上运行。为了适应有限的GPU内存，成对的相似性矩阵使用CuPy分批计算。在采样的稀疏图上进行了稀疏拉普拉斯特征分解。模型训练和评估在适用的情况下在CPU上进行了并行处理。

合成数据生成器

为了实现受控评估，我们构建了一个合成生成器，用于生成

数据集

为了评估AGRSE在现实世界中的适用性，我们选择了四个公共数据集：信用卡欺诈、ISOLET、MNIST和Twitter航空 sentiment。这些数据集涵盖了异构的数据模式（表格、声学、图像和文本），并在特征维度和类别不平衡程度上表现出显著差异，详见表6。选择这些数据集有三个原因：（i）这些任务代表了常见的应用场景，包括高风险事件检测、模式

讨论

现有的高维类别不平衡学习方法往往表现不稳定，因为它们缺乏适应数据潜在统计结构的机制。大多数方法依赖于启发式预处理和临时分类器选择，没有原则性的理论框架来确定哪种学习策略最适合观察到的数据情况。为了解决这一限制，我们得出了两个理论结果：一个描述了潜在的

结论

在这项研究中，我们开发了一个基于理论指导和数据适应的框架**AGRSE**，用于高维不平衡分类。与传统启发式集成流程不同，AGRSE建立在明确的统计原则之上：对多数类进行结构感知的代表性欠采样，以及基于协方差分解和渐进式错误控制的不确定性驱动的集成设计。这种设计使得能够自适应地恢复潜在的多数结构，并原则性地选择

未引用的参考文献

图5、图6和表1、表4。

CRediT作者贡献声明

谢飞彪：概念化、方法论、软件、调查、形式分析、撰写——原始草稿。向兴华：可视化、调查。刘星星：资源、监督。周小花：资源、监督。杨伟：资源、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。