《Machine Learning and Knowledge Extraction》:Data Balancing Strategies: A Systematic Survey of Resampling and Augmentation Methods
编辑推荐:
不平衡数据集,即某一类别样本数量显著多于其他类别的情况,仍是机器学习中持续存在的挑战,常使预测偏向多数类并降低分类器性能。本文对数据均衡方法进行了全面、系统的回顾,其范围超越了基础过采样技术,如合成少数类过采样技术(Synthetic Minority Ove
不平衡数据集,即某一类别样本数量显著多于其他类别的情况,仍是机器学习中持续存在的挑战,常使预测偏向多数类并降低分类器性能。本文对数据均衡方法进行了全面、系统的回顾,其范围超越了基础过采样技术,如合成少数类过采样技术(Synthetic Minority Oversampling Technique, SMOTE)及其变体(例如边界SMOTE(Borderline SMOTE)、K均值SMOTE(K-Means SMOTE)和安全级别SMOTE(Safe-Level SMOTE)),还涵盖了先进自适应方法(MWMOTE、AMDO)、深度生成模型(生成对抗网络(Generative Adversarial Networks, GAN)、变分自编码器(Variational Autoencoders, VAE)和扩散模型)、欠采样技术(NearMiss、Tomek Links)、组合/混合方法(SMOTE-ENN、SMOTE-Tomek和SMOTE+OCSVM)、集成策略(SMOTEBoost、RUSBoost、平衡随机森林(Balanced Random Forest)和单面选择(One-Sided Selection))以及针对多标签和聚类数据的专用方法。除描述性分类外,本综述批判性审视了每种方法的潜在假设、操作机制及对多样数据特征的适用性,包括高维性、混合特征类型、类别重叠与噪声。关键发现表明,不存在普适最优的单一方法;最优选择严重依赖于数据集特征、分类器选择与评估指标。文末明确了新兴研究方向,包括用于不均衡的自监督学习、基于扩散的生成式过采样、保持分布的重新采样、面向不均衡部署的知识蒸馏,以及基础模型对偏斜分布的适配,为实践者提供了实用指南和未来方法学发展路线图。
本文主体部分依照系统文献综述方法论展开,构建了涵盖六组 taxonomic groups 的分类体系,并对各类数据均衡策略进行了深入的技术剖析与批判性讨论。
- 1.
引言(Introduction)
该部分指出不平衡数据集导致分类器偏向多数类的问题,明确重采样分为过采样与欠采样两大路径,并引入深度学习生成模型以强化合成数据能力。遵循 PRISMA 2020 准则,研究团队实施了系统性文献检索协议:聚合去重后获 1307 篇独特记录;经标题摘要筛选排除 852 篇,留存 455 篇全文;成功获取 454 篇全文,依据纳入排除标准最终纳入 291 篇合格论文。通过定量论文评分框架(Quantitative Paper Scoring Framework, QPSF)从五个维度(算法机制与样本生成设计 AMSG、结构架构与集成整合 SAEI、实证严谨性与基准效度 ERBV、数据复杂性鲁棒性 RDC、实际可部署性与可扩展性 PDS)进行加权评价,推导出 SAEI(0.38)与 PDS(0.23)为高权重维度。基于三层分层标准——算法核心机制、架构耦合、数据约减策略——将 116 项主要研究划分为六个最终组别:合成过采样(第1组)、生成模型(第2组)、欠采样(第3组)、组合/混合方法(第4组)、集成策略(第5组)及多标签专用方法(第6组)。
- 2.
合成过采样技术(Synthetic Oversampling Techniques)
本节以 SMOTE 为基本范式,阐述其经由插值公式 xnew = xi + δ · (x?i ? xi) 生成合成样本的机制。随后系统评述了 K-Means SMOTE(依簇不平衡比靶向过采样)、Safe-Level SMOTE(借安全级别比率约束邻域噪声)、环绕邻域 SMOTE(SN-SMOTE,以质心邻近保障空间均匀分布)、单纯形 SMOTE(Simplicial SMOTE,基于重心坐标的高阶几何结构采样)、正态 SMOTE(NSMOTE,插值权重量化自正态分布)、改进 SMOTE(MSMOTE,按安全/边界/潜伏噪声样本差异化处理)、边界 SMOTE(Borderline SMOTE,专注 DANGER 集边界实例)、实例加权 SMOTE(依托分类回归树混淆度赋权)、自适应加权 SMOTE(AWSMOTE,引入 SVM 超平面变量权重与支持向量优选)、自适应邻域选择 SMOTE(ASN-SMOTE,剔除噪声后自适应择邻)、进阶 SMOTE(A-SMOTE,经阈值 τ 滤除近多数类伪样)、SMOTE-迭代划分滤波(SMOTE-IPF,先过采样后借 C4.5 集成清洗)、特征加权 SMOTE(FW-SMOTE,以诱导 Minkowski OWA 距离替代欧氏度量)、SMOTE-中心偏移因子(SMOTE-COF,借中心偏移因子锁定稀疏区)、自适应合成采样(ADASYN,按局部学习难度动态配给合成数)、SOS-BUS(SMOTE 搭配边界欠采样)、SVM-SMOTE(数据级平衡耦合代价敏感学习)、SMOTE-NC(处理连续与分类混合属性)、离群检测过采样(ODBOT,借蝙蝠算法与曼哈顿距甄别簇异常)、以及自适应过采样族(含 MWMOTE 依近邻距逆权硬例、AMDO 基于马氏距与异质值差度量、SAO 超球面防重叠、A-SUWO 半无监督层次聚类)。批判性分析指明上述方法普遍存在过拟合风险、概率校准缺失、可解释性弱、参数敏感及高维假设脆弱等局限。
- 3.
用于数据过采样的生成技术(Generative Techniques for Data Oversampling)
研究人员梳理了变分自编码器(VAE)的概率编码—解码结构与 KL 散度损失,DeepSMOTE 在潜空间实施 SMOTE 以避免像素空间维度灾难,生成对抗网络(GAN)极小极大博弈目标,Wasserstein GAN(WGAN)以推土机距离替 Jensen-Shannon 散度,条件 GAN(cGAN)引辅助信息调控,自适应加权 GAN(AWGAN)融密度实例权于对抗生成,生成矩匹配网络(GMMN)借最大均值差异避对抗训练,合成数据保险库(SDV)维系关系库统计架构,高斯混合模型采样(GMMSampling)依子概念安全级过重,局部分布自适应过采样(LAMO)拟边界种子配局部 GMM。批判章节归纳模式崩溃、条件训练偏移、VAE 先验失配、扩散模型迭代代价高昂等挑战,并建议传统过采样与生成模型杂交、采用嵌套交叉验证及据域选构。
- 4.
欠采样技术(Undersampling Techniques)
文中列举随机欠采样为基线,簇基欠采样(CBUS)按簇内多数比留样并施五选策略(SBCNM 等),NearMiss 族依距少数类远近判选,实例硬度阈值(IHT)跨折验证估误删硬例,人工蜂群采样(ABC-Sampling)以前向搜索优择多数信息样,随机欠采样 + OCSVM 剔异再平衡,邻域清洗规则(NCR)与压缩最近邻(CNN)及编辑最近邻(ENN、RENN)清噪,Tomek Links 解链去界,单面选择(OSS)合 CNN 与 Tomek 优留。局限讨论揭示信息遗失、簇质依赖及重叠区去留悖论。
- 5.
组合/混合方法(Combination/Hybrid Methods)
该节阐明 SMOTE-ENN 与 SMOTE-Tomek Link 先后施行生成与清洗,SMOTE+OCSVM 滤离群后插样,混合自然邻 SMOTE(HNaNSMOTE)免设 k,HADAB 批式 ADASYN,ESMOTE+SSLM 同步删边,CSBBoost 与 HCBOU 经轮廓权簇均衡多类,AHS-BiLSTM 时序双向记忆耦采,DiSMHA 扩散与 SMOTE 特征级序贯增强,SMOTE-Trans-CWGAN 及全局拆分 WGAN-GP 保时态隐私。批判指出顺序致算耗、参敏无准及泄露隐患,荐以表示表导用。
- 6.
集成策略(Ensemble Strategies)
打包法含平衡随机森林(BRF)各自助平衡、平衡装袋(Under/Roughly Balanced Bagging)、SMOTEBagging 动态率增、邻域平衡装袋(NBBag)、SMOTE-ICS-Bagging 适选、交叉验证委员会(CVC);提升法含 SMOTEBoost 每轮插样、RUSBoost 简速随机削多、RHSBoost 双类 ROSE 核密成样、EUSBoost 遗传演择、DataBoost-IM 硬例双生;另述弥补式集成(Imputation-Based)及 EasyEnsemble 与 BalanceCascade 级联删正。批判称算负、缺渐近界、过配潜危,给出图 3 决策流并荐嵌套验配。
- 7.
面向多标签与聚类数据的集成采样(Ensemble Sampling for Multi-Label and Clustered Data)
借标签幂集随过(LP-ROS)、多标随过(ML-ROS)、幂集随欠(LP-RUS)、多标随欠(ML-RUS)阐明 25% 阈增删逻辑,批判点出标共现损 LP、独立破 ML 联、组合爆炸及无原则参,劝用 REMEDIAL 或 MLSMOTE 内折重评。
- 8.
讨论与结论(Discussion and Conclusions)
藉信用卡欺诈与欺诈预言两集实验证得:K-Means SMOTE 与 MSMOTE 择据器而异、欠采样险废、PR-AUC 敏分、清增优叠。理论根基表重平衡渐近似复制而非真创,指需严框。三类器—采互作(方差偏倚、噪扩、维咒)导出表 22 依归纳偏选路。实务矩阵表 23 映维、叠、噪、算配法。前瞻八向:端深联合、代价敏补、知识蒸馏多师、自监督不均、扩散过采、表架重思、基础模型偏调及综框,标志静态数据均衡向动态模型觉策略嬗变。