用于不平衡分类的类感知多级少数类过采样方法

《Neurocomputing》：Class-aware multi-level minority oversampling method for imbalanced classification

　　抽象：在监督学习中，类别不平衡一直是一个核心挑战，因为少数类样本的表示远远不足以与多数类样本相比。尽管基于变分自编码器（VAE）的过采样方法表现出了良好的性能，但现有方法存在三个相互关联的局限性：倾向于学习多数类的特征、生成的少数类样本质量不足，以及高级语义一致性缺乏。为了解决这些缺陷，我们提出了类别感知的多级不平衡少数类生成方法（CAMIL），这是一种基于条件VAE主干网络的新型生成式过采样框架。首先，我们提出了类别感知的KL权重（CAW），它动态地放宽了对少数类的KL正则化，以丰富其潜在空间表示并提高样本多样性；其次，我们设计了对抗性不平衡约束（AIC），它引入了一个带有类别敏感加权机制的联合判别器，以同时确保样本的真实性和类别分布的一致性；最后，我们引入了高阶特征对齐（HFA），它利用预训练的分类器作为固定的特征提取器，最小化真实样本与生成样本之间的多层语义差异。在多个基准数据集上的广泛实验表明，CAMIL在各种评估指标上均优于现有的最先进过采样方法。

引言：在生成建模领域，学习能够保留类别结构的潜在表示是一个核心挑战。条件变分自编码器（CVAE）[1]通过将变分推断与深度神经网络相结合，解决了这一问题，它将输入编码为给定类别标签的后验分布，并从中采样以重建样本。它们的证据下界（ELBO）在重建精度和潜在空间正则化之间取得了平衡，而标准先验则使得KL散度的分析计算成为可能。然而，CVAE的优化目标设计存在固有局限。ELBO将重建损失和KL散度作为样本的平均值来计算，隐含地假设各类别之间的分布是均匀的。当数据不平衡时，多数类的梯度会主导优化过程，压缩少数类的潜在空间，导致生成的样本缺乏特定类别的特征。均匀的KL正则化忽略了类别差异，对少数类施加了过多的约束，使得生成的样本呈现出单调的模式。像素级的重建损失无法确保高层语义的一致性，从而导致合成样本出现语义漂移。在数据不平衡的情况下，这一局限性尤为突出。尽管深度学习在图像识别、医学诊断[2]和金融风险控制[3]等诸多领域取得了突破，但随着人工智能的快速发展，数据分布不平衡已成为限制实际应用中模型性能提升的关键瓶颈。类别不平衡问题在各个现实世界领域普遍存在：在医学图像分析中，恶性肿瘤样本的数量远少于良性样本[4]；在金融欺诈检测中，欺诈交易仅占正常交易的一小部分[5]；在工业缺陷检测中，有缺陷的产品数量远远少于合格产品[6]。这种数据分布不平衡不仅影响模型训练的效果，还可能导致严重的实际后果[7]，包括疾病误诊、欺诈漏检、自然灾害预测[8]以及网络安全问题[9]。当应用基于CVAE的过采样方法来处理这类不平衡数据时，这些固有局限性会被大幅放大。多数类的梯度占主导地位会导致少数类的潜在空间被压缩，均匀的KL正则化忽略类别差异，而像素级的重建损失则无法确保语义一致性——这些问题共同导致模型即使在错误分类所有少数类样本的情况下也能获得看似很高的准确率[10]，这在实际应用中极为有害。

近年来，深度学习方法在解决类别不平衡问题上取得了显著进展[11]。其中，基于变分自编码器（VAEs）和生成对抗网络（GANs）的方法因其出色的生成能力和潜在空间的可解释性而受到了广泛关注[12][13]。虽然像CVAE、样本重加权（RW）[14]、类别平衡重加权（CBRW）[15]、焦点损失[16]、LDAM[17]、-VAE、CTVAE[18]和VAE-INN[19]这样的方法在不同程度上调整了损失函数，但它们都采用一致的KL正则化策略，未能根据类别不平衡的严重程度进行差异化处理。而重采样方法则是直接修改训练数据以实现类别平衡，例如ROS[20]、SMOTE[21]及其变体，如Borderline-SMOTE[22]、ADASYN[23]、MWMOTE[24]和K-means SMOTE[25]。尽管这些基于插值的方法被广泛使用，但在少数类极度稀缺的情况下，它们的性能会严重下降，而且在高维特征空间中容易受到边界模糊和噪声放大的影响。在VAE框架中，KL散度项作为潜在空间的复杂度约束，其正则化强度直接影响生成模型对不同类别分布的建模能力。在类别不平衡的数据环境中，多数类的梯度信号主导了优化过程，而少数类的学习信号则被抑制，从而导致潜在变量分布缺乏必要的灵活性，生成的样本呈现出单调的模式。

相比之下，本文提出的CAMIL模型改进了ELBO中的KL散度项。现有方法通常只关注重建损失的类别重加权，而忽视了KL散度项对潜在空间结构的隐性影响。CAMIL根据不同类别的样本数量差异动态调整KL散度项的正则化强度，从而实现对不平衡数据的自适应处理。除了重新加权损失函数外，该框架还引入了对生成样本的真实性和类别分布的联合约束机制，同时确保生成样本与真实样本在高层语义特征上的一致性。

(1) 我们提出了一种类别感知的KL散度加权方法，该方法根据样本类别动态调整KL散度权重，给予少数类更高的权重，以增强其特征学习。

(2) 我们设计了一个具有辨别和分类能力的对抗性判别器，通过类别敏感加权来加强對生成样本真实性和类别分布的约束。

(3) 我们利用预训练的分类器作为特征提取器，通过特征匹配损失来最小化高层语义差异，确保生成样本与真实样本之间的语义一致性。

章节摘录：条件变分自编码器

VAE通过学习观测数据与潜在变量之间的概率映射来实现生成建模。它的核心目标是最大化ELBO，该值由重建损失和KL散度项组成。重建损失确保生成样本与原始数据相似，而KL散度项则约束潜在变量分布与先验分布（通常是标准高斯分布）保持一致。

基本VAE

类别感知的多级不平衡少数类样本生成方法（CAMIL）

在类别分布极度不平衡的监督学习环境中，生成模型，尤其是VAE及其变体，通常会受到双重偏差的影响：在训练过程中，重建损失和KL散度损失都会过度偏向多数类。这种联合偏差会压缩潜在空间中少数类的表示，降低生成少数类样本的保真度和多样性。为了解决这一根本性限制，我们……

数据集描述

本章使用两类互补的公开数据集来评估所提出的模型：经典的图像基准数据集和现实世界的表格数据集。具体而言，基于图像的评估使用了MNIST[40]和Fashion-MNIST[41]——这两个经过人工平衡且经过广泛验证的基准数据集，每个数据集包含十个互不重叠的类别。为了严格评估在类别不平衡条件下的稳健性，我们通过分层降采样故意引入了可控的不平衡。在MNIST中，数字……

结论

本研究解决了基于深度生成模型的过采样技术在类别不平衡学习中的关键局限性——具体来说，就是潜在空间的可分离性差、语义保真度低，以及少数类合成过程中类别区分结构薄弱。为了解决这些缺陷，我们提出了CAMIL，这是一个统一的框架，它在三个互补的层面上优化少数类样本的生成：（1）通过自适应的KL散度加权实现类别感知的潜在空间正则化；（2）通过对抗性不平衡约束……

CRediT作者贡献声明

Haoyuan Shi：撰写——初稿、可视化、验证。

Li Guo：撰写——审阅与编辑、撰写——初稿、概念构思。

Xuanxuan Liu：可视化、方法论、数据整理、概念构思。

Junwei Duan：撰写——审阅与编辑、资金获取。

Weiping Ding：撰写——审阅与编辑、指导。

关于写作过程中生成式AI和AI辅助技术的声明

在准备本文档的过程中，作者们使用了ChatGPT来提升手稿的语言表达和可读性。在使用该工具后，作者们对所有内容进行了必要的审阅和编辑，并对最终发表文章的内容负全责。

利益冲突声明

作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。

致谢

本研究部分得到了外部科技合作联合资助计划（FDCT-GDST）的资助，项目编号为0178/2024/AGJ和2025A0505010002；部分得到了科学技术发展基金——科技部的国家关键研发计划的资助，项目编号为0007/2025/AMJ0007/2025/AMJ、2025YFE0202900；还有部分得到了澳门特别行政区科学技术发展基金的资助，项目编号为0002/2024/RIA1。Haoyuan Shi自2024年起在青岛大学计算机科学与技术学院学习，他的主要研究兴趣包括深度学习。

Haoyuan Shi|Li Guo|Xuanxuan Liu|Junwei Duan|Weiping Ding