面向长尾图像识别的度量感知潜在过采样方法

《Neurocomputing》：Metric-aware latent oversampling for long-tailed image recognition

　　

伊玛目·穆斯塔法·卡马尔|裴赫林|米斯巴库尔·穆尼尔·伊尔凡·苏巴克蒂

印度尼西亚泗水，塞普鲁赫·诺佩默技术学院信息学系

摘要

现实世界的视觉数据集通常呈现长尾分布，即少数头部类别包含大量样本，而许多尾部类别的样本则严重不足。现有的解决方案大多采用以算法为中心的策略，如重新加权或解耦训练，但这些方法往往无法为尾部类别生成可靠的表示。相比之下，以数据为中心的方法，尤其是过采样，提供了一种有前景的替代方案，但由于嵌入维度高以及可能扭曲头部类别结构的风险，在视觉任务中仍未被充分研究。为应对这些挑战，我们提出了一种结构化的度量学习框架，通过在潜在空间中进行类别条件插值来增强尾部类别的多样性。该框架的核心机制是一种四元组设计，包括一个来自某一类别的p锚点-正样本对和一个来自另一类别的n锚点-负样本对，从而实现类内和类间关系的插值。插值有选择地应用于少数类别，并通过随机门控变量进行调节，以确保在不过度扰动的情况下实现自适应增强。一种基于稀疏性的策略用于选择正样本，以扩大类内覆盖范围，而基于距离的硬负样本挖掘则用于优化类间边界。在推理阶段，少数类别的嵌入会在潜在空间中进一步增强，从而得到更加均衡且具有区分度的特征分布。在多个长尾基准测试上的大量实验表明，与现有的长尾识别方法相比，所提出的框架在严重不平衡条件下仍能展现出出色的性能，这凸显了结构化数据中心视角在长尾视觉识别中的有效性。

引言

深度学习在图像分类、物体检测和视觉识别等大规模视觉识别任务中取得了显著进展。然而，大多数模型都是在数据平衡这一不切实际的假设下开发的，而现实世界的数据集往往呈现长尾分布，即少数头部类别包含大量样本，而许多尾部类别的样本则严重不足[1]。这种不平衡在许多实际领域都很常见。在生物医学成像中，罕见疾病相比常见疾病往往只有有限的标注样本。在生态和野生动物监测中，常见物种在数据集中占主导地位，而濒危或稀有物种则很少出现。因此，在长尾分布条件下提升学习能力具有实际重要性，因为准确识别少数类别可直接影响诸如罕见疾病诊断、野生动物保护、工业异常检测、自动驾驶和安全监控等领域的决策，因为在这些领域中，虽然罕见但至关重要的事件仍需被准确识别。由于大规模数据收集和标注的成本高昂，构建完全平衡的数据集往往既昂贵又不切实际。因此，基于长尾数据训练的模型往往过度拟合头部类别，而无法为尾部类别生成强大且稳定的表示[2]，这使得长尾学习成为现代深度学习中的一个持续挑战。

已有大量研究试图通过算法层面的干预来缓解类别不平衡问题。其中，解耦训练方案颇受关注，该方法首先使用完整数据集训练特征提取器，然后再通过重新加权或重采样策略对分类器进行微调[3]、[4]。这种设计的灵感来源于这样一种观察：在表示学习过程中进行类别平衡采样会降低特征质量，因此将特征学习与分类器再平衡分开处理有助于稳定训练过程。虽然这类方法能有效减少分类器偏差并提高尾部类别的准确性，但在第二阶段特征提取器通常保持不变，这可能限制了其对严重不足类别的表示适应性[5]。此外，传统的再平衡技术，如成本敏感学习和类别感知采样，往往在提高尾部类别准确性的同时牺牲头部类别的性能，从而导致不利的权衡。最近的研究进一步探讨了自适应表示平衡和基于多样性的优化方法，以减轻长尾分布下的特征偏差[6]。一些更为复杂的解决方案，包括基于组的softmax[1]和权重平衡[7]，试图通过调整分类器结构和参数大小来改善表示的校准效果。然而，这类设计增加了训练复杂性，且仍然倾向于将头部类别和尾部类别分开处理，忽视了它们之间可能的共享特征结构。这些局限性表明，需要超越纯粹以算法为中心的调整方式。

为克服以算法为中心的方法的局限性，最近的研究越来越倾向于采用以数据为中心的策略，直接丰富训练数据分布。数据增强和过采样尤其具有吸引力，因为它们能够扩大代表性不足类别的有效样本空间。虽然翻转和裁剪等传统变换能为尾部类别提供有限的多样性[5]，但包括元语义增强（MetaSAug）[8]在内的更高级方法仍受到少数样本稀缺的限制[4]。传统的过采样技术，如合成少数类过采样技术（SMOTE）[9]和自适应合成采样（ADASYN）[10]，通过样本插值来缓解类别不平衡问题，但它们最初是为结构化数据设计的，在高维视觉领域往往难以发挥作用，因为在这些领域中很难建立可靠的邻域关系[11]。同样，基于插值的增强方法，包括Mixup[12]、流形混合[13]以及受SMOTE启发的图像过采样[14]，都是通过无约束的线性组合生成合成样本，而不明确保留局部几何结构。因此，生成的表示可能会违反流形连续性，引入语义上不一致的混合结果，或在严重不平衡情况下扭曲类别边界[15]。这些局限性促使人们开发出一种原理性的框架，该框架将度量学习与结构化的潜在空间过采样相结合，从而在保留局部表示几何结构的同时实现有意义的插值。

为填补这一空白，我们提出了一种以数据为中心的框架，该框架将度量学习与结构化的潜在空间过采样相结合，以加强长尾分布下的表示学习。该框架将样本嵌入到标准化的特征空间中，并共同优化类内紧凑性和类间分离性。其核心是一种基于四元组的插值机制，该机制通过p锚点-正样本对和n锚点-负样本对共同建模类内和类间关系。这种设计使得可以通过结构化插值而非无约束的特征混合来实现具备几何意识的潜在空间优化。插值是具有类别条件的：只有当p锚点属于少数类别时才进行正样本插值，而负样本插值则通过随机控制变量进行调控，以避免对主导类别区域造成过度扰动。为进一步丰富表示的多样性，采用基于稀疏性的策略选择正样本，以扩大少数类别的覆盖范围，同时在决策边界附近挖掘硬负样本，以提高区分度。在推理阶段，少数类别的嵌入会在潜在空间中经过自适应过采样，从而得到更加均衡且具有通用性的表示分布。

本研究的主要贡献如下：(i) 我们提出了一种统一的数据中心框架，将该框架与潜在空间过采样相结合，无需进行显式的分类器重新加权或多阶段训练；(ii) 我们引入了一种基于四元组的公式化方法，实现了对类内和类间关系的类别条件插值；(iii) 我们设计了一种自适应增强策略，能够在保持头部类别完整性的同时选择性地增强尾部类别的嵌入，该策略既适用于训练阶段也适用于推理阶段；(iv) 我们进行了大量实验，在多个长尾基准测试上证明了该方法的先进性能，验证了其在严重类别不平衡条件下的泛化能力和稳定性。

本文的其余部分结构如下。第2节回顾了相关研究，并指出了现有长尾识别方法的关键局限性。第3节介绍了所提出的度量感知潜在空间过采样（MALO）框架，包括其插值策略和优化目标。第4节展示了在多个基准测试上的实验结果和消融研究。最后，第5节对本文进行总结，并探讨未来的研究方向。

章节片段

相关工作

由于严重的类别不平衡，长尾视觉识别仍然面临挑战，这种不平衡会使模型偏向于多数类别，从而削弱其对少数类别的泛化能力。以往的研究已经探索了数据重采样、数据增强、解耦训练和度量学习等方法，但如何实现所有类别的平衡表示仍有待解决。

方法论

本节介绍了我们用于长尾视觉识别的数据中心框架，该框架采用结构化的四元组输入和双对插值方法来丰富类别表示。我们首先对问题进行形式化描述并构建表示模型，随后详细阐述插值机制以及优化策略，这些策略共同用于在严重类别不平衡条件下提升特征的区分度。

数据与设置

我们在四个广泛使用的长尾视觉识别基准测试上进行了实验：CIFAR10-LT、CIFAR100-LT、ImageNet-LT以及iNaturalist 2018（iNat 2018）。CIFAR10-LT和CIFAR100-LT是通过根据不平衡因子（IF = 10、50、100）对CIFAR-10和CIFAR-100中的每类样本进行指数级缩减而得到的。CIFAR-10和CIFAR-100各包含60,000张图片，分别分为50,000张训练图片和10,000张测试图片，对应10类和100类。ImageNet-LT则是通过

结论

本文介绍了MALO，这是一种统一的数据中心框架，它将度量学习与结构化的潜在空间插值相结合，用于长尾视觉识别。通过结合基于稀疏性的正样本选择、基于距离的负样本挖掘以及基于几何意识的潜在空间插值，所提出的框架在简单的一阶段训练范式中提升了类内紧凑性和类间可分性。与那些依赖

CRediT作者贡献声明

伊玛目·穆斯塔法·卡马尔：写作——初稿撰写、软件开发、方法设计、概念构思。裴赫林：写作——审阅与编辑、形式分析。米斯巴库尔·穆尼尔·伊尔凡·苏巴克蒂：验证、数据整理。

利益冲突声明

作者声明，他们没有已知的利益冲突或可能影响本文所述工作的个人关系。

致谢

本研究得到了塞普鲁赫·诺佩默技术学院信息学系的资助，资金来自该系的部门研究基金计划——第一批次，2025年（资助编号为2432/PKS/ITS/2025，日期为2025年6月13日）。

伊玛目·穆斯塔法·卡马尔于2015年从印度尼西亚泗水的塞普鲁赫·诺佩默技术学院电子工程理工学院获得信息学与计算机工程学士学位，2021年从韩国釜山的釜山国立大学获得大数据领域的硕士和博士学位。2021年至2024年，他在釜山国立大学担任博士后研究员。目前，他是该学院信息学系的助理教授