通过缓解类间虚假相关性进行类核特征学习的长尾分类方法

《Expert Systems with Applications》：Class-core Feature Learning through Mitigating the Spurious Correlation of Classes for Long-Tailed Classification

　　

摘要

现实世界中不可避免的长尾数据对深度学习方法提出了挑战。不平衡数据导致每类中的上下文分布不均，促使模型优先对上下文丰富的类进行分类，而很大程度上忽视了上下文贫乏的类。首先，从理论和实践两个角度，我们解释了为什么模型倾向于偏好训练集和测试集中的上下文丰富的类，并且打破类核心特征与不频繁上下文特征之间的伪相关将进一步改善泛化能力和鲁棒性。然后，我们提出一种名为缓解类间伪相关（MSCC）的方法。从伪相关的角度来看，我们观察到视觉模型容易捕捉对象语义与周围环境之间的伪相关。为此，我们提出了一种表示级上下文干预方法，显式地将核心语义特征与背景上下文解耦，从而减轻学习特征空间中的伪依赖。具体而言，我们利用弱定位线索来识别判别性前景区域并抑制上下文噪声，从而为上下文贫乏类生成上下文平衡的训练样本。此外，我们细化类原型以缓解伪相关并提高类间可分性。最后，在四个公共数据集上进行的大量实验证明了 MSCC 的显著改进。

引言

现实世界数据总是呈现长尾分布，这意味着少数头部类主导了训练样本，而许多尾部类样本不足且代表性不够 Chen et al. (2023); Wang et al. (2021)。这种严重不平衡的分布给传统分类器带来了新挑战 Alshammari, Wang, Ramanan, & Kong (2022); Li, Cheung, & Lu (2022a)。除了类不平衡外，长尾分布还在每类内部表现出上下文不平衡。与中尾类和尾部类相比，头部类拥有更多具有各种上下文的训练样本。因此，上下文贫乏类更可能出现在中尾类和尾部类中。假设我们在每个类中都有足够数量的具有不同背景的训练样本；那么只需要传统分类器，我们也能取得更好的性能。然而，长尾分布在现实世界中不可避免，解决这种不平衡的代价高昂 Zhang, Kang, Hooi, Yan, & Feng (2023)。现有方法通常采用多种再平衡策略针对头部类和尾部类，目标是学习一个分类器，以缓解对头部类的固有偏倚，同时增强对尾部类的识别 Deng et al. (2026); Li et al. (2026); Menon et al. (2021); Ren et al. (2020)。

如图 1 所示，伪相关是由一些稀有背景被错误地指向某些类造成的。模型更多地关注上下文而不是类的判别性特征，例如那些稀有背景：天空和草地。模型倾向于强烈绑定稀有上下文特征以降低训练成本，即过拟合。这是因为头部类丰富且多样化的上下文信息可用于训练，从而能够学习足够的类判别性特征，并且伪相关较弱。与头部类相比，尾部类和中尾类受限于数据和信息，这使得模型倾向于过拟合尾部类和中尾类，特别是对于上下文贫乏类，导致强烈的伪相关。因此，一个自然的问题是：减轻伪相关能否有利于上下文贫乏类？

为了验证这个问题，我们首先利用 Grad-CAM Selvaraju et al. (2017) 生成热图来验证模型的注意力，从而进一步证明不频繁上下文特征与类判别性特征之间的伪相关。上下文贫乏/丰富类（红腹滨鹬/靛蓝彩鹀）的热图如图 1 所示。对于信息丰富且上下文丰富的头部类，基于交叉熵（CE）的模型和我们的方法都能够捕捉到鹧鸪的核心特征。相比之下，如图 1(a) 所示，对于不常见背景（例如草原）中的上下文贫乏类红腹滨鹬，尽管基于 CE 的模型也关注样本的轮廓，但它倾向于强调草地和天空等上下文特征（红色区域），而不是类核心属性（例如细长的腿和喙）。这将导致模型学习依赖上下文的特征，而不是不变的类核心特征，从而导致上下文与类核心特征之间的伪相关。从而损害模型区分尾部类样本的能力。如图 1(b) 所示，MSCC 更关注类核心特征而非无关的上下文特征，有效地解耦了核心表示和上下文表示，缓解了伪特征相关。

图 1 进一步为这个问题提供了经验证据。我们在 CIFAR-100-LT 上使用交叉熵（CE）损失训练 ResNet-32 He, Zhang, Ren, & Sun (2016) 达 200 个时期，采用不同的不平衡率（IR）。结果显示在头部类、中尾类和尾部类上都有很强的训练性能。然而，如图 1 中的测试结果所示，过拟合程度随着 IR 的增加而增加，特别是对于尾部类，表明在更高的不平衡下伪相关变得更加严重。为了进一步分析这种现象，我们以 IR 为 200 的 CIFAR-100-LT 为例。如图 1 中的折线图所示，与头部类相比，尾部类的性能显著下降。这些结果表明模型难以学习尾部类的判别性表示，从而验证了我们关于伪相关的假设。

我们推测，头部类、中尾类和尾部类中不频繁的上下文特征可能导致模型与无关上下文特征高度语义相关，并形成类核心与上下文特征之间的伪相关。消除这种伪相关可以显著有利于长尾表示学习。提高稀有样本分类性能的关键点在于打破上下文与类核心特征之间的伪相关，同时保留每个类的本质判别性特征。因此，我们提出一种名为缓解类间伪相关（MSCC）的方法，通过从不足数据中渐进学习来增强模型的泛化能力。具体而言，我们利用 Grad-CAM 作为弱监督机制，在表示级干预中解耦上下文线索和前景语义，保留高置信度激活区域，为上下文贫乏类生成增强实例。为了进一步缓解伪相关，我们细化类原型并将其集成到对比学习范式上，从而结构化嵌入空间以实现增强的类内紧致性和改进的类间可分性。在实验中，我们在四个长尾数据集上进行了实证结果评估。结果表明，MSCC 与当前最先进算法相比取得了具有竞争力的性能。此外，实验和消融研究证明了上述发现以及 MSCC 的有效性。我们的主要贡献如下：

• •
  我们在不同数据集上进行了全面的理论和实证分析，以研究稀有上下文特征与类核心特征之间的伪相关。我们的发现表明，这种相关在上下文贫乏类中尤为严重，主要归因于上下文贫乏类缺乏上下文多样性。
• •
  我们提出了一种表示干预方法，旨在缓解上下文贫乏类（即尾部类或中尾类）中上下文特征与类核心特征之间的伪相关，同时保留上下文贫乏类的判别性特征，这可以充分提升模型的表示能力。
• •
  我们在四个长尾数据集上评估了所提出的模型（例如 CIFAR-10-LT 和 CIFAR-100-LT Cao, Wei, Gaidon, Arechiga, & Ma (2019)，iNaturalist 2018 Van Horn et al. (2018)，以及 ImageNet-LT Liu et al. (2019)）。通过大量实验和消融研究证明了我们的方法的有效性，在多种设置下取得了具有竞争力的结果。

章节摘要

相关工作

长尾学习。一些现有的长尾学习方法可以大致归类为再平衡方法 Cao et al. (2019); Deng et al. (2025); Jian et al. (2025); Li et al. (2024b); Park, Hong, Heo, Yun, & Choi (2022); Shao, Zhu, Zhang, & Wu (2024); Shi, Wei, Xiang, & Li (2023); Wei, Tao, Xie, Feng, & An (2022); Zhao, Zhang, Zhao, & Chen (2026); Zhou, Sun, & Zhai (2025a)。这些方法从数据、分类器、目标和等各个角度解决数据不平衡问题。

问题定义

遵循以往的方法，分类模型被公式化为 p(y|x)，它利用输入 x 来预测标签 y。经过贝叶斯展开后，p(y|x)∝p(x|y)?·?p(y)。该公式的有效性依赖于一个强假设，即 $p_{tr}\left(x\right|y)=p_{te}\left(x\right|y)$。然而，这个假设在实际应用中无法保证。在 prior 研究中 Qi et al. (2022); Tang et al. (2022)，通常假设图像 x 由上下文和类核心特征（f_cs 和 f_ct）组成。

实施细节

我们在四个广泛使用的长尾数据集上评估了所提出的方法：CIFAR-10-LT Cao et al. (2019)，CIFAR-100-LT Cao et al. (2019)，iNaturalist 2018 Van Horn et al. (2018)，和 ImageNet-LT Liu et al. (2019)。所有实验均使用 Python 3.8 和 PyTorch 框架构建。模型在具有 24 GB 内存的 NVIDIA GeForce RTX 3090 GPU 上进行训练。我们遵循标准评估协议，并报告 Top-1 分类准确率作为主要评估指标。为了更详细的

结论

在本工作中，我们从类核心特征与上下文特征之间的伪相关角度重新审视了长尾图像分类，指出上下文贫乏类对伪相关特别敏感。基于这一观察，我们提出 MSCC 以减少模型对误导性上下文信息的依赖，同时保留判别性类核心特征。在 CIFAR-10-LT、CIFAR-100-LT、iNaturalist 2018 和 ImageNet-LT 上的实验证明了...

CRediT 作者贡献声明

Ming Liu: 撰写 - 初稿，撰写 - 审阅与编辑，调查，方法论，构思，可视化，验证，软件，形式分析，数据整理。Bo Ren: 撰写 - 审阅与编辑，监督，项目管理，资金获取，调查，形式分析。Biao Hou: 撰写 - 审阅与编辑，监督，资源，项目管理，资金获取，调查。Hanyuan Ge: 撰写 - 审阅与编辑，调查，数据整理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本报告中所述的工作。

Ming Liu|Bo Ren|Biao Hou|Hanyuan Ge