基于头类知识迁移的长尾分布下尾类特征分布校准方法研究

本文提出了一种创新的长尾学习解决方案，通过发现类别特征中心距离与协方差矩阵相似度之间的负相关性，利用头类（head classes）的分布特征来校准尾类（tail classes）的真实分布。该方法通过选择最近头类的协方差矩阵进行方差迁移（variance transfer），并基于k个最近头类方向合成偏移方向来预测尾类真实中心，显著提升了模型在尾类上的泛化性能（generalization performance）。

　　

章节摘要

相关研究 (Related work)

在长尾学习领域，数据分布的不平衡常常导致模型在尾类上的性能不佳。为应对这一挑战，研究人员提出了多种方法，主要聚焦于三个关键方向：类别再平衡（class rebalancing）、训练策略（training strategies）以及从头类到尾类的知识迁移（head-to-tail knowledge transfer）。这些方法从不同角度解决尾类样本稀缺问题，以提升模型的泛化能力和鲁棒性。

动机 (Motivation)

通常，两类之间的决策边界是连接其类中心连线的垂直平分线。然而，在长尾场景下，尾类样本的稀缺导致观测到的样本分布与真实底层分布之间存在显著差异。这导致决策边界定义不当，侵占了尾类样本空间，造成许多潜在的尾类样本被误分类。为解决此问题，我们考虑通过识别头类的分布特征来校准尾类的分布。

方法 (Method)

在本节中，我们将详细介绍我们提出的方法，包括公式计算和训练策略。这包括方差迁移、应用偏移策略以及训练策略。

我们记训练集中的所有数据点为X，其中每个样本x_i有对应的标签y_i ∈ {1, 2, ..., C}。训练集的大小为N = Σ_c=1^C n_c，其中n_c代表类别c中的训练数据数量。给定一个长尾数据集，样本数量...

数据集和评估指标 (Datasets and evaluation metrics)

我们的实验选择了四个数据集：CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT和iNaturalist2018，以验证我们方法的有效性和普适性。为进行公平和规范的比较，所有训练集和测试集都经过适当划分，并采用Top-1准确率作为性能指标。

• •
  CIFAR-10-LT和CIFAR-100-LT是使用三种不平衡因子（50、100和200）从CIFAR-10和CIFAR-100生成的失衡训练子集，而它们的测试集保持不变。不平衡...

结论 (Conclusion)

我们发现，由头类中心引导的偏移方向与实际偏差方向具有高度相似性。因此，我们利用这一发现来预测真实分布，并迁移与尾类最接近的头类的协方差矩阵。实验表明，我们的方法显著提升了长尾学习中尾类的泛化能力。此外，当尾类样本数量极少时，我们的方法也显示出显著的改进。