基于特定类别专家知识蒸馏的长尾识别模型（EKDSC）提升头尾类性能平衡研究

本文提出专家知识蒸馏框架（EKDSC），通过头/中/尾类专家模型的主项优化与干扰抑制机制，有效提升长尾数据中尾类识别精度，同时缓解头类性能下降问题，在CIFAR-LT、ImageNet-LT等基准数据集上超越现有SOTA方法1-5%。

　　

Highlight

我们强调本文方法与其他专家方法的本质区别：部分方法侧重于挖掘多专家间的多样性与互补性，而我们的方法核心在于抑制专家间的相互干扰。为获得这些类别特异性专家教师模型，我们采用两大核心策略：（1）通过主项优化过程逐级训练各专家，使其专注学习特定类别的数据分布；（2）通过干扰项抑制机制降低无关类别对每个类别特异性专家学习的干扰。

Expert Knowledge Distillation for Specific Categories

本节提出基于特定类别专家知识蒸馏的长尾数据识别框架（如图2所示）。基线网络采用CeiT架构，包含特征提取器F(θ_f)和分类器W(θ_w)。与原本针对平衡数据集设计的单分类器CeiT不同，本研究提出多分类器集成模型，其中每个分类器通过对应类别专家（头/中/尾类）的知识蒸馏指导得到增强。

Datasets

我们在五个基准数据集上分析所提方法性能：CIFAR-10 LT、CIFAR-100 LT、ImageNet-LT、iNaturalist 2018和Places-LT。

Long-Tailed CIFAR-10 and CIFAR-100

CIFAR-10 LT和CIFAR-100 LT分别是CIFAR-10和CIFAR-100的子集。两者均包含50,000张训练图像和10,000张验证图像，尺寸为32×32，分别对应10类和100类。参照[Cao et al., 2019]的方法，我们采用相同的长尾版本。

Conclusion

本文提出了一种称为"特定类别专家知识蒸馏（EKDSC）"的新型长尾识别方法。EKDSC包含针对头类、中类和尾类优化的多专家模型，以及一个多分类器知识蒸馏框架。基于主项优化和干扰抑制的多专家模型，使每类专家能专注于其专业领域同时减少其他类别的干扰，从而——（此处原文未完整，保留原意截断）