基于分类器权重的软标签生成器TarSamp：一种提升深度神经网络泛化能力的新方法

本文提出了一种名为TarSamp的创新方法，通过利用分类器层权重生成软标签（Soft Labels），结合随机采样注入不确定性，显著提升了分类模型的泛化性能。该方法在无教师（Teacher-Free）和有教师（Teacher-Available）场景下均表现优异，为监督学习提供了低成本、高效益的软标签生成基线（Baseline）。

　　

Highlight

• •

  研究了一种基于分类器权重的通用、低成本且易于实现的软标签生成方法。

• •

  提出通过随机采样统一建模类级语义（Class-Level Semantics）和实例级不确定性（Instance-Level Uncertainty），并分析了与现有方法的关联。

• •

  将TarSamp应用于无教师（Teacher-Free）和有教师（Teacher-Available）场景。

• •

  通过图像分类实验验证了所提软标签生成器在各种监督设置下的有效性。

Soft labels for supervised learning

在深入介绍本文方法前，我们首先简要回顾使用软标签进行监督学习（Supervised Learning）的基础方法。

TarSamp and its applications

接下来详细呈现所提出的方法。我们从基于权重衍生的分类器相似性生成随机软目标（Stochastic Soft Targets）的思想出发，进而提出将其实例化，分别应用于无预训练教师模型可用和有此模型可用的场景。

Discussions

为阐明本方法的技术基础，本节首先讨论其与先前工作的关系，重点强调联系与关键区别。随后对方差σ2进行理论分析，为我们推荐的设置提供依据。最后介绍一种替代的随机采样公式。

Experiments

本节首先提供实验结果以评估所提方法TarSamp在图像分类（Image Classification）中的性能。我们在五个图像数据集上将本方法与基线（Baseline）及若干现有方法进行比较。结果表明，我们这种简单的方法对基线带来了持续且显著的改进，并且以更少的训练开销或更容易的实现，取得了与其他现有方法相竞争的结果。我们还提供了消融研究（Ablation Studies）以及...

Conclusion

我们研究了一种通过从由分类器权重衍生的类特定分布（Class-Specific Distributions）中采样来生成软标签的新方法。我们的方法无需额外训练，推理成本增加可忽略不计，并且适用于任何架构的分类模型。图像分类的实验结果表明，所提方法在无教师和有教师场景下均表现出优良性能，使其成为一个基础但具有竞争力的...