编辑推荐:
Top-KD通过Top-K Scaling Module放大教师模型高置信度logits,结合对比式目标保留类间关系,并利用Decoupled Loss分区域优化,显著提升轻量模型性能。
王琦 | 周金佳
日本东京小金井市柏野町3-7-2,法政大学科学与工程学院研究生院,邮编184-8584
摘要
最近的知识蒸馏(KD)研究主要集中在特征层面的知识转移,常常忽略了教师模型逻辑分布中蕴含的关键信息。在本文中,我们重新审视了基于逻辑的蒸馏方法,并揭示了一个尚未得到充分研究的但至关重要的元素:教师模型逻辑分布中的“Top-K知识”。这部分知识包含了有用的候选项以及丰富的类间关系。受此启发,我们提出了“Top-K尺度对比知识蒸馏(Top-KD)”这一简单、高效且与架构无关的框架,它通过明确强调并更好地利用Top-K区域来提升基于逻辑的蒸馏效果。具体而言,Top-KD包括:(i)一个Top-K缩放模块(TSM),该模块能够根据排名来放大有用的逻辑值,同时抑制低置信度的噪声;(ii)一个针对Top-K区域内逻辑值的对比目标函数,以保持有用候选项之间的结构关系;(iii)一个Top-K解耦损失函数(TDL),用于将强调的Top-K子集与剩余类别进行分离,从而实现更有针对性的知识转移。Top-KD可以直接与现有的KD流程集成,无需添加额外的可学习模块。在CIFAR-100、ImageNet、STL-10和Tiny-ImageNet数据集上的广泛实验表明,与强大的基线方法相比,Top-KD能够持续提升性能;在视觉变换器、MLP和MS-COCO检测任务上的进一步结果也验证了其在不同架构和任务中的通用性。
引言
知识蒸馏(KD)由Hinton等人提出[1],它通过 align 教师模型和学生模型的预测结果来提升学生模型的泛化能力。由于其实用性和高效性,KD已被广泛采用。研究表明,KD适用于多种架构、模态[2] [3]以及任务,如图像分类[4] [5]、目标检测[6] [7]和语义分割[8] [9]。KD还能与压缩技术(如剪枝[10] [11]和量化[12] [13])无缝结合,从而在保持准确性的同时进一步减小模型规模。
尽管KD取得了显著成功,但大多数最先进的方法[14] [15] [16] [17] [18] [19] [20]主要关注从教师模型中间层提取特征表示。虽然基于特征的蒸馏能够有效传递丰富的语义信息,但通常会带来较高的计算成本、复杂的训练流程以及较强的架构依赖性。相比之下,基于逻辑的蒸馏[1] [4] [5] [21]通过利用教师模型的输出分布来指导学生模型的学习,从而提供了一种更轻量级和灵活的解决方案。然而,基于逻辑的蒸馏方法通常表现不如基于特征的方法,主要是因为在最终输出层存在信息瓶颈——蒸馏监督仅限于类别概率。自1以来广泛使用的Kullback-Leibler(KL)散度算法加剧了这一限制,因为它强制要求学生模型和教师模型的逻辑分布完全对齐。尽管在某些情况下有效,但这种严格的匹配方式可能会低估教师模型输出分布中编码的结构信息,从而影响学生模型的泛化能力。
基于这一发现,我们进一步研究了现有的基于逻辑的蒸馏方法如何尝试缓解信息瓶颈。现有研究主要通过以下方式改进逻辑监督:(i)重新加权或解耦教师模型分布的不同部分[4] [5] [22];(ii)引入额外的关系约束(超出简单的点对点对齐[23] [24]);(iii)通过对比目标函数增强蒸馏过程[25],或用其他距离度量(如Wasserstein距离[26])完全替代KL散度。虽然这些策略可以增强基于逻辑的蒸馏效果,但它们仍然以相对统一的方式处理整个逻辑向量,导致梯度可能被大量低概率类别所主导。因此,在优化过程中,最具信息量的候选项(即与真实标签竞争并反映细粒度语义关系的类别)可能会被稀释,这些候选项之间的相对结构也无法在统一的逻辑匹配过程中得到保留。
因此,我们重新审视了教师模型逻辑分布,并发现了一个尚未得到充分研究的但具有重要信息的组成部分:即“Top-K知识”——即包含最具竞争力候选项的高置信度区域,这些候选项蕴含了丰富的类间关系。
如图1所示,对于标记为“man”的输入,即使教师模型的Top-1预测错误,它仍然预测为“boy”(一个外观相似但错误的类别),但其Top-K预测中通常包含语义相关的类别,这表明高置信度区域编码了可转移的关系信息而非随机噪声。这说明,明确强调并围绕Top-K区域进行监督可以提供比均匀匹配所有类别更集中、更有意义的知识蒸馏信号。
因此,我们提出了“Top-K尺度对比知识蒸馏(Top-KD)”(如图2所示),该方法在蒸馏过程中明确强调教师模型的Top-K知识。首先识别出教师模型的Top-K索引,然后对相应的逻辑值应用单调的排名依赖性缩放,对排名较高的预测赋予更大的放大倍数。这一操作突出了有用的特征峰值,同时抑制了低置信度的噪声;如果真实标签类别不在教师模型的Top-K集合中,也会将其包含进来以避免丢失真实的监督信号。之后使用缩放后的逻辑值来定义一个逻辑层面的对比目标函数,鼓励学生模型保留教师模型所传递的有用候选项之间的相对结构(即相似性和差异性)。同时,通过“Top-K解耦损失函数(TDL)”将强调的Top-K区域与剩余类别的优化过程解耦,防止梯度被大量低概率类别所主导,从而实现更有针对性的知识转移。
通过这种方式,Top-KD提高了顶级知识的监督比例,并在教师模型最具信息量的区域内促进了结构感知的知识转移,且不受架构限制。本文的贡献可以总结如下:
•我们从Top-K的角度重新审视了基于逻辑的知识蒸馏,发现教师模型的Top-K区域是可转移的类间关系的关键载体,而这种关系在均匀的逻辑匹配过程中可能会被稀释。
•我们提出了“Top-K尺度对比知识蒸馏(Top-KD)”这一轻量级且与架构无关的框架,它通过Top-K缩放模块(TSM)和Top-K解耦损失函数(TDL)来增强有用的候选项,并通过逻辑层面的对比目标函数保留它们的结构关系。
•我们在多种数据集和架构上进行了广泛实验,证明了Top-KD的有效性和通用性。
章节片段
知识蒸馏
知识蒸馏在两个主要方向上取得了显著进展:一种是基于逻辑的蒸馏,它关注输出分布;另一种是基于特征的蒸馏,它转移中间表示。
方法论
在本节中,我们首先分析发现传统的KL散度方法通常强制对齐整个输出分布,从而忽略了Top-K逻辑值中固有的语义相关性。为了解决这一问题,我们提出了两个核心组件:(i)一个Top-K缩放模块(TSM),用于在训练过程中动态强调具有最高信息的逻辑值;同时我们放弃了KL散度,转而使用缩放后的逻辑值来计算对比损失,从而更有效地……
数据集
我们的实验主要集中在图像分类任务上。CIFAR-100[27]是一个广泛使用的基准数据集,包含60,000张彩色图像(32×32像素),分为50,000张训练图像和10,000张验证图像,涵盖100个类别。ImageNet[46]是一个大规模数据集,包含128万张训练图像和50,000张验证图像,涵盖1000个类别。STL-10[47]和Tiny-ImageNet[48]作为中等规模的基准数据集,用于评估模型的泛化能力。STL-10包含10个高分辨率类别(96×96像素)以及一个大型未标记数据集。
扩展
为了评估Top-KD的效果,我们从六个关键角度对其进行了分析。首先,我们将TSM和TDL集成到不同的蒸馏框架中,观察到了一致的性能提升,证明了其强大的泛化能力和兼容性。其次,我们测试了蒸馏模型在下游数据集上的迁移能力,评估了Top-KD在超出原始领域时的泛化能力。第三,我们探讨了大型模型并不总是能成为更好的“教师模型”的问题,并展示了Top-KD如何缓解这一问题。
局限性
首先,Top-KD依赖于对逻辑空间的明确Top-K划分,其性能受逻辑空间划分方式的影响较大(详见第4.6.2节和附录B)。过大的划分范围可能会削弱预期的效果,降低解耦效果。虽然提供了一些实用指南,但选择最佳的分割方式仍可能需要针对具体数据集进行验证。
其次,Top-KD仅在逻辑层面进行操作,因此无法提供空间上的监督信息。对于密集预测任务(如目标检测),这可能是一个局限性。
结论
在本文中,我们从Top-K的角度重新审视了基于逻辑的知识蒸馏,发现教师模型的高置信度区域通常包含有用的候选项和结构化的类间关系,而在均匀匹配整个逻辑分布时这些信息可能会被削弱。为了更好地利用这些Top-K知识,我们提出了“Top-K尺度对比知识蒸馏(Top-KD)”这一高效且与架构无关的框架。Top-KD通过“Top-K缩放模块”和“Top-K解耦损失函数”来强化有用的逻辑值。
CRediT作者贡献声明
王琦:负责撰写初稿、验证、方法论分析及概念构建。周金佳:负责审稿、编辑及监督工作。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
本研究得到了日本学术振兴会(JSPS KAKENHI)项目(项目编号JP25K15165)和Kayamori信息科学促进基金的支持。
王琦于2024年获得中国西南科技大学的机械工程学士学位,目前正在日本法政大学科学与工程学院攻读应用信息学博士学位。他的研究兴趣包括知识蒸馏和基于流的生成模型。