具备难度感知能力且可实现关系解耦的知识蒸馏

《Neurocomputing》:Difficulty-aware and relational decoupled knowledge distillation

【字体: 大 中 小 】 时间:2026年05月07日 来源:Neurocomputing 6.5

编辑推荐:

  鲍志强|丁思宇|陈宝成|张鹏硕西安邮电大学,中国陕西省西安市长安南路710121摘要近期在知识蒸馏领域的进展逐渐从基于logit的方法转向基于特征的方法。然而,解耦知识蒸馏(DKD)的引入重新激发了对基于logit的蒸馏方法的兴趣,因为它部分缓解了传统DKD的局限性。尽管DKD效

  
鲍志强|丁思宇|陈宝成|张鹏硕
西安邮电大学,中国陕西省西安市长安南路710121

摘要

近期在知识蒸馏领域的进展逐渐从基于logit的方法转向基于特征的方法。然而,解耦知识蒸馏(DKD)的引入重新激发了对基于logit的蒸馏方法的兴趣,因为它部分缓解了传统DKD的局限性。尽管DKD效果显著,但它仍然依赖于固定的全局温度,并且缺乏对样本间结构关系的显式建模,这限制了其传递信息的能力。为了解决这些问题,我们提出了一种新的方法,称为“基于难度感知和关系的解耦知识蒸馏”(DRDKD)。首先,我们引入了一种基于样本的自适应温度机制,根据教师模型的置信度动态调整蒸馏温度,从而区别对待简单和困难的样本。其次,我们设计了一种基于排序的关系损失函数,用于目标类别知识,以保持样本难度的相对顺序。第三,我们提出了一种基于中心化的相似性损失函数,用于非目标类别知识,通过Gram矩阵匹配来对样本间的结构关系进行对齐。在CIFAR-100、ImageNet和CUB-200上的广泛实验表明,DRDKD在各种教师-学生架构中始终优于现有的主流方法。消融研究和可视化结果进一步验证了每个提出的组件的有效性。

引言

随着深度学习的快速发展,大规模模型在计算机视觉和自然语言处理等多个领域取得了显著的成功。然而,它们日益增长的规模和计算需求对实际应用提出了重大挑战,特别是在资源有限的环境中。因此,开发能够在降低计算复杂性的同时保持高性能的技术至关重要。为此,人们探索了多种方法,包括结构化剪枝[1]、量化[2]、联邦学习[3]、[4]、自适应计算网络[5]和知识蒸馏。
知识蒸馏(KD)最初由Hinton等人[6]提出,采用教师-学生范式,其中紧凑的学生模型从较大的教师模型中学习。在这个框架中,学生不仅从困难标签中学习,还从教师模型的输出分布中学习,后者捕捉了类别相似性和预测不确定性的信息。基于这一想法,后续研究提出了多种基于不同形式知识的方法。人们普遍认为,基于特征的知识蒸馏比基于logit的方法提供了更丰富和更有信息量的表示。最近,Zhao等人[7]提出了解耦知识蒸馏(DKD),它将蒸馏过程分解为目标类别知识蒸馏(TCKD)和非目标类别知识蒸馏(NCKD)。这种分解部分缓解了KD中监督信号冲突的问题,并重新激发了研究界对基于logit的蒸馏方法的兴趣。然而,对DKD的仔细研究揭示某些方面仍需进一步探究。
温度参数在知识蒸馏中起着关键作用,它通过控制输出概率分布的平滑度来直接影响知识传递的质量。DKD采用KD中使用的全局固定温度设置,在蒸馏过程中对所有样本应用相同的软化尺度,而忽略了样本间学习难度的差异。近年来,一些研究试图超越固定温度设置,例如引入对抗性自适应温度[8]和基于课程学习的温度策略[9]。然而,这些方法仍在全局层面操作,或者依赖于增加训练复杂性的额外网络,而没有将样本级温度适应融入蒸馏框架。为了解决这一限制,我们引入了一种基于样本的自适应温度机制,从而实现对蒸馏过程的更细粒度控制。
在视觉识别任务中,样本之间的关系往往比单独的预测包含更多信息。在基于关系的蒸馏方法中,大多数现有方法从不同角度探索了特征层面的关系知识,但在logit层面难以捕捉样本间的关系。代表性方法包括关系知识蒸馏(RKD)[10]、相关性一致性蒸馏[11]和对比表示蒸馏[12]。相比之下,DKD主要关注对齐单个样本的预测,并未充分利用一批样本内的结构关系。我们观察到DKD中的TCKD组件隐含地反映了教师对样本难度的评估,而NCKD组件则捕捉了非目标类别间的分布结构。受到这些观察的启发,我们引入了有针对性的关系约束,以促进教师的结构化知识向学生模型的更全面传递。
基于以上分析,我们提出了一种新的方法,称为“基于难度感知和关系的解耦知识蒸馏”(DRDKD)。通过有效利用logit层面的信息,我们的方法实现了基于样本的温度适应,并结合了关系约束,从而缓解了不同优化目标之间的潜在冲突。
本文的主要贡献总结如下:
  • 1.
    我们提出了一种新的基于难度感知的温度适应机制,能够动态调整每个样本的蒸馏强度,克服了固定温度策略的局限性。
  • 2.
    我们引入了一种双重关系损失函数,能够在logit层面显式捕捉样本间的依赖性,同时捕捉难度排名和分布相似性。
  • 3.
    在CIFAR-100、ImageNet和CUB-200上的广泛实验表明,我们的方法在各种同质和异构的教师-学生架构中始终优于DKD和大多数最先进的蒸馏方法。这些结果清楚地验证了我们提出的组件的有效性和协同效应。

部分片段

知识蒸馏

知识蒸馏的核心目标是将知识从庞大的教师模型转移到轻量级的学生模型中,通常是通过最小化它们的输出分布之间的KL散度来实现的。根据知识传递的机制,现有方法可以大致分为基于logit的、基于特征的和基于关系的蒸馏。基于logit的方法使用教师模型的输出概率或logits作为监督信号。

方法论

本节介绍了我们提出的基于难度感知和关系的解耦知识蒸馏方法(DRDKD)。整个框架的概述如图1所示。我们首先回顾了DKD的公式化,然后从三个角度介绍了我们的改进:基于样本的自适应温度、TCKD排名损失和NCKD中心化相似性损失。启发式分析和实验结果都证明了这些组件在解决问题方面的有效性。

数据集和基线

我们在三个基准数据集上评估了所提出的方法:
CIFAR-100[35]是一个广泛使用的图像分类数据集,包含60,000张分辨率为32
相关新闻

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号