统一知识蒸馏：整合离线、在线及自我蒸馏方法用于图像分类

《Neural Networks》：Unified Knowledge Distillation: Integrating Offline, Online, and Self-Distillation Paradigms for Image Classification

　　王双|陈振业|吴福丽|陈建安|郝鹏毅•UKD在统一框架中整合了离线、在线和自我蒸馏技术。•双教师协作机制提升了模型对不同学生能力的适配性。•共享的骨干网络与轻量级辅助模块降低了训练开销。•UKD在多种模型架构和容量下都能带来显著性能提升。

引言
近年来，以卷积神经网络（CNNs）（He, Zhang, Ren, Sun, 2016；Liu, Mao, Wu, Feichtenhofer, Darrell, Xie, 2022；Sandler, Howard, Zhu, Zhmoginov, Chen, 2018）、视觉变换器（VITs）（Dosovitskiy, Liu, Lin, Cao, Hu, Wei, Zhang, Lin, Guo, 2021；Shi, 2024）以及多层感知器（MLPs）（Li, Yang, Cao, Zeng, Shi, Ren, Cao, 2025；Mu, Tayyab, Chua, 2025；Tolstikhin, Houlsby, Kolesnikov, Beyer, Zhai, Unterthiner, Yung, Steiner, Keysers, Uszkoreit等人，2021）为代表的深度神经网络在图像分类任务中展现出卓越性能（HASAN, BHARGAV, SANDEEP, REDDY, AJAY, 2024；Yun, Ro, 2024）。然而，这类网络的成功往往伴随着模型参数、计算需求及存储资源的急剧增加，这在资源受限的环境中严重制约了其应用。为解决这一难题，知识蒸馏技术（KD）（Hinton, Yuan, Xu, Liu, Tang, 2025）作为一种有前景的模型压缩方法应运而生，它旨在在不增加推理成本的前提下提升模型性能。

知识蒸馏采用教师-学生框架，将高容量教师模型的先进知识传递给结构更紧凑的学生模型。根据教师信号的来源，知识蒸馏可大致分为三种类型：（1）离线知识蒸馏（OFF-KD）（Chen, Wang, Liu, Xu, de Hoog, Huang, 2022；Gou, Xin, Yu, Song, Zhang, Wan, 2025；Hinton, Huang, You, Wang, Qian, Xu, 2022；Huang, Zhang, Zheng, You, Wang, Qian, Xu, 2023；Miles, Elezi, Deng, 2024；Miles, Mikolajczyk, 2024；Sun, Ren, Li, Wang, Cao, 2024；Zhao, Cui, Song, Qiu, Liang, 2022）。OFF-KD利用预训练的教师网络为学生提供单向指导（参见图1(a)中的KD方法），输出静态监督信号及丰富的先验知识。（2）在线知识蒸馏（ON-KD）（Chung, Park, Kim, Kwak, 2020；Guo, Wang, Wu, Yu, Liang, Hu, Luo, 2020；Kim, Hyun, Chung, Kwak, 2021；Yang, An, Zhou, Zhuang, Xu, Zhang, 2023；Zhang, Xiang, Hospedales, Lu, 2018）。ON-KD采用端到端训练策略，通过双向动态交互共同优化教师和学生模型（例如图1(b)中的DML方法），从而实现适应性协同与语义一致性。（3）自我知识蒸馏（Self-KD）（Gong, Lin, Zhang, Shen, Li, Qiao, Ren, Li, Yu, Ma, 2023；Lee, Lee, 2022；Li, Li, Yang, Song, Yang, Pan, 2024；Zhang, Bao, Ma, 2021；Zhang, Song, Gao, Chen, Bao, Ma, 2019）。Self-KD利用模型自身的中间表示进行自我引导学习，提升模型内部的一致性与收敛性（例如图1(c)中的BYOT方法）。这三种方法各有优势：OFF-KD具备静态知识丰富性，ON-KD具有动态适应能力，Self-KD则能保证模型内部一致性，为提升模型性能提供了多种途径。

不过，在实际应用中，这三种方法都存在各自的局限性。具体而言，OFF-KD由于依赖固定结构的教师模型，存在知识固化问题，难以根据学生的学习能力进行调整，这容易导致表示不对齐和知识过载现象（Mirzadeh, Farajtabar, Li, Levine, Matsukawa, Ghasemzadeh, 2020；Zhu, Wang, 2021），尤其是在模型架构差异较大或容量差距明显时更为突出。在CNN、VITs和MLPs等多种架构并行发展的背景下，不同模型之间的归纳偏差和参数规模差异持续扩大，进一步加剧了架构与容量方面的差距。ON-KD虽可通过模型间的动态交互部分缓解架构差异，但从零开始联合训练时，当教师模型与学生模型的容量差距过大时，优化过程容易变得不稳定。Self-KD虽然无需依赖外部教师模型的架构与容量，却会受到学生模型自身容量限制而出现表示瓶颈。有趣的是，每种方法的局限性都可以通过其他方法的优点来弥补。这就引出了一个问题：能否在统一框架下协调这三种蒸馏方法的互补优势，从而克服各自的局限，实现跨不同架构和容量范围的高效知识传递？

现有研究（Hao, Guo, Han, Tang, Hu, Wang, Xu, 2023；Li, Jin, 2022；Pham, Nguyen, Le, Phung, Carneiro, Do, 2024；Wang, Hao, Wu, Bai, 2024）已尝试通过整合不同方法的优点来实现混合知识蒸馏，并取得了不错的效果。但这些研究大多仅侧重于两种方法的简单组合或部分重叠的组合，尚未充分探索如何在统一优化框架中实现对OFF-KD、ON-KD和Self-KD的协同优化。实现这种更广泛的整合面临两个挑战：（1）多源监督信号的异质性。OFF-KD强调稳定的先验知识以及来自固定教师的单向知识传递；ON-KD则需要动态教师来促进双向交互；Self-KD则聚焦于模型内部的自我引导学习。这三种方法在教师角色、信息流动模式以及优化方式上存在差异，使得协同优化变得更加复杂。（2）多方法整合的训练成本。在线知识蒸馏通常需要同时优化多个模型，离线知识蒸馏则需要额外的预训练教师模型，而自我知识蒸馏往往依赖辅助分支或额外输出。简单地将这些组件组合在一起可能会导致计算冗余，增加优化成本。因此，一个有效的统一框架不仅要能够协调不同的监督机制，还要保持较高的计算效率。

为解决这些问题，我们提出了统一知识蒸馏（UKD）框架，该框架能够有效整合OFF-KD、ON-KD和Self-KD的互补优势，实现跨不同架构和容量范围的高效知识传递。具体而言，UKD引入了一个轻量级的代理教师模型，用于连接这三种蒸馏方法。该代理教师从预训练的原始教师模型那里获取逻辑值相关的知识，引导学生模型进行知识适配，同时提升学生模型内部的稳定性。为提升框架对不同容量的适配能力，我们还设计了双教师协作机制，根据学生模型的学习状态——通过原始教师模型与学生模型之间逻辑值响应的斯皮尔曼等级相关系数来量化——动态调整原始教师和代理教师所提供的监督强度。为降低训练负担，UKD利用原始教师模型较浅层的骨干网络，从倒数第二层特征出发构建出一个结构简洁 yet 表现力强的代理教师模型，从而实现稳定且高效的优化。此外，我们还针对不同模型的架构特点设计了轻量级辅助模块，比如CNN模型注重局部特征，而MLP/VIT模型则侧重全局特征，这些模块有助于减少计算冗余，提升模型的架构适应性。在CIFAR-100和ImageNet-1K数据集上，针对CNN、MLP和VIT三种架构进行的大量实验表明，UKD在图像分类任务中具有显著优势，其平均准确率分别比基准方法高出6.21%和2.20%。在CIFAR-100数据集上，UKD的每轮训练时间大约仅为DML在线蒸馏基准方法的二分之一，同时还能大幅降低因知识蒸馏带来的额外可训练参数开销，进一步证明了其高效性。

总之，本研究的主要贡献如下：•我们提出了UKD这一统一的图像分类知识蒸馏框架，它在单一训练流程中就能协调OFF-KD、ON-KD和Self-KD三种不同的监督方式，从而实现跨多种架构和模型容量的高效知识传递。•我们设计了一种基于容量感知的双教师协作机制，能够动态调整原始教师和代理教师的作用力度，提升该统一框架在不同容量场景下的适配能力。•我们通过骨干网络共享以及针对不同架构设计的轻量级辅助模块，实现了高效的知识蒸馏方法，既降低了多方法协同训练的开销，又保持了良好的性能。•在CIFAR-100和ImageNet-1K数据集上，针对CNN、VIT和MLP三种架构进行的实验表明，UKD在多种架构和模型容量下都具有良好的通用性，且性能与效率表现优异。

单种蒸馏方法
目前主流的知识蒸馏方法可分为三种策略：（1）离线知识蒸馏，即知识从预训练的教师模型单向传递给学生模型；（2）在线知识蒸馏，涉及模型之间的双向交互学习；（3）自我知识蒸馏，即从学生模型内部提取中间知识以实现自我引导学习。

方法论
如图1所示，所提出的UKD框架整合了三种主流蒸馏方法的核心机制与优势，从而实现跨不同架构（即CNN、VITs和MLPs）和容量级别的高效知识传递。具体而言，UKD设计了多个精心设计的辅助输出节点，用于捕获学生模型的中间逻辑值响应。此外，它还利用经过冻结处理的原始教师模型的浅层骨干网络来构建……

数据集
我们在两个广为认可的图像分类基准数据集上进行评估：（1）CIFAR-100，包含5万张训练样本和1万张测试样本，图像分辨率为32×32像素，共涵盖100个类别；（2）ImageNet-1K（Deng等人，2009年），这是一个大规模数据集，包含128万张训练样本和5万张验证样本，涵盖1000个类别。由于VITs和MLPs需要以图像块作为输入，我们对CIFAR-100数据集中的图像进行了上采样处理，使其分辨率达到224×224像素，以便与图像块嵌入机制兼容。

骨干网络
我们采用了三种……

结论
在本文中，我们提出了UKD这一统一的图像分类知识蒸馏框架，它能够在单一优化框架中整合离线、在线和自我蒸馏技术。UKD并非简单地将这三种方法进行组合，而是将它们的协同使用视为一个框架层面的统一问题，并着重解决了两个核心挑战：不同监督方式的协调以及整合效率的问题。在这个统一框架下，UKD充分利用了各种方法的协同效应……

CRediT作者贡献说明
王双：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件实现，方法论，研究设计，概念构思。陈振业：可视化，验证，软件实现，方法论，概念构思。吴福丽：写作——审稿与编辑，指导监督，概念构思。陈建安：写作——审稿与编辑，指导监督，概念构思。郝鹏毅：写作——审稿与编辑，指导监督，方法论，概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金的支持（项目编号：62577049）。