联合类别注意力知识与自我认知在多教师知识蒸馏中的应用

《Engineering Science and Technology, an International Journal》：Joint class attention knowledge and self-knowledge for multi-teacher knowledge distillation

知识蒸馏在多教师框架下结合类注意力机制与自监督学习，提出JCS-MKD方法。通过聚合多教师类激活图并自适应加权，以及学生网络的自知识解耦与软标签约束，有效提升模型性能与可解释性。

　　随着深度学习技术的迅猛发展，大型深度神经网络（DNNs）在多媒体数据的处理与分析中展现出强大的能力。这些网络已经被广泛应用于图像分类、目标检测、风速预测等多个领域。然而，尽管这些模型在性能上表现卓越，它们的高存储和计算需求却严重限制了其在资源受限的边缘设备上的部署。为了应对这一挑战，研究者们提出了多种优化算法和神经网络压缩技术，其中知识蒸馏（Knowledge Distillation, KD）被认为是一种特别有效的策略，能够将大型教师网络的知识迁移到更小的学生网络中，从而在减少参数数量的同时保持较高的性能。

知识蒸馏的核心思想是通过让学生网络模仿教师网络的输出，而不是直接学习原始数据，来实现模型的压缩。这一过程通常包括两个关键部分：教师网络的输出（如logits或特征）作为监督信号，以及学生网络在训练过程中不断优化自身参数，以更接近教师网络的输出。传统的知识蒸馏方法主要依赖于单个教师网络，但随着研究的深入，多教师知识蒸馏（Multi-teacher Knowledge Distillation, MKD）逐渐成为一种更受关注的方法。MKD允许学生网络从多个教师网络中学习，从而获得更全面的知识，提高模型的泛化能力和效率。

然而，现有的MKD方法仍然存在一些关键的局限性。首先，这些方法通常使用不可解释的logits或特征作为知识传递的媒介，导致学生网络的学习过程缺乏透明度。其次，MKD方法往往过分依赖教师网络的监督，而忽视了学生自身生成知识的潜力。这不仅限制了模型的灵活性，也使得在实际应用中难以进行有效的模型优化和调整。为了解决这些问题，本研究提出了一种全新的多教师知识蒸馏方法——联合类注意力知识与自知识的多教师知识蒸馏（Joint Class attention knowledge and Self-knowledge for Multi-teacher Knowledge Distillation, JCS-MKD）。

JCS-MKD方法的核心创新在于其结合了教师监督和自学习机制。首先，我们引入了一种类注意力机制，通过聚合多个教师网络的类激活图（Class Activation Maps, CAMs），将更直观、可解释的知识传递给学生网络。类激活图能够清晰地显示网络在分类过程中关注的输入区域，这种可视化信息对于理解模型的决策过程具有重要意义。此外，为了区分高质量的教师网络和低质量的教师网络，我们设计了一种自适应加权方案，根据教师网络的预测与真实标签之间的交叉熵损失来量化其知识的可靠性。这样，学生网络可以更有效地从高质量的教师知识中学习，而避免受到低质量知识的误导。

其次，JCS-MKD方法还引入了自知识机制，使学生网络能够在训练过程中自主生成监督信号。这种方法借鉴了自知识蒸馏（Self-Knowledge Distillation, Self-KD）的思想，即学生网络通过分析和重构自身的输出来获得额外的监督信息。具体来说，我们首先将学生网络的logit分为目标类部分和非目标类部分，然后分别生成定制化的软标签。对于目标类的软标签，我们使用学生网络对目标类的平滑预测作为自监督信号。由于学生网络在训练过程中可能会产生较大的预测波动，因此我们在每个训练批次中对目标类的logit进行平滑处理，以稳定标签值。对于非目标类的软标签，我们通过中间特征的排序来获得弱监督信号，并将这些弱logit与最终的logit进行归一化和组合，以实现更有效的自监督学习。此外，为了进一步增强模型的鲁棒性，我们对非目标类的软标签分布施加了约束，使其遵循Zipf定律，从而模拟人类学习过程中对非目标信息的关注模式。

JCS-MKD方法的优势在于它能够同时利用教师网络和学生网络的知识，从而在保持模型性能的同时，提高其在资源受限环境下的适应性。通过引入类注意力机制和自知识机制，我们不仅增强了知识传递的可解释性，还提升了学生网络的自主学习能力。实验结果表明，JCS-MKD在多个标准数据集上（如CIFAR-10、CIFAR-100、Stanford Dogs、Tiny-ImageNet和MS-COCO）均优于现有的知识蒸馏方法，无论是在图像分类还是目标检测任务中，都展现出了更优的性能与时间成本之间的平衡。

在方法实现方面，JCS-MKD框架的总体流程如图2所示。首先，我们从多个教师网络中获取类激活图，并将其转换为可解释的注意力图。然后，通过自适应加权方案，对不同教师的注意力图进行融合，以生成更准确的监督信号。接下来，我们将学生网络的logit分为目标类和非目标类，并分别生成对应的软标签。对于目标类的软标签，我们采用平滑预测的方式，以减少预测波动带来的负面影响；而对于非目标类的软标签，我们通过中间特征的排序来获取弱监督信息，并将其与最终的logit进行归一化和组合。最后，我们将这些监督信号输入到学生网络中，进行联合优化，以实现更高效的模型压缩。

为了验证JCS-MKD方法的有效性，我们进行了广泛的实验。首先，我们将JCS-MKD与现有的单教师知识蒸馏（Single-teacher Knowledge Distillation, SKD）和多教师知识蒸馏（Multi-teacher Knowledge Distillation, MKD）方法进行了比较，结果显示JCS-MKD在多个数据集上均取得了更优的性能。其次，我们评估了不同超参数、教师数量和教师质量对模型性能的影响，进一步验证了JCS-MKD方法的鲁棒性和适应性。此外，我们还进行了消融实验，以分析JCS-MKD框架中各个关键组件对最终结果的贡献。实验结果表明，类注意力机制和自知识机制在提升模型性能方面发挥了重要作用，而它们的结合则进一步增强了模型的泛化能力和效率。

JCS-MKD方法的提出不仅为多教师知识蒸馏提供了新的思路，也为模型压缩领域带来了重要的进展。通过将教师监督与自学习相结合，我们能够在保持模型性能的同时，提高其在资源受限环境下的适应性。此外，JCS-MKD方法的可解释性也为模型的理解和优化提供了新的视角。未来，我们计划进一步探索如何在不同类型的网络结构和任务中应用JCS-MKD方法，并尝试将其扩展到更复杂的模型压缩场景中。同时，我们也将关注如何在实际应用中优化自知识机制，以提高模型的自适应能力。通过这些努力，我们希望能够为深度学习模型的部署和优化提供更加高效和可解释的解决方案。

在本研究中，我们还对JCS-MKD方法的作者贡献进行了明确划分。Yifeng Ding负责论文的撰写、修改、可视化、验证、调查、形式化分析、数据整理和概念设计；Gaoming Yang负责论文的撰写和修改，并负责资金获取与形式化分析；Xinxin Ye、Xiujun Wang和Zhi Liu均参与了论文的撰写与修改工作。此外，本研究遵循了严格的伦理标准，确保了研究过程的合法性和道德性。研究过程中并未涉及人类参与者、动物或敏感数据，因此不需要进行伦理审查或批准。同时，我们声明本研究的作者不存在任何可能影响研究结果的财务利益或个人关系。

本研究的成果得到了多项基金的支持，包括国家自然科学基金（Grant 52374155）、安徽省自然科学基金（Grant 2308085MF218）、安徽省高校自然科学研究项目（Grant 2022AH040113）以及安徽理工大学医学专项培育项目（Grant YZ2023H2B007）。这些资金支持为本研究的顺利开展提供了重要保障，同时也体现了研究者对推动深度学习模型压缩技术发展的热情与承诺。

综上所述，JCS-MKD方法通过结合类注意力机制和自知识机制，为多教师知识蒸馏提供了一种全新的解决方案。它不仅克服了现有方法在知识可解释性和自学习方面的不足，还在多个标准数据集上取得了显著的性能提升。未来，我们希望继续深入研究JCS-MKD方法在不同应用场景中的表现，并探索其在更广泛领域的应用潜力。通过不断优化和改进，我们相信JCS-MKD方法将成为知识蒸馏领域的重要工具，为实现高效、可解释的模型压缩提供有力支持。