RTKD：针对异质学生的响应式教师知识萃取方法

《Knowledge-Based Systems》：RTKD: Responsive Teacher Knowledge Distillation with heterogeneous students

　　Son Geonyeong | Kim Misuk
数据科学系，汉阳大学，韩国首尔城东区王峙路222号，04763

**摘要**
知识蒸馏（Knowledge Distillation，KD）是一种学习方法，通过该方法教师模型能够有效地将其知识传递给学生模型。这一过程常被比作课堂场景中经验丰富的教师向学生传授知识的情况。然而，这种简单的类比未能准确捕捉到现实课堂环境中教师与不同水平学生之间复杂的动态互动。在本文中，我们提出了响应式教师知识蒸馏（Responsive Teacher Knowledge Distillation，RTKD）——一种受实际课堂观察启发的新型KD方法。RTKD允许教师模型通过综合整合来自具有不同水平学生模型的学习成果来自我提升。该方法通过收集和整合来自多种学生模型的反馈来更新自身，从而实现更丰富和更具适应性的知识传递。我们通过量化评估在需要常识推理能力的各种任务上验证了RTKD的有效性。此外，我们还通过针对关键超参数（如温度设置、高容量学生模型层数以及学生贡献比例）进行消融研究来验证了所提出的模型。进一步地，通过与几种替代架构的定量性能比较，也证实了RTKD的架构合理性。

**引言**
大规模语言模型（Large Language Models，LLMs）的出现和快速发展使其在各种任务中表现出色。然而，这些模型的发展也带来了严重的环境问题，尤其是在资源受限的环境中部署和使用它们变得越来越具有挑战性[1]、[2]、[3]。知识蒸馏（KD）是一种众所周知的方法，用于减轻这种计算负担。它是一种将来自大型、训练有素的教师模型的知识有效传递给小型、计算效率更高的学生模型的学习方法，这一过程类似于有经验的教师在课堂上向学生传授知识[5]、[6]。最近的教育研究一致表明，当教师持续获取学生理解的证据并调整反馈或教学方法以缩小学习差距时，教学效果会更好。关于适应性教学的研究进一步强调了根据学习者的当前需求提供响应式支持的重要性，这促使我们设计了利用学生学习信号并整合来自不同能力水平学生反馈的教师模型[7]、[8]、[9]、[10]。具体而言，持续的互动使教师能够帮助学生掌握复杂概念，而学生也能提高他们的独立解决问题的能力[11]、[12]。
然而，传统的KD方法主要特征是从教师模型到学生模型的单向知识传递。这与实际课堂情况不同，课堂中教师与不同能力水平的学生之间存在更加复杂和动态的互动，而传统KD方法难以体现这种动态（见图1）。例如，在真实课堂中，教师通过与各种水平的学生互动来鼓励他们的学习潜力，包括高成就者和低成就者[13]。然而，传统的KD模型通常无法适应如此广泛的学习速度差异，从快速学习者到进展较慢的学生。换句话说，在实际课堂环境中，教师通过了解学生的学习状态来优化教学方法，这种适应性实践不仅有助于提高学生的学术成就[13]、[14]、[15]、[16]，还能促进教师自身的发展。
在本文中，我们引入了响应式教师知识蒸馏（RTKD），该方法借鉴了现实教育环境的经验。RTKD是一种新型KD方法，模仿了教师在实际课堂环境中与不同水平学生互动的过程中自我提升的过程。通过综合整合来自不同能力水平学生模型的学习成果，RTKD方法促进了教师模型的自我改进。因此，我们的方法旨在实现真实且有效的数据传递。这种关注学生并具有响应性的蒸馏框架也可能适用于其他强调结构化知识传递和快速适应的最新应用领域[17]、[18]、[19]、[20]、[21]。我们通过量化评估在需要常识推理能力的各种任务上验证了RTKD的有效性。此外，我们还进行了消融研究，以探讨RTKD中超参数（如温度设置、高容量学生模型层数以及学生贡献比例）的影响。为了进一步确认RTKD知识传递架构的有效性，我们还与几种替代架构进行了定量性能比较。

**本文的主要贡献如下：**
- 我们提出了RTKD，这是一种模仿实际课堂中教师与不同水平学生之间互动过程的新型KD方法，通过综合整合这些不同学生模型的学习状态来更新教师模型。
- 我们通过多种常识推理任务的全面定量评估证明了RTKD的有效性，并通过包括温度设置、高容量学生模型层数以及学生贡献比例等关键超参数的消融研究验证了所提出的模型。
- 我们通过与几种替代架构的定量性能比较，确认了RTKD架构的有效性。

**知识蒸馏（KD）**
KD是一种将大量知识从大型教师模型传递给轻量级学生模型的方法，从而提升学生的表现。这一过程不仅涉及优化特定任务的损失函数，还同时利用KD损失函数。虽然通常使用交叉熵（cross-entropy）来处理特定任务的损失函数，但蒸馏项 often 采用KL散度（KL divergence）、余弦相似度（cosine-similarity）、L1范数（L1）、边际排名（margin ranking）或均方误差（MSE）[22]、[23]、[24]、[25]。

**响应式教师知识蒸馏（RTKD）**
图3展示了我们提出的RTKD模型的整体方法和操作顺序。RTKD包括一个教师模型（T）、一个高容量学生模型（Sh）和一个低容量学生模型（Sl）。我们定义了两个具有不同能力的学生模型：一个高容量学生模型（例如BERT-4L）和一个低容量学生模型（例如BERT-2L），以研究在统一教师指导下的互补学习行为。在RTKD方法中，教师模型与这两个学生模型进行互动。

**常识推理数据集**
为了评估KD的效果，我们使用了需要常识推理的下游任务。常识推理任务通过利用人类自然拥有的通用知识和直觉来评估人们得出逻辑结论的能力[32]。这些任务被认为更具挑战性，因为它们要求深入的理解和推理能力，而不仅仅是记忆信息或识别表面相似性[33]、[34]。

**常识推理结果**
在表3中，我们展示了RTKD模型在五种常识推理任务上的性能比较，这些任务涵盖了不同的数据集，并考虑了困难性和简单的负样本抽取情况。我们提出的RTKD模型在具有38M参数的模型组中表现出色，平均准确率为61.83%，相比其他KD方法提高了2.37%至5.39%。

**超参数分析**
我们评估了温度参数τ、损失权重α、高容量学生模型层数以及平均比率γ对我们RTKD模型的影响。我们使用高负面采样和简单负面采样数据集对codah-test进行了定量评估。

**结论**
本文提出了一种新型KD方法——响应式教师知识蒸馏（RTKD），该方法受到现实教育环境中教师与不同水平学生互动并共同发展的动态过程的启发。RTKD的基本原理是教师模型综合整合来自不同能力水平学生模型的学习成果，并利用这些综合反馈来自我更新，以实现更真实和有效的知识传递。

**作者贡献声明**
Son Geonyeong：撰写——原始草稿、可视化、软件开发、资源管理、方法论设计、数据分析、概念化。
Kim Misuk：撰写——审稿与编辑、模型验证、项目监督、资金筹集。

**未引用参考文献**
[47]、[48]

**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了韩国国家研究基金会（NRF）（由韩国政府资助，项目编号RS2024-0040780）、韩国国家研究基金会基础科学研究计划（由教育部资助，项目编号RS-2025-25417811）以及韩国政府信息与通信技术规划与评估机构（IITP）（项目编号RS-2020-II201373，汉阳大学人工智能研究生院项目）的资助。