基于多层次个性化感知与教师-学生语义蒸馏的知识追踪增强

《Neural Networks》：Enhancing Knowledge Tracing with Multi-level Individualized Perception and Teacher-Student Semantic Distillation

　　

• 提出了一种新颖的知识追踪框架，将个性化建模与知识蒸馏策略相结合。
• 设计了三个个性化模块，以捕捉问题理解、概念关联和记忆衰退方面的个体差异。
• 通过蒸馏从大语言模型（LLMs）转移能力，增强轻量级模型的语义表示。
• 展示了在多个基准数据集上预测性能和模型泛化能力的持续提升。

引言
随着计算机辅助教育（CAE）系统的发展，在线学习平台积累了大量的学习者交互数据。这些数据为个性化教学和学习支持提供了重要的基础 Conati 等 (2021); VanLehn 等 (2017)。知识追踪（KT）旨在从学习者的历史交互中对其动态知识状态进行建模，并预测其在未来学习活动中的表现 Abdelrahman 等 (2023); Shen 等 (2024)。准确的知识状态估计可以支持学习资源推荐、教学干预和个性化学习路径规划。

早期的 KT 研究主要使用概率模型来描述知识获取和状态转换。贝叶斯知识追踪（BKT）通过潜在变量来表示学生对知识概念的掌握程度 Corbett 和 Anderson (1994)。其个性化扩展进一步考虑了学习者之间的差异 Yudelson 等 (2013)。随着深度学习的发展，DKT 使用循环神经网络将学生知识表示为随着交互序列演化的隐藏状态 Piech 等 (2015)。随后的研究从可解释性、问题语义和问题难度的角度扩展了 KT。例如，Deep IRT 将项目反应理论融入深度 KT 以提高模型可解释性 Pardos 和 Heffernan (2011); Yeung (2019)。EKT 引入问题文本以增强练习表示 Liu 等 (2021)。

近期的 KT 研究越来越考虑到个体因素，如学生能力、问题难度、情绪状态和学习行为。DIMKT 通过建模问题难度的影响来动态估计学生知识状态 Shen 等 (2022)。Dual State Personalized KT 结合个性化状态和情绪信息来表征学生差异 Wang 等 (2025)。这些研究证明了个性化信息对于知识状态估计的价值。然而，大多数现有方法通过学生能力、情绪因素或一般交互模式来建模个性化。它们很少在统一框架内考虑问题理解、知识概念关联和遗忘方面的个体差异。

在真实的学习场景中，具有相似回答记录的学生在解决同一问题时可能遵循不同的认知过程，如图 1 所示。首先，先验知识、认知偏好和学习经验影响学生如何理解问题语义。其次，不同的解释可能激活不同的知识概念并产生不同的认知焦点。第三，学习能力、学习习惯和历史反馈影响遗忘率和记忆保持 Shen 等 (2024); Song 等 (2022)。这些因素相互作用并共同影响学生知识状态的演化。因此，统一的问题表示和一般交互模式无法充分表征个性化学习过程。

除了个性化不足之外，现有轻量级 KT 模型挖掘深层语义信息的能力有限。许多基于序列的模型主要从问题标识符、知识概念标识符和回答结果估计学生状态 He 等 (2024); Piech 等 (2015)。文本增强和问题表示增强方法引入了额外的练习信息。然而，它们的表示能力仍然依赖于预定义特征或容量有限的语言编码器 Deng 等 (2025); Liu 等 (2021)。因此，这些方法可能无法捕捉复杂语义结构、潜在概念关系以及学生交互中隐藏的认知信息。

大语言模型具有强大的语义理解和上下文建模能力。它们可以从问题文本、知识概念和学习行为中提取丰富的潜在信息。然而，它们的直接部署需要大量的计算和存储资源 Fang 等 (2026); Shen 等 (2021)。知识蒸馏将信息性表示从大的教师模型转移到轻量级学生模型。它在保持高效推理的同时提高了学生模型的表示能力 Yin 等 (2023a); Zhang 等 (2025)。因此，将大语言模型的语义知识集成到轻量级 KT 模型中，在预测性能和部署效率之间提供了实际的平衡。为了解决这些限制，本文提出了多层次个性化感知与基于 LLM 的语义增强知识追踪（MIPSEKT）。该模型包含两个主要组件：多层次个性化建模和轻量级语义增强。个性化建模组件由三个模块组成。个性化问题理解（PQU）模块通过结合学生特征与问题语义生成个性化的问题表示。个性化问题 - 知识关联模块（PQKA）使用此表示来动态建模不同知识概念的激活。个性化知识遗忘（PKF）模块结合交互间隔、历史状态和学生反馈来表征知识保持和遗忘方面的个体差异。

对于语义增强，MIPSEKT 采用大语言模型作为教师，LSTM 作为轻量级学生。隐藏状态蒸馏将深层语义建模能力从教师转移到学生。两个模型接收相同的个性化交互表示。在训练期间，它们的隐藏知识状态在每个时间步对齐。训练后，仅保留轻量级学生模型进行预测。此设计在提高语义表示的同时保持了较低的推理成本。

本文的贡献如下：
• 我们提出了一种集成多层次个性化特征的知识追踪框架。该框架对学生语义理解、问题与知识概念之间的关联以及知识遗忘的个体模式进行建模，从而捕捉认知理解和知识掌握方面的个体差异。
• 为了增强语义理解，我们引入了一种基于知识蒸馏的语义知识增强机制。该机制利用大语言模型强大的文本语义提取和表示能力，并将教师 LLM 的隐藏状态语义表示转移到轻量级学生模型中。
• 在两个公开数据集上的广泛实验证明了我们要模型的有效性。结果表明，与基线模型相比，我们的方法实现了优越的预测性能，为个性化学习和教育提供了坚实的基础。

章节片段
相关工作
准确的 KT 需要对学习者的交互信息进行多层次个性化建模，以表征理解、关联和遗忘方面的个体差异。它还要求骨干模型具有增强的语义挖掘能力，以充分利用问题文本和知识概念（KCs）中包含的深层信息。

问题定义
在 KT 中，DKT 框架将每个学生的学习过程表示为问题及其对应回答的时间有序序列。对于一名学生，在时间步 t，交互信息包括问题、相关的 KCs 和学生的回答。这被表示为一个元组 (qt, kt, rt)，其中 qt∈Q+ 表示问题，kt∈K+ 表示 KC，rt∈{0, 1} 表示学生的回答结果，1 表示回答正确。Q+ 和 K+ 表示...的集合

数据集
为了验证所提出方法的有效性，本文使用了两个包含丰富文本特征和反馈信息的数据集：DBE-KT22 Abdelrahman 等 (2022) 和 XES3G5M Liu 等 (2023)。DBE-KT22 1 是基于澳大利亚国立大学（ANU）关系数据库课程中真实学生练习活动构建的。它包括不同...的本科生

结果与分析
如表 2 所示，MIPSEKT 在 DBE-KT22 和 XES3G5M 上的 AUC、ACC 和 RMSE 方面取得了最佳结果。这表明所提出的方法在不同数据集上表现出稳定的预测性能。在 DBE-KT22 上，MIPSEKT 获得了 0.8547 的 AUC，0.8429 的 ACC，以及 0.3386 的 RMSE。与最强的基线 KVFKT 相比，MIPSEKT 将 AUC 和 ACC 分别提高了 0.0209 和 0.0117，并将 RMSE 降低了 0.0064。在 XES3G5M 上，MIPSEKT 获得了 0.8572 的 AUC，ACC 为

消融研究
为了验证所提出方法中每个组件的有效性，我们对 MIPSEKT 的关键模块进行了消融实验。

个性化建模下的知识状态
案例研究如图 6 和图 7 所示。我们选择两名具有不同学习特征的学生，并分析他们在相同问题场景下的知识状态变化。颜色越深表示估计的掌握程度越高。学生 A 基础更强，学习更快，遗忘更慢，如图 6 所示。在 PQU Only 和 PQKA only-设置下，模型在早期阶段捕捉到了对问题语义和相关 KCs 的有效理解。在 PKF 下

结论
本文提出了一种集成多层次个性化建模和语义增强的 KT 框架。该框架使用学生交互数据从三个方面表征个体差异：问题理解、问题-KC 关联和知识遗忘。具体来说，个性化问题理解模块捕捉学生对同一问题的不同语义理解。个性化问题 - 知识关联模块对个性化的进行建模 未引用引文 缺失引用 图 4、图 5 和表 1。

CRediT 作者贡献声明
Zhenqiang Yu: 写作 – 原稿，监督，方法论。Luyao Huang: 可视化，数据整理。Xingbing Li: 写作 – 审查与编辑，形式分析，数据整理。Yuncheng Jiang: 写作 – 审查与编辑，项目管理，方法论，资金获取。

竞争利益声明
作者声明他们没有已知的竞争性财务利益或可能影响本论文报道工作的个人关系。

致谢
本论文描述的工作得到了中国广东省科技计划项目的资助，项目编号 2025B0101120004；中国国家自然科学基金的资助，项目编号 62477015；中国广东省高校创新团队项目的资助，项目编号 2023KCXTD011。

Zhenqiang Yu|Luyao Huang|Xingbing Li|Yuncheng Jiang