通过仅使用解码器的Transformer实现多源扩展来提升知识追踪能力

《ACM Transactions on Intelligent Systems and Technology》：Improving Knowledge Tracing through Multi-Source Scaling with Decoder-Only Transformers

知识追踪（KT）通过建模学生学习状态预测其未来表现，但数据收集受限。本文提出UniKT模型，基于多源Transformer架构，整合六类教育场景数据，显著提升AUC和准确率，验证多源数据迁移能力，代码和数据处理公开。

　　

摘要

知识追踪（Knowledge Tracing, KT）是一种通过观察学生的学习历史互动来预测其未来表现的问题。教育数据的收集面临诸多挑战：学生有限的学习参与度限制了大规模互动数据的生成，而严格的隐私法规进一步减少了在线平台上学生学习序列的可用性。因此，通过整合来自多个学科和来源的学生互动数据来构建大规模数据集，从而提升基于深度学习的知识追踪（Deep Learning-based KT, DLKT）模型的能力至关重要。ChatGPT的成功表明，仅使用解码器的Transformer架构在从大规模序列数据中捕获复杂信息方面非常有效。基于这一背景，我们提出了一种全新的仅使用解码器的Transformer架构模型，名为Unified DLKT（UniKT），旨在从广泛的数据源中学习连贯且统一的表示。具体来说，我们结合了来自六个教育场景的学生学习序列，并利用多源编码来学习混合数据中的互动信息。UniKT由多层Transformer解码器组成，用于处理学生历史互动与未来表现之间的长期依赖关系。我们在六个公开可用的真实世界教育数据集上对UniKT进行了评估，实验结果表明，该方法在AUC和准确性方面均优于大多数现有的DLKT模型。此外，实证分析还显示了UniKT在从多个数据源中学习时的强泛化能力和适应性。为了鼓励可复现的研究，我们已将我们的数据和代码公开发布在https://pykt.org/。