PG-LLM-KT：一种基于冻结轻量级大语言模型的可适配前置知识引导知识追踪框架

《Knowledge-Based Systems》：PG-LLM-KT: An adaptable prerequisite-guided framework for knowledge tracing with frozen lightweight LLMs

　　

• 提出了一种基于冻结轻量级大语言模型的可适应先决条件引导知识追踪方法。
• 引入了一种数据驱动算法，从学习序列构建先决条件图。
• 设计了一个自适应置信度头，用于调整预测并减少过度自信。
• 采用跨多个知识追踪数据集的联合训练，以增强跨数据集泛化能力。
• 在六个基准测试上取得了具有竞争力的性能，且参数量少于现有基于大语言模型的方法。

引言
知识追踪（KT）旨在从学习轨迹中建模和预测学生不断演变的知识状态，从而在智能辅导系统中实现个性化学习 [1]，[2]。它已从早期的传统方法演变为基于深度学习的方法，最近进一步发展到基于语言模型的架构。传统知识追踪方法 [1]，[3]，[4]，[5] 具有较高的可解释性，但往往依赖于人工设计的假设，并难以捕捉复杂的学习模式。深度学习（DL）通过多种方法显著推动了知识追踪领域的发展，包括循环网络 [2]，[6]、注意力机制 [7]，[8]，[9] 和图神经网络 [10]。它们大大提高了预测性能，但由于固定的和特定于数据集的表示，始终表现出较差的跨数据集泛化能力 [11]。最近，大语言模型（LLMs）为知识追踪研究提供了一种新范式，提供了强大的推理和跨数据集潜力 [12]，[13]，[14]。然而，目前的基于大语言模型的知识追踪方法通常依赖于庞大的模型，导致计算成本高且部署不实际，特别是在资源受限的环境中。
为了解决这些局限性，本文提出了 PG-LLM-KT，一种基于冻结轻量级大语言模型的可适应先决条件引导知识追踪框架。与现有的知识追踪和图增强方法不同，PG-LLM-KT 引入了一种新范式，结合了冻结的轻量级大语言模型、数据驱动的先决条件知识图和自适应置信度调整，以实现效率和泛化能力的统一。我们的主要贡献总结如下。
• 为了捕捉概念之间的时间优先性和条件依赖性，开发了一种自动方法从学生学习交互序列构建先决条件知识图（PKG）。
• 在先决条件图的指导下，引入了一个结构化指令模板，以使冻结的轻量级大语言模型推理与特定于数据集的知识结构对齐。
• 为了解决轻量级大语言模型中常见的过度自信问题，引入了自适应置信度头（ACH）以调整预测置信度。
• 在多种基准测试上的综合实验，包括一个自建现实数据集 HNU_SYS2023，展示了 PG-LLM-KT 在有效性、计算效率和跨数据集泛化能力方面的优势，使其在资源受限环境中具有广阔前景。
本文其余部分组织如下。第 2 节回顾了知识追踪的相关工作。第 3 节描述了预备知识。第 4 节描述了 PG-LLM-KT 的整体框架。第 5 节介绍了实验设置和评估结果。第 6 节总结了本文。

章节片段
传统知识追踪
早期知识追踪研究侧重于概率和统计模型。贝叶斯知识追踪（BKT）[1] 将学生知识状态建模为二元潜在变量，并使用隐马尔可夫模型来追踪知识状态转移。[3] 通过引入个性化参数扩展了 BKT。基于分解的方法，如学习因子分析 [4] 和表现因子分析 [5]，将学生表现分解为多个因子，包括知识难度和学生能力。

预备知识
设 $\mathcal{Q}=\{q_1,q_2,…,q_{N_q}\}$，$\mathcal{C}=\{c_1,c_2,…,c_{N_c}\}$ 和 $\mathcal{T}=\{t_1,t_2,…,t_{N_t}\}$ 分别表示练习、知识概念和学生的集合，其中 $N_q$，$N_c$ 和 $N_t$ 是练习、知识概念和学生的总数。形式上，学生 $t_m$ ($m=1,2,…,N_t$) 的交互序列 $\mathcal{S}_m$ 定义为：$\mathcal{S}_m=\{(q_{j_1},\mathcal{C}_{j_1},a_{j_1}),(q_{j_2},\mathcal{C}_{j_2},a_{j_2}),…,(q_{j_{L_m}},\mathcal{C}_{j_{L_m}},a_{j_{L_m}})\}$，其中 $q_{j_k} \in \mathcal{Q}$，$\mathcal{C}_{j_k} \subseteq \mathcal{C}$ 和 $a_{j_k} \in \{0,1\}$ ($k=1,2,…,L_m$) 分别表示练习索引、与练习 $q_{j_k}$ 相关的知识概念集合，以及

方法
本节我们提出了 PG-LLM-KT，一种基于冻结轻量级语言模型的可适应图引导知识追踪框架。图 1 展示了 PG-LLM-KT 的整体流程图，包括三个关键组件，即数据驱动的先决条件图构建、图引导的结构化指令制定和自适应置信度头设计。

实验
本节展示了 PG-LLM-KT 的全面实验评估，包括对比实验、消融研究、超参数敏感性、跨数据集泛化和计算效率。

结论
与具有较高计算成本的现有基于大语言模型的知识追踪方法，以及具有外部预定义图的图增强知识追踪方法不同，我们提出了一种基于冻结轻量级大语言模型的可适应先决条件引导知识追踪框架，命名为 PG-LLM-KT，适用于资源受限的教育环境。该框架由三个关键组件组成，即数据驱动的先决条件知识图（PKG）、图引导的结构化指令和自适应置信度头（ACH）。通过自动

CRediT 作者贡献声明
Guiyao Liu：撰写 – 原稿，可视化，验证，软件，方法学，调查，形式分析，数据管理，概念化。Lianhong Wang：撰写 – 原稿，可视化，验证，监督，资源，项目管理，方法学，调查，资金获取。Junyi Li：撰写 – 原稿，可视化，验证，软件，调查，形式分析，数据管理。Xiaoyao Li：撰写 – 审阅与编辑，可视化，

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

Guiyao Liu|Lianhong Wang|Junyi Li|Xiaoyao Li|Xiaogang Zhang|Sijun Zhang