《Scientific Reports》:RA4KT: a causality-informed explainable reverse attribution framework for knowledge tracing
编辑推荐:
随着全球教育数字化转型,知识追踪(Knowledge Tracing, KT)作为智能辅导系统中的核心认知建模模块,已成为教育数据挖掘的关键研究方向。然而,现有基于深度学习的KT模型本质上是黑箱模型:尽管能够实现高精度的答题表现预测,却无法阐明内部决策逻辑,也
随着全球教育数字化转型,知识追踪(Knowledge Tracing, KT)作为智能辅导系统中的核心认知建模模块,已成为教育数据挖掘的关键研究方向。然而,现有基于深度学习的KT模型本质上是黑箱模型:尽管能够实现高精度的答题表现预测,却无法阐明内部决策逻辑,也无法将输出转化为可供学生和教师直接采纳的可操作教学指导。现有的KT可解释性方法无法同时满足因果性、可操作性、教学适应性和非专业人员可理解性等核心需求,严重限制了KT的工业部署及教育AI系统的合规应用。为填补这些研究空白,研究人员系统性地建立了KT序列学习场景下逆向归因的概念定义、数学形式化及其五个核心属性,并提出RA4KT——一种专为教育场景的序列特征与教学先验约束设计的模型无关事后可解释性框架。RA4KT通过整合知识概念(Knowledge Concept, KC)先验关联的多目标损失函数,统一了归因有效性、修改最小化与教学连贯性;通过可操作性掩码(Actionability Mask)硬约束机制强制执行干预的可操作性;并通过旅行商问题(Traveling Salesman Problem, TSP)变体后处理模块,将模型解释与教学干预相连接,生成符合认知规律的有序教学路径。在两个大规模真实教育数据集(XES3G5M和ASSISTments2017)上的系统性实验表明,RA4KT在核心指标(有效性、稀疏性、教学相关性、鲁棒性)上优于主流逆向归因基线方法(DiCE、CETD、CMKT、RCKT),其中性能最佳的RA4KT-gs变体在各核心指标上相较于最强基线的相对提升幅度为2.1%至16.6%(各指标、各数据集的具体数值及计算细节见表2–3及“主要实验结果与分析”章节),在长序列场景中保持稳定性能,并在离线干预模拟中显著提升了知识掌握效率,尤其对于初始掌握水平较低的学生。该工作填补了从黑箱KT预测到可操作干预方案之间的技术空白,为教育AI的可解释工程部署提供了技术路径,并具备向医疗健康、金融风控和工业预测性维护等高重要性时序场景扩展的潜力(需经领域特定验证)。
研究背景与现存问题
在全球教育数字化转型背景下,人工智能驱动的智能辅导系统(Intelligent Tutoring System, ITS)通过持续建模学生学习行为数据,实现了对学生学习状态的动态诊断和学习表现的精准预测。知识追踪(Knowledge Tracing, KT)作为ITS中学生认知建模的核心基础模块,以学生历史学习和答题序列为输入,利用机器学习动态建模学生对不同知识概念(Knowledge Concept, KC)的掌握随时间变化的规律,并精确预测学生在特定知识概念上的未来答题表现。然而,现有深度学习驱动的KT模型继承了深度学习框架的“黑箱特性”:虽然能够输出高精度预测结果,但这些模型既无法明确阐述其内部决策逻辑,也无法将预测结果转化为可供学生和教师直接采用的可操作教学指导。这一关键局限不仅制约了KT技术的实际应用效果,还带来了重大的伦理风险和合规挑战。近年来,全球监管机构对教育领域人工智能应用的风险管理给予了高度关注,普遍强调教育AI系统必须在保障人类决策自主权的前提下实现学习效能提升,而可解释性是核心前提。
现有KT可解释性研究主要分为内在模型可解释性与事后可解释性两大方向,均存在显著局限。内在方法方面,基于注意力机制的模型只能通过权重热力图展示模型的预测关注点,无法解释特征影响机制或建立因果关联,且已有研究证实注意力权重与实际特征贡献之间并无必然因果关系;融合教育心理测量学的方法只能完成学生的宏观能力诊断,无法提供具体可执行的学习改进方案。事后方法方面,以SHAP和LRP为代表的特征重要性分析方法虽能识别学生知识薄弱点并回答“是什么”的问题,但其本质上属于相关性分析,无法建立知识掌握与预测结果之间的因果关系,也无法回应“如何做才能改善知识掌握并改变模型预测”这一核心需求。更重要的是,大多数现有KT可解释性研究以AI研究人员为核心受众,其输出的解释形式需要专业AI或教育测量背景才能理解,而教育场景中的核心利益相关者大多为非AI专业人士,面临过高的理解门槛。因此,迫切需要一种符合人类认知习惯、具备因果性、可直接转化为教学行动且无需专业背景即可理解的KT可解释性方法。
研究内容与结论
针对上述产业痛点与研究空白,研究人员将逆向归因引入KT领域,作为连接KT模型可解释性与实际教育应用的核心桥梁,提出了RA4KT——一种面向KT的逆向归因生成方法,并设计了配套的后处理流程,将逆向归因转换为有序、可操作的追索建议。该方法建立在训练好的KT模型之上,将知识概念的先验关联纳入逆向归因生成的优化过程中,通过构建包含有效性损失、约束损失和连贯性损失的多目标损失函数,使生成的逆向归因能够有效翻转模型预测,同时仅对学生原本答错的问题进行最小化修改,有助于保持解释的现实性和教学合理性。基于旅行商路径问题(Traveling Salesman Path Problem, TSPP)的后处理算法将逆向归因产生的无序KC集合转换为符合学习规律的有序教学步骤序列,为学生提供清晰的学习路径。基于“如果采取XX干预,则可获得预期结果YY”的核心逻辑,逆向归因输出的是实现目标所需的具体输入修改而非复杂的模型内部信息,天然适用于教育场景。
在XES3G5M和ASSISTments2017两个大规模真实世界教育数据集上的系统定量与定性实验结果表明,RA4KT在有效性、稀疏性、现实性和生成效率等核心指标上显著优于主流通用逆向归因方法,RA4KT-gs变体在各核心指标上相较于最强对应基线方法的相对提升幅度为2.1%至16.6%。定性分析验证了所设计后处理方案能显著减少干预路径的冗余修改步骤,生成的排序后追索路径符合领域先验规则和序列依赖逻辑。该研究填补了从黑箱KT预测到可操作干预方案之间的技术空白,为顺序预测AI模型的可解释工程实施提供了技术路径。
关键技术方法
研究人员采用了以下关键技术方法:(1)多目标损失函数设计,包括基于二元交叉熵的有效性损失(Validity Loss)、基于汉明距离的约束损失(Constraint Loss)以及基于知识概念(KC)关联图中最短路径距离的连贯性损失(Coherence Loss);(2)可操作性掩码(Actionability Mask)硬约束机制,在每次梯度更新后强制执行投影操作,仅允许修改原始答题序列中答错的题目,禁止修改答对的题目;(3)基于旅行商路径问题(TSPP)变体的后处理算法,通过迪杰斯特拉(Dijkstra)算法计算最短路径矩阵,并采用贪心算法求解哈密顿路径,将无序的KC集合转换为有序的学习路径;(4)采用连续松弛与梯度下降优化结合的策略,通过有限差分法估计黑箱KT模型的梯度,并使用Adam优化器迭代求解最优逆向归因序列。
研究结果
主要实验结果与分析:在XES3G5M和ASSISTments2017两个数据集上,RA4KT-gs变体在所有核心指标上均优于所有基线方法(DiCE、CETD、CMKT、RCKT)。在XES3G5M数据集上,RA4KT-gs的有效性(Validity)达到0.916,比最佳基线RCKT(0.877)提升4.4%;稀疏性(Sparsity)达到0.964,比最佳基线CMKT(0.941)提升2.4%;教学相关性(Pedagogical Relevance)达到0.938,比最佳基线RCKT(0.904)提升3.8%;鲁棒性(Robustness)达到0.929,比最佳基线RCKT(0.872)提升6.5%。在ASSISTments2017数据集上也观察到了类似的显著优势。
消融实验:通过逐步移除连贯性损失、约束损失和可操作性掩码等组件,研究人员验证了各组件对RA4KT性能的贡献。完整RA4KT-gs变体在所有指标上均优于任何消融变体,证明了多目标损失函数和硬约束机制的协同有效性。移除可操作性掩码后,不可操作干预比例(Actionability Violations)从0%急剧上升至超过30%,凸显了硬约束机制的关键作用。
跨KT模型泛化实验:研究人员将RA4KT应用于五种不同的KT模型架构(DKT、DKVMN、SAKT、AKT、SimpleKT),结果显示RA4KT在所有模型上均保持了稳定的优越性能,验证了其模型无关性和通用性。
长序列场景性能鲁棒性实验:在序列长度从50递增至200的条件下,RA4KT的有效性保持在0.90以上,稀疏性维持在0.95以上,而基线方法的性能随序列增长显著下降,表明RA4KT对长序列具有出色的鲁棒性。
初始化策略对比实验:研究人员比较了五种初始化策略(随机初始化、全零初始化、全一初始化、凸组合初始化和梯度信号初始化),发现凸组合初始化(Convex Combination Initialization)在有效性和稀疏性之间取得了最佳平衡,被选为默认策略。
教学先验合规性与离线模型干预模拟:通过路径一致性指数(0.894)、先决条件依赖满足率(97.2%)和认知连贯性指数(0.913)三个指标,研究人员验证了RA4KT生成的排序后教学路径与专家标注的金标准路径高度一致。离线干预模拟显示,RA4KT的知识掌握效率增益显著高于基线方法,尤其对于初始掌握水平较低的学生,其平均知识掌握得分提升超过35%。
讨论与结论
本研究提出的RA4KT框架系统地解决了KT模型中逆向归因生成的核心技术难题,首次将知识概念先验关联、可操作性硬约束和有序教学路径生成整合到一个统一的优化框架中。与现有方法相比,RA4KT不仅在定量指标上全面领先,而且在实际教育场景中展现出更强的实用价值。研究人员指出,RA4KT是一种面向KT模型的逆事实解释/算法追索方法,它生成可操作的、以KC为单位的追索方案,并通过离线模拟评估候选干预顺序。该方法本身并不构成或实证验证实际部署的教学干预,这需要涉及真实学习者的研究,研究人员将其视为未来工作的重要方向。该研究为教育AI的可解释工程部署提供了技术路径,并具备向医疗健康、金融风控和工业预测性维护等高重要性时序场景扩展的潜力,但需经领域特定验证。