BeShift：基于行为特征的数据增强技术，用于在数据分布发生变化的情况下实现鲁棒且公平的深度知识追踪

《Knowledge-Based Systems》：BeShift: Behavior-informed data augmentation for robust and fair deep knowledge tracing under distributional shifts

知识追踪模型在分布性偏移下可靠性下降，本文提出BeShift框架通过模拟认知疲劳、遗忘和知识差距生成合成数据，提升模型鲁棒性，实验显示公平AUC平均提升11.6%。

　　

韩圭尔·金（Han Kyul Kim）| 斯蒂芬·卢（Stephen Lu）

丹尼尔·J·爱泼斯坦（Daniel J. Epstein） 南加州大学工业与系统工程系， 麦克林托克大道3715号，洛杉矶，90089-0193，加利福尼亚州，美国

摘要

基于深度学习的知识追踪（DLKT）模型在预测学生学习轨迹方面发挥了重要作用，然而当这些模型应用于学生群体与训练数据不同时，其可靠性往往会下降。本文介绍了BeShift，这是一种基于行为信息的数据增强框架，旨在提高DLKT在数据分布变化下的鲁棒性。BeShift整合了三个模块，这些模块基于教育心理学和先前的知识追踪（KT）研究，用于模拟认知疲劳、遗忘和知识缺口，从而生成能够反映实际表现下降模式的合成学生序列。此外，一种目标精度分箱机制确保增强后的数据系统地涵盖了训练数据中缺失的广泛学生表现水平。在两个基准数据集上的实验表明，BeShift显著提高了预测鲁棒性（通过FairAUC衡量），在多种DLKT架构和不同程度的数据分布变化下平均提升了11.6%的FairAUC。与随机增强、焦点损失和分布鲁棒优化等基线方法相比，BeShift在准确性和公平性之间实现了更好的平衡。据我们所知，BeShift是最早系统地解决DLKT中数据分布变化问题的方法之一，特别关注表现较差的学生。这些结果证明了BeShift是一个有效且可扩展的行为驱动数据增强框架。

引言

知识追踪（KT）长期以来一直被认为是计算机科学与教育之间成功的跨学科合作成果。作为一种根据学生历史反应估计他们对不同知识概念（KCs）掌握程度的方法，KT为个性化学习提供了宝贵的见解。例如，学习平台可以自动推荐适合每个学生理解水平的教学材料，从而提高在线教育的参与度和学习效果[1]、[2]、[3]。大规模数据集的可用性以及在线教育平台的增长推动了基于深度学习的KT（DLKT）模型的显著进步。这些方法已成为建模学生掌握知识概念的公认框架[4]。

尽管取得了成功，但DLKT模型通常是在经验风险最小化（ERM）的假设下进行训练的，即训练数据和测试数据来自相同的分布。实际上，这一假设很少成立。当KT系统在多个学期中纵向部署时，学生群体的系统性或行为变化不可避免地会导致数据分布的变化[5]、[6]。先前的KT[5]和教育[7]研究表明，这种变化在表现较差的学生中尤为明显。因此，这些分布变化不仅降低了整体预测准确性，还进一步降低了模型对表现较差学生的预测公平性。

在这项工作中，我们解决了现有DLKT模型在数据分布变化下无法保持准确性和公平性的根本问题，这是以往KT研究中尚未解决的问题。本文的贡献有两个方面：首先，我们介绍了BeShift，这是一种基于先前KT和教育研究中识别出的学生表现下降模式的行为驱动数据增强方法。通过将这些行为变化纳入训练数据集，BeShift提高了DLKT模型对数据分布变化的鲁棒性，而无需在推理时预先了解这些变化的严重程度。其次，我们提出了公平性调整的AUC（FairAUC），这是一种新的评估指标，能够同时衡量不同学生子组的预测准确性和公平性，从而更全面地评估DLKT模型在数据分布变化下的实际应用效果。

相关工作

本节概述了KT领域的进展，特别关注DLKT。我们还将定义与KT相关的预测公平性概念。

问题陈述

DLKT模型是在ERM假设下进行训练的，该假设认为训练数据和测试数据的分布是相同的。实际上，当学生行为在学期或情境中发生变化时，这一假设往往不成立，从而导致数据分布的变化。设$D_{\text{train}}$和$D_{\text{test}}$分别表示学生交互序列、标签和子组成员的联合分布。具体来说，设$X={\left\{(q_t,a_t)\right\}t=1n?1,Y=a_n,G\in \{H,L\}}_{}^{}$$q_t$表示第$t$个被尝试的问题，$a_t\in \{0,1$表示回答的正确性，$a_t\in \{0,1$