《Data》：Explainable Early Warnings for Dropout in Distance Education Through Longitudinal Assessment Trajectories: Evidence from the Open University Learning Analytics Dataset
编辑推荐：
远程教育中的早期预警模型必须区分未来退学与已发生的事件，并在预测时点明确信息的可用性。利用开放大学学习分析数据集（Open University Learning Analytics Dataset, OULAD），研究人员在第28天、第56天和第84天构建了
远程教育中的早期预警模型必须区分未来退学与已发生的事件，并在预测时点明确信息的可用性。利用开放大学学习分析数据集（Open University Learning Analytics Dataset, OULAD），研究人员在第28天、第56天和第84天构建了风险集，分别包含27,515、26,506和25,713个符合条件的注册记录，未来退学率分别为18.55%、15.43%和12.81%。研究人员在按学生分组开发并完成概率校准后，在较晚的2014J学期上评估了逻辑回归（logistic regression）、随机森林（random forest）和XGBoost三种模型。逻辑回归的ROC-AUC（受试者工作特征曲线下面积）分别为0.687、0.692和0.710。具体而言，在第84天的时间保持集上，其ROC-AUC为0.7102，而随机森林为0.7104；配对差异为0.0002（95% CI ?0.0105至0.0119）。同步回归分析识别出评估完成度、加权表现和迟交次数具有独立关联，而提交不活跃在相互调整后仅提供了较弱的证据。第84天的判别性能在学生不相交的测试子集上为0.708，在移除分数衍生预测变量后为0.682。添加基本的虚拟学习环境（virtual learning environment, VLE）指标改善了早期判别性能，但在第84天未带来明显增益。在第84天F2选择的阈值下，每1000个注册记录中发出427条警报，其中约93个为未来退学，333个为假阳性。亚组误差差异和校准不完善支持容量感知的人工审查、局部再校准以及对干预效果的前瞻性评估。
论文解读
一、研究背景与问题
学生保留率是远程教育面临的核心挑战之一。远程学习的灵活性允许学生兼顾多样的日程安排和责任，但这种灵活性也使得脱离学习与正常的学习模式变化难以区分。学习管理系统（Learning Management System, LMS）和管理记录为参与度和学业进展提供了互补的证据。已有研究表明，LMS指标可以支持以干预为导向的警报，早期几周收集的信息也能识别有风险的学生。
然而，该领域存在一个关键的方法论难题：退学是教学过程中发生的事件，而许多回顾性数据集概括的是整个课程的结果。在最终结果上评估的模型，即使识别的是已经退学的学生，或使用了在拟议警报日期之后记录的信息，也可能看起来有用。因此，时间评估需要一个在每次截止时仍符合支持条件的注册风险集、仅限于该截止日期的预测变量，以及一个保留用于测试的较晚队列。
此外，确定预测截止时可用的信息需要区分事件的时间戳与其相关信息变得可用的时间。由于截止前提交的作业可能在之后才评分，在缺少成绩发布日期的情况下，使用其最终分数依赖于明确的可用性假设。算法选择也引入了灵活性与可审计性之间的权衡。更重要的是，模型比较必须超越判别性能，扩展到预测概率能否指导支持决策——这涉及校准、阈值选择和工作量评估。可解释性可以加强决策，但需明确预测关联不等于因果关系。
二、研究设计与主要方法
研究人员利用开放大学学习分析数据集（OULAD），该数据集涵盖32,593个注册记录、28,785名不同学生、七个模块和2013–2014年的22个模块学期。分析单位是学生–模块–学期注册记录。对于每个截止时间t∈{28, 56, 84}，资格要求有在t日或之前记录的注册日期，且没有退学日期或退学日期晚于t日。
研究采用了几项关键技术方法：时间评估设计，将2014J之前的学期作为开发数据，2014J保留为较晚的时间测试队列；GroupShuffleSplit按学生分组分配约80%的开发学生用于模型拟合，20%用于概率校准；逻辑回归使用L2惩罚、C=1、平衡类权重；随机森林使用500棵树、最小叶大小为5、平方根特征采样；XGBoost使用450轮提升、学习率0.04、深度4；Sigmoid校准在冻结基础估计器后拟合于开发校准子集；学生聚类自助法用于置信区间估计；TreeSHAP用于可解释性分析。
三、研究结果
风险集收缩与事件率变化。 应用注册和退学标准后，第28天、第56天和第84天分别产生27,515、26,506和25,713个符合条件的注册记录，后续退学数分别为5105、4091和3293，对应事件率为18.55%、15.43%和12.81%。这反映了早期退学的移除和剩余预测视野的缩短。
早期评估覆盖率不均衡。 在第28天，4988个注册记录（18.1%）尚无评估截止日期，7907个（28.7%）没有符合条件的提交，9585个（34.8%）缺少加权分数。到第84天，每个符合条件的注册记录至少有一个计划的评估截止日期，但仍有2166个（8.4%）没有符合条件的提交，4273个（16.6%）缺少定义的加权分数。
模型判别性能比较。 逻辑回归在第28、56、84天的ROC-AUC分别为0.687、0.692和0.710。在第84天，随机森林达到0.7104，逻辑回归0.7102，XGBoost 0.7034。随机森林与逻辑回归的配对差异为0.0002（95% CI ?0.0105至0.0119），没有明确证据表明随机森林具有一致的判别增益。
阈值行为差异。 在第84天，逻辑回归在阈值0.105时精确率为0.218、召回率0.704、F2 0.487；随机森林在阈值0.085时精确率0.184、召回率0.820；XGBoost在阈值0.075时精确率0.179、召回率0.816。逻辑回归以更少的警报获得更大比例的后续退学。
同步回归的独立关联。 完成度增加0.10对应的比值比（odds ratio, OR）为0.904（95% CI 0.893–0.916），加权分数增加10点对应的OR为0.748（0.728–0.769），迟交比例增加0.10对应的OR为1.052（1.038–1.067）。提交不活跃每增加10天的OR为1.030（0.997–1.064；p=0.074），未在0.05水平建立独立关联。
学生重叠与严格测试子集。 在第84天，1065名学生与阶段特定开发集共享，占8566个测试注册中的1084个（12.7%）。排除所有有早期学期注册的学生后，剩余7329个注册来自7059名学生，包括882个退学。在该更严格子集中，逻辑模型的ROC-AUC为0.708（95% CI 0.689–0.726）。
分数可用性敏感性。 移除分数使逻辑回归ROC-AUC在第28天降低0.0190、第56天降低0.0071、第84天降低0.0280。无分数第84天模型保留ROC-AUC 0.682，表明完成度和提交时间在成绩发布前提供了可用基线。
VLE指标增量贡献。 基本VLE扩展使逻辑回归ROC-AUC在第28天从0.687提高到0.697，第56天从0.692提高到0.700。在第84天，评估加VLE的估计为0.705，差异为?0.0049（?0.0110至0.0009），没有明确的后期增益。
校准与工作量。 第84天最低风险十分位数的平均预测风险为3.13%，观察退学为3.03%；最高十分位数为28.54%的预测风险对应33.96%的观察退学。在F2选择的阈值下，每1000个注册中约426.6个被标记：93.2个为未来退学，333.4个为非退学，39.2个未来退学被遗漏。警报中的假发现比例为78.2%。
亚组差异。 第84天ROC-AUC在记录的女性组为0.689，男性组为0.724。已声明残疾组的观察退学率更高（19.0%对12.7%），ROC-AUC为0.721对0.706，召回率为88.4%对67.7%，但假阳性率也更高（65.2%对36.0%）。
TreeSHAP特征重要性变化。 第28天完成度比率的平均绝对贡献最大（0.204），其次是加权分数（0.188）和最新分数（0.170）。第84天加权分数（0.263）和赚取加权点数（0.239）领先，其次是完成度（0.148）、平均迟交（0.143）和模块BBB（0.136）。
四、讨论与结论
研究结果表明，可解释的基于评估的基线可用于优先排序退学风险，但其有效性和操作价值取决于关于资格、信息可用性和联系能力的明确选择。模型比较为简约性提供了有依据的论证：第84天逻辑回归和随机森林的ROC-AUC估计几乎相同，支持逻辑回归作为可辩护的操作起点。同步回归通过区分相互调整的关联与单独检查指标的关联，加强了评估信号的解释。完成度、表现和迟交保留了预期方向的关联，而不活跃估计衰减且其区间包含无关联。
评估指标仍然是教育观察而非诊断。较低的完成度可能反映竞争性工作或照护责任、学业困难、健康相关中断或材料不可及，这些在OULAD中均未直接观察。评估时间与VLE活动的区分表明，评估里程碑与截止日期之间的活动可以互补。无分数比较区分了可部署的信息集与即时评分的乐观假设。工作量分析显示，以召回为导向的阈值可能需要大量人员能力，校准可能漂移，错误率可能在不同群体间存在差异。学生不相交测试和亚组分析表明，有用的排序并不自动产生可接受的警报策略。
结论是，可复现的基于评估的早期预警架构可以在第28、56和84天区分符合条件的注册中的未来行政退学，具有中等的时序判别能力和可解释的信号。逻辑回归仍是可辩护的基线，其第84天ROC-AUC为0.7102，几乎与随机森林的0.7104相同。实际贡献是为适度的人工审查提供可审计的基础，随后进行本地校准、容量规划和干预效果的前瞻性评估。
