《IEEE Aerospace and Electronic Systems Magazine》:Item Response Time Analysis Using Ex-Gaussian Distribution for Disengagement Detection in Online Low-Stakes Tests
编辑推荐:
本研究针对混合式高等教育中在线低风险测试的脱离行为检测难题,提出了一种基于项目反应时间分析的非参数方法。通过采用ex-Gaussian混合模型替代传统的对数正态模型,建立了早期反应时间分类阈值,结合反应准确性数据构建了双重检测边界,实现了对项目预知(IPK)和快速猜测(RGB)行为的同步识别。实证研究表明,该方法在保持低误报率的同时,对测量误差和小幅反应时间变化表现出良好鲁棒性,为在线形成性评估提供了有效的质量监控工具。
随着在线学习的广泛应用,教育机构面临着如何确保评估结果有效性的挑战。特别是在混合式学习环境中,低风险的形成性测试虽然不计入最终成绩,却常被学生以敷衍态度对待。一些学生为了快速完成任务,会采用提前获取答案或随机猜测的方式完成测试,这种脱离行为严重影响了评估结果的可信度,使教师难以准确判断学生的真实学习状况。
传统检测方法大多基于项目反应理论(Item Response Theory, IRT)和对数正态反应时间模型(Lognormal Response Time, Ln-RT),这些模型驱动的方法需要预先知道项目参数或存在未受污染的校准数据,在实际教学环境中往往难以满足。更重要的是,现有方法主要针对高风险考试设计,无法有效识别形成性评估中同时存在的多种脱离行为类型。
为解决这一困境,泰国国王理工学院Ladkrabang校区的N. CHOTIKAKAMTHORN博士开展了一项创新研究,开发了一种基于ex-Gaussian混合模型的非参数检测方法。该研究已发表在《IEEE Access》期刊上,为在线学习环境下的评估质量监控提供了新的技术路径。
研究人员采用了三项数据集进行方法验证:Dataset I包含10个作为练习测试的在线选择题测验数据;Dataset II由相同的测验在考试前作为复习练习重新开放时收集的数据组成;Dataset III则来自三个在不同场合进行的监考总结性评估。通过自定义的日志系统,研究团队精确记录了学生在Moodle测验模块中的交互行为。
技术方法的核心在于ex-Gaussian混合模型的应用。该模型将反应时间分解为高斯分布和指数分布的叠加,能够更好地捕捉早期反应与后续反应的时间分布特征。研究采用期望最大化(Expectation-Maximization, EM)算法进行参数估计,通过贝叶斯信息准则(Bayesian Information Criterion, BIC)选择最佳混合组件数量。与传统的NT10(Normative Threshold)和CUMP(Cumulative Proportional Method)方法相比,该方法不是设定最小反应时间阈值,而是通过模型众数建立早期反应的上限,从而实现对IPK和RGB行为的同步检测。
反应时间分类与描述性统计
研究首先将每个项目的正确反应时间拟合为ex-Gaussian混合模型,选择具有最小高斯均值的混合组件代表最早的正确反应群体。通过该组件的众数确定分类阈值te,将反应分为早期正确反应(Early Correct Responses, ECR)、早期错误反应(Early Incorrect Responses, EIR)、后续正确反应(Subsequent Correct Responses, SCR)和后续错误反应(Subsequent Incorrect Responses, SIR)四类。基于这些分类,计算了项目水平和人员水平的描述性统计量,包括早期反应比例qe(i)和早期正确反应比例qc(i)等指标。
脱离行为检测机制
检测过程分为两个阶段:首先通过早期反应数量Ne(j)的Gamma分布确定异常阈值ne*,然后构建基于反应正确率的检测边界。对于IPK行为,检测条件为N·re(j)·rc(j) ≥ pIPK·ne*+ pRGB·(N·re(j)-ne*),而对于RGB行为,检测条件则为相反的不等式。通过设定pIPK=1和pRGB=0.2(对应5选项选择题的随机猜测概率),方法能够有效区分两种不同类型的脱离行为。
模型拟合效果评估
对319个项目反应时间的分析表明,ex-Gaussian混合模型能够很好地拟合实证数据,所有最佳拟合模型仅需1-2个混合组件。Q-Q图显示该模型对早期反应的拟合效果优于后续反应,验证了其在捕捉快速反应模式方面的优势。
阈值比较分析
与NT10和CUMP方法的对比显示,提出的阈值te普遍高于传统方法。在Dataset I中,NT10、CUMP和提出方法的平均阈值分别为2.01秒、2.15秒和3.34秒;而在高风险的Dataset III中,相应值分别为2.67秒、7.43秒和13.57秒。这种差异反映了提出方法旨在检测包括IPK在内的多种脱离行为,而不仅仅是RGB。
检测性能验证
McNemar检验结果表明,在α=0.05显著性水平下,IPK检测结果具有统计显著性(p值≈0.00),而RGB检测结果则不显著。这一发现与Dataset I中IPK行为更为普遍的实际情况相符,因为测试答案的广泛可得性使学生更倾向于使用已知答案而非随机猜测。
配对二项符号检验进一步验证了检测结果的可靠性,在α=0.05水平下,84%的检测案例显示练习测试与复习练习间的反应时间存在显著差异,证实了这些案例确实存在脱离行为。
模拟数据性能评估
通过将验证后的脱离案例反应时间拟合为高斯混合模型,研究团队生成了包含不同比例脱离行为的模拟数据。结果表明,随着测试项目数N和脱离项目比例Nd的增加,方法性能显著提升。在tcomp=2秒补偿时间下,当Nd=N时,方法在α≥0.15时的真阳性率(True Positive Rate, TPR)超过0.90,误报率(False Positive Rate, FPR)低于0.02。
与人员水平适应的PNT10和PCUMP方法相比,提出方法在不同时间补偿条件下表现出更好的鲁棒性。特别是在tcomp=2秒时,提出方法在大多数测试条件下均优于对比方法,McNemar检验证实了这种性能差异的统计显著性。
研究结论与意义
本研究开发的非参数脱离行为检测方法创新性地应用了ex-Gaussian混合模型,突破了传统方法对项目参数预知和模型假设的依赖。通过建立基于反应时间众数的分类阈值和双重检测边界,方法能够同步识别IPK和RGB两种常见的脱离行为,为在线形成性评估提供了有效的质量监控工具。
实证研究证实了该方法在实际教学环境中的可行性和有效性。与现有方法相比,它在保持较低误报率的同时,对测量误差和反应时间变化表现出更好的适应性。特别是在测试项目较多、脱离行为比例较高的情况下,方法性能尤为突出。
这项研究的实际意义在于为教育工作者提供了识别学生参与程度的客观指标,有助于及时干预低参与度学生的学习行为,提升形成性评估的教育价值。方法的技术简洁性也使其易于集成到现有的学习管理系统中,为在线教育质量的持续改进提供了技术支持。
未来研究可进一步探索方法在不同学生群体和文化背景下的普适性,以及如何将检测结果转化为具体的教学干预策略。同时,开发相应的分析工具和LMS插件也将促进该方法在实践中的广泛应用。