编辑推荐：
为探究在线测验评估学生知识成果的有效性，研究人员对比其与传统考试，发现虽不能取代传统考试，但可辅助评估。
在当今数字化教育浪潮中，在线学习工具如雨后春笋般涌现，其中在线测验平台凭借其便捷性和即时反馈的优势，逐渐在教育领域崭露头角。在医学教育里，基于能力的教育框架备受关注，它更注重学生展现特定能力的水平，而非完成课程所需的时长。在线测验看似能与之完美契合，成为教学和评估知识能力的得力助手。然而，理想很丰满，现实却很骨感。在实际应用中，在线测验存在不少问题。一方面，其结果的准确性饱受质疑，很难确保学生在测验时没有作弊行为，比如向同伴求助或找人代考。另一方面，在泰国玛希隆大学 Siriraj 医院医学院的课程体系里，虽然引入了在线测验作为评估的一部分，但出于对其规范性和有效性的担忧，仍然保留了传统的总结性考试。这就导致了课程在向基于能力的教育框架转型时遇到阻碍，因为这与强调多次低风险评估的程序评估原则相悖。
为了打破这一僵局，泰国玛希隆大学 Siriraj 医院医学院微生物学系的 Korakrit Imwattana 和 Popchai Ngamskulrungroj 开展了一项研究。他们以医学细菌学和真菌学课程为模型，旨在找出在线测验平台中与良好总结性考试结果相关的参数，判断这些参数能否预测学生的表现，进而明确在线测验在评估学生知识成果方面的有效性。该研究成果发表在《BMC Medical Education》杂志上。
在研究方法上，研究人员主要采用了回顾性研究的方法。他们对 2022 学年医学细菌学和真菌学课程的 320 名学生的学术表现进行了回顾分析。在评估结构方面，课程的评估分为两部分：过程中的里程碑评估和课程结束时的总结性考试。里程碑评估中，医学细菌学和真菌学课程设置了 3 个在线测验，学生可自由选择时间和地点完成，开卷答题且可多次重复测验，每次测验题目从题库随机抽取，学生需达到 80% 及以上的分数才算通过。总结性考试则在课程结束约一周后进行，是严格监管的现场闭卷单最佳答案多项选择题（SBA-MCQ）考试，学生需达到 50% 及以上的分数才能通过课程。研究人员从在线测验的原始数据中提取并定义了 7 个参数，这些参数旨在体现学生的智力和勤奋程度。之后，运用在线统计工具进行多元线性回归和向后逐步选择分析，评估这些参数与总结性考试成绩的关联。
研究结果如下：
- 学生答题模式：学生在整个课程的测验中呈现出相似的答题模式。课程开始时，少数成绩较好的学生甚至在上课前就尝试并通过了测验。课程进行中，测验次数在授课几天后会出现高峰，随后逐渐下降，在总结性考试前又会再次增加并达到峰值。
- 预测参数：总体而言，首次通过测验所需的时间（无论是尝试次数还是天数）与总结性考试成绩呈负相关，即更快通过测验的学生往往在总结性考试中取得更高分数。此外，通过测验后继续尝试并提高分数的学生，在总结性考试中也更有可能取得好成绩。而首次通过分数、总尝试次数和通过尝试次数与总结性考试成绩并无关联。
- 预测总结性考试结果：根据分析结果生成的预测总结性考试成绩和结果，与实际结果的一致性仅为轻微或中等（Cohen's kappa 值范围为 0.16 - 0.28），且不同测验之间存在较大差异。其中，医学细菌学的两个测验与整体结果的相关性比与细菌学特定结果的相关性更好，且倾向于高估通过学生的数量；真菌学测验则倾向于低估通过学生的数量。
- 无监管和有监管在线测验的比较：由于 2022 年在线真菌学测验与总结性考试结果的相关性较差，研究人员在次年对真菌学测验进行了调整，要求学生在指定区域闭卷答题并进行身份登记。调整后，虽然相关性有所提高，但 Cohen's kappa 相关性分数仍然较低。
研究结论和讨论部分指出，目前仅依靠在线测验不足以评估学生的知识能力。尽管发现了一些与更好总结性考试成绩相关的因素，但基于这些因素计算出的总结性考试结果与实际结果的相关性并不理想。不过，在线测验并非毫无价值。一方面，它可以促使学生持续复习课程材料，避免考前突击。另一方面，通过分析在线测验的预测参数，可以对学生进行监测，及时发现学习有困难的学生并给予帮助。同时，研究还存在一些局限性，比如仅以总结性考试成绩作为知识能力的唯一指标不够准确，且研究仅涉及医学细菌学和真菌学课程的部分内容，不能代表整个医学课程。未来的研究可以探索更多的评估方式，如小组活动中的 Rubriks 评估和同伴教学评估，或者对比计算机自适应测试等替代评分系统与现行标准评分系统的差异，从而更好地将评估融入学习活动，提升学生的能力。
这项研究为医学教育评估提供了重要参考，虽然在线测验目前还不能完全取代传统的总结性考试，但它在辅助评估和学生监测方面具有一定潜力，为医学教育向基于能力的教育框架转型提供了新的思路和方向。
