《Frontiers in Pharmacology》：Online adaptive E-tutorials for development of critical appraisal skills
编辑推荐：
研究文献的批判性评估（critical appraisal）是毕业生的重要技能，但科学毕业生雇主报告对该技能水平不满意。由于脚手架（scaffolding）可促进批判性评估发展，研究人员旨在开发并评价2个自适应电子教程（adaptive e-tutorials
研究文献的批判性评估（critical appraisal）是毕业生的重要技能，但科学毕业生雇主报告对该技能水平不满意。由于脚手架（scaffolding）可促进批判性评估发展，研究人员旨在开发并评价2个自适应电子教程（adaptive e-tutorials），作为脚手架过程的一部分，用于神经药理学研究文章的批判性评估发展。研究人员开发了允许个性化反馈和补救的自适应电子教程。研究分析了教程结束调查（end-of-tutorial survey）结果，并比较干预前2年和干预期间机构课程单元调查（Unit of Study Survey）评分及考试成绩。4年间150名学生参与。在未完成电子教程的队列中，不同学术背景学生的考试成绩存在显著差异（非科学 < 科学 < 医学背景；p < 0.05），而在完成电子教程的学生中未观察到组间显著差异，且这些成绩在统计学上等效。学生对视频的感知收益、批判性评估能力提高以及电子教程价值的评分平均在李克特量表（Likert scale）4.4–4.6之间（5 = strongly agree）。类似地，完成电子教程的学生在课程单元调查中对其批判性思维技能的评分显著增加（p < 0.05）。完成电子教程与批判性评估的更公平发展相关。非科学背景学生实际评估表现增幅最大，提示虽然电子教程与所有学生信心增加相关，但课程的其他特征可能已将评估水平发展至足以成功完成考试的程度。
研究背景与问题：批判性思维（critical thinking），包括对研究文献的批判性评估（critical appraisal），被原文视为药理学毕业生在临床、研究和产业领域的重要能力。原文提到，人工智能在工作场所的使用增加，使批判性评估大语言模型输出成为其有效使用的一部分；Foundation for Young Australians 基于工作数据预测，到2030年工作者将在批判性思维上多花41%时间；National Association of Colleges and Employers 在USA的调查显示，93.5%雇主将批判性思维列为毕业生岗位所需的重要能力；128名澳大利亚STEM雇主中，95%同意或强烈同意批判性思维是高度看重的毕业生雇员属性。欧洲临床药理学与治疗学协会教育工作组也将批判性评估列为核心学习成果之一。尽管如此，Arum 和 Roska 对2,300名美国学生的 Collegiate Learning Assessment 显示，大学前2年批判性思维无显著增益；185名美国雇主调查中仅50%毕业生雇员被评为具备批判性思维；澳大利亚调查中23%科学毕业生雇主对新科学毕业生的批判性思维能力不满意。脚手架（scaffolding，指先提供结构化支持并随熟练度提高逐步撤除支持）可促进批判性思维发展，期刊俱乐部（journal club）是其中一种形式，但其已存在数十年而雇主不满仍持续，提示需要额外脚手架活动。交互式电子学习工具已在多学科显示改善学习效果；自适应电子教程（adaptive e-tutorials，指利用软件或应用按个体需要提供反馈、补救或扩展的学习活动）允许学生在自定时间、自我引导下练习批判性评估，并获得针对每个评估决策的反馈。其在药理学研究评估技能发展和公平结果促进方面尚未被评估。因此，研究人员旨在设计用于药理学研究批判性评估个性化练习的自适应电子教程，并在不同学术背景队列中评价其对该技能获得的影响。
研究人员开展的研究、结论与意义：本研究采用准实验设计（quasi-experimental design），即无法真正随机分组，属于“仅后测加对照组”亚型，并遵循TREND指南；同时采用混合方法（mixed-methods），结合定量考试成绩、学期末机构课程单元调查结果和第二个电子教程结束后调查的定性内容分析。研究在University of Sydney的“Research Inquiry (BMRI5020)”单元中开展，覆盖2017–2020年4个队列，共150名学生。前2个队列未完成电子教程，后2个队列在相同讲座、期刊俱乐部和相同期末考试基础上，于第7周和第13周完成2个自适应电子教程。研究人员得出结论：完成自适应电子教程与不同学术背景间批判性评估发展的更相似结果相关；所有背景学生均报告电子教程有用并认为批判性评估能力提高，但非生物科学本科背景学生考试成绩增幅最大。其意义在于，自适应电子教程可能通过脚手架、个性化反馈、多媒体支持和应用实践，提供可扩展的公平教育方式，以应对不同学习者队列中批判性思维发展的持续差距。
关键技术与方法概要（不超过250字）：研究使用Smart Sparrow’s Adaptive eLearning Platform开发2个自适应电子教程，每个含介绍、关键概念熟悉、应用与练习三阶段；以规则为基础，根据选择题或句子标注结果提供个性化反馈、补救材料及8个动画视频。样本来源为University of Sydney的Research Inquiry (BMRI5020)单元2017–2020年4个队列，共150名学生；2017–2018年队列未接受电子教程，2019–2020年队列接受电子教程。数据包括教程结束调查、学期末机构课程单元调查、期末考试成绩和开放题内容分析。统计分析采用Student’s t-test、one-way ANOVA with Sidak’s post hoc analysis及Welch’s equivalence tests；定性部分采用分步内容分析。考试由3名评分者盲法评分，评分者间信度为0.79。
研究结果：
3.1 参与者：4年间150名学生参与。学生具有多种本科或既往研究生学术背景，包括医学学位、生物科学相关学位（如Bachelor of Science、Psychology、Medical Science、Biotechnology、Psychological Science或Health Science）以及非生物科学背景（如Bachelor of Communication、Arts、Special Education、Commerce、Education、Engineering、International and Global Studies）。表格显示，无电子教程组中非生物科学26名、生物科学27名、医学44名，总计97名；有电子教程组中非生物科学15名、生物科学20名、医学18名，总计53名。
3.2 第二个电子教程后调查：
3.2.1 教程结束调查结果—Likert量表问题：通过教程结束调查评估学生感知的批判性评估能力提高、可用性以及电子教程是否为课程有价值补充。54名参与者中32名回应（59%）。所有问题的平均李克特量表评分为4.4–4.6（1 = strongly disagree，5 = strongly agree）。所有学生同意或强烈同意动画视频有趣且具有吸引力，并帮助其进一步理解相关概念。自2018年12月首次上传以来，YouTube总观看超过220,000次，其中2个视频观看超过123,000次和96,000次；YouTube流量来源分析显示超过50所大学已将部分视频嵌入或链接至其大学电子学习平台。
3.2.2 教程结束调查结果—开放题：
问题1“研究人员可以做什么来改进这个电子教程？”：32份回应中，11份（34%）对电子教程整体给予积极评价，或表示没有改进建议；2份建议扩展电子教程，其中1份建议用于复习整个课程；仅1份（3%）明确负面评价，但建议分为2部分。视频方面，4份（13%）明确重视教学视频并建议更多使用；练习题方面，4份（13%）重视问题任务并建议更多例子和问题；解释方面，3份（9%）建议更多解释，分别涉及原理、答案和统计检验类型；1份额外回应认为评估任务答案“vague”。1份（3%）认为动物行为研究细节涉及动物虐待且不必要。改进学习路径方面：7份（22%）建议增加灵活性，如“back button”、前后移动而无需重启，或提供视频和文本链接以便复习；另1份建议显示剩余幻灯片数量。链接其他学习资源方面：4份（13%）建议更多链接，其中3份建议提供参考文献或超链接，1份建议更多来自讲座理论的例子。
问题2“我发现电子教程最有益的方面是”：32份回应中，4份（13%）对电子教程整体给予积极评价，认为有助于复习和补救。视频被高度重视，12份（38%）将其列为最有益方面之一；视频因解释促进理解、引发兴趣而受重视。评估任务也被高度重视，14份（44%）将其列为最有益方面之一；学生认为应用知识、例如标注问题句子并在之后获得纠正反馈有用。学习路径、结构和过程被11份（34%）列为最有益方面，包括灵活移动、从基本概念开始、复习定义和概念、测试应用、在概念未被识别时靶向使用视频、例子和清晰解释等；1份重视在无压力环境下从错误中学习，另1份希望可下载电子教程。综合问题1和2，回应表明该教学资源整体被重视且对学生有用；定性反馈支持谨慎的学习路径，从简单到复杂，使用视频和主动评估任务，并提供主动应用知识和针对性纠正误解的机会。
3.3 机构课程单元调查：与上述结果一致，完成电子教程的学生相比未完成者，在University of Sydney学期末Unit of Study Survey中对批判性思维技能的评分显著增加（t
(54) = 2.64；Cohen’s d = 0.705，95% Confidence Interval (CI) [0.17, 1.25]；p = 0.011）。该科目总体评分也显著增加（t
(54) = 2.39；Cohen’s d = 0.638，95% CI [0.09, 1.17]；p = 0.021）。
3.4 考试成绩：在未完成电子教程的队列中，不同学术背景组间考试成绩存在显著差异（非科学 < 科学 < 医学背景；F
(2,95) = 19.86；p < 0.05）。在完成电子教程的队列中，组间无显著差异（F
(2,48) = 1.695；p > 0.05）。此外，未完成电子教程队列中，Welch’s equivalence tests发现非科学与医学背景学生成绩不等效（Cohen’s d = 1.54，90% CI [1.09, 2.10]），非科学与科学背景不等效（Cohen’s d = ?0.633，90% CI [?1.13, ?0.18]），科学与医学背景不等效（Cohen’s d = ?0.90，90% CI [?1.26, ?0.40]）。相反，完成电子教程队列中，非科学与医学背景（Cohen’s d = ?0.665，90% CI [?1.34, ?0.0831]）、非科学与科学背景（Cohen’s d = ?0.31，90% CI [?0.92, 0.26]）以及科学与医学背景（Cohen’s d = ?0.34，90% CI [?0.93, ?0.22]）的考试成绩均被判为等效。
讨论部分总结：完成自适应电子教程与不同学术背景间批判性评估发展的更相似结果相关。尽管所有背景学生均报告电子教程有用并认为批判性评估能力信心增加，非生物科学本科背景学生在考试分数上增幅最大。研究人员认为，电子教程可能增加所有学生信心，但课程其他特征（如讲座、期刊俱乐部）可能已将其批判性评估水平发展至足以在考试中表现良好的阶段；另一方面，教程为批判性评估经验较少的学习者提供了更多支持。这些发现与报告自适应电子教程允许公平获得内容的研究一致。学生重视的关键特征包括：检查基本概念理解的问题、允许应用知识评估研究的任务、定制反馈和清晰解释，以及在考试前于低风险环境中练习。这实际上提供了个性化、低风险、逐步撤除脚手架的方法。该方法以Holmes et al.的模型为基础，该模型对学生自身实验室实践数据的批判性分析产生持久改善；本研究显示撤除脚手架对研究文献批判性评估同样有用，并可以灵活、可扩展方式实施。研究还提供证据表明，动画视频可作为引入核心批判性评估概念的易接近且有吸引力的方式，并可能增加学生信心；Mayer的认知多媒体学习理论认为，良好设计的多媒体资源通过整合视觉和言语信息促进更深理解；Hoffler and Leutner的元分析也显示，与教学目标一致的动画可改善复杂科学过程的理解。重要的是，本研究视频并非孤立使用，而是嵌入自适应反馈循环。解释时需考虑局限：准实验设计无随机化，可能引入选择偏倚和队列效应，因此组间差异不能确定归因于干预；不同学术背景参与率在历史队列和干预队列内部及之间均存在差异，且无法得知这是否代表由动机或参与度差异导致的选择偏倚，也无法得知强制与自我选择招募对结果比较的影响；同样，研究无法获得除学术背景外的人口学背景或既往学业表现数据，因此不能排除这些因素造成队列差异。研究还依赖单一评估方式（学期末考试）评价批判性评估技能，可能无法完全捕捉更广泛或长期应用；自我报告调查数据也可能存在应答偏倚，因为对教程参与更积极的学生可能更可能完成评价。未来研究应采用随机对照设计比较自适应与非自适应格式，以研究因果关系；更大规模、多机构研究可提高普适性，并探索自适应电子教程在不同教育和文化背景（如本科生）中的表现；纵向研究需要确定批判性评估相关变化是否随时间保留并迁移至真实世界情境，如研究项目、临床决策或人工智能生成输出的评价；未来电子教程迭代可根据学生反馈纳入更多学习者控制、改进导航和额外链接资源，并扩展内容以支持复习和课程整合。
研究结论翻译：总之，本研究提供证据表明，自适应电子教程与研究生药理学教育中不同学术背景间考试表现差异减少相关。通过结合脚手架学习、自适应反馈、多媒体支持和应用实践，并在进一步调查因果联系后，这些工具可能提供一种有希望且可扩展的方法，以解决多样学习者队列中批判性思维发展的持续差距。
