《Journal of Medical Education and Curricular Development》：Closing the Loop and Building Skills: Design and Evaluation of an Integrated Curriculum Feedback Procedure in Medical Education
编辑推荐：
目标：教育委员会和教师对学生反馈高度关注。然而，低应答率（response rate）、调查疲劳（survey fatigue）和开放反馈环路（open feedback loops）限制了可产生的反馈数量。研究人员旨在设计并评估一种新的评估程序，该程序整合课
目标：教育委员会和教师对学生反馈高度关注。然而，低应答率（response rate）、调查疲劳（survey fatigue）和开放反馈环路（open feedback loops）限制了可产生的反馈数量。研究人员旨在设计并评估一种新的评估程序，该程序整合课程的循环评估，并通过提供反馈技能培训（feedback skill training）为学生增加价值。研究人员的五项设计原则为：1）简短问卷（questionnaire）；2）闭环反馈（closed feedback loop）；3）嵌入教育活动；4）让教学人员参与以增强其所有权；5）关注学生视角。设计完成后，该新型评估程序被实施到学生的常规培训项目中。
方法：研究人员使用问卷研究了26个具有闭环反馈的评估周期，这些评估周期在荷兰奈梅亨Radboudumc的医学（Medicine）和生物医学科学（Biomedical Sciences）本科课程的小组会议中实施。研究人员评估了评估程序和学生感知的反馈技能（perceived feedback skills）。此外，教学人员完成的课程改进（course improvements）被计算为有价值学生反馈的衡量指标。
结果：该程序成功实施，平均应答率（mean response rate）为52.8%。对程序的评估显示学生参与度高，但其对自身反馈技能提升的感知未改善。该程序产生116项课程改进，其中教学人员实施了97项。
结论：学生和教育委员会均从将学生反馈技能培训与循环评估整合中受益，从而对教育项目进行有针对性的改进。然而，学生感知的反馈技能没有改善。
论文解读：闭环反馈与反馈技能培养整合式课程反馈程序的设计与评估
研究背景方面，学生反馈被视为（医学）教育进一步发展最重要且成本较低的资源之一。持续评估并随后修订课程可提高医学教育质量，并确保课程与学生需求相一致。然而，评估程序经常未能带来课程质量改进，且学生对此有所知晓。高应答率（response rate，指完成问卷学生占符合条件学生的比例）对成功评估程序至关重要，50%—60%或更高应答率较为理想，以减少无应答偏倚；数字评估的应答率常低于此。提高应答率可通过限制调查疲劳（survey fatigue，指学生因问卷数量和长度而不堪重负）、闭环反馈（closed feedback loop，指将基于学生反馈所作的课程改进告知学生）以及将评估程序嵌入学习活动实现。调查疲劳的决定因素包括问卷数量、长度及问卷间隔时间，Adams and Umbach提出每学期超过十份问卷的阈值。闭环反馈可提高应答率，并具有营造建设性反馈环境、鼓励后续评估参与、增强学生对结果信心及鼓励委员会和教学人员改进课程等功能，但教育委员会常未将其纳入评估系统。课堂评估应答率高于数字或更匿名评估；若课堂内给出时间，在线评估也可获得高应答率。此外，教师参与问卷起草、学生叙述反馈质量高及学生直接受益也很重要。基于此，研究人员旨在设计并评估一种将学生反馈技能培训与课程循环评估整合的新程序，以实现高应答率、闭环反馈和实质性课程改进。
研究人员在Radboud university medical center（Radboudumc，荷兰奈梅亨拉德堡德大学医学中心）医学和生物医学科学本科课程中设计并引入新评估程序，将其整合到现有专业发展与技能训练课程的小组工作中，其中一个学习目标是提供建设性叙述反馈。研究涉及学生、教学人员和教育委员会等利益相关者参与程序物流和内容优化。程序包括：教学人员确定反馈主题并形成五或六条六点Likert条目（Likert item，等级量表条目）及一个开放问题；由教师、政策顾问、教育专家和学生组成的团队审阅问卷；小组活动中学生用五分钟回答条目并共同讨论开放问题以形成叙述反馈；所有小组答案汇总为报告，教学人员据此向学生提供简要叙述回应并概述拟议课程改进；回应发布在学生数字学习环境（digital learning environment）页面，并在后续小组活动中阅读讨论。研究在最初三个学年组织26个具有闭环反馈的评估周期，评估11门不同纵向课程；问卷由三个本科年级中的一个或多个完成，每个年级约400名学生分布在50个小组。荷兰医学教育协会（Dutch Association for Medical Education, NVMO）给予伦理批准。
关键技术方法（不超过250字）：研究采用问卷评估26个评估周期，样本队列来源为Radboudumc医学和生物医学科学本科课程三个年级，每年约400名学生、50个小组，覆盖11门纵向课程。课程改进状态通过数字学习环境信息及教学人员和学生代表信息判定，计算每份问卷完成改进的百分比。学生感知程序及反馈技能采用单臂前后设计（single-arm pre-/post-design，无对照组的前后比较），两次使用同一问卷评估，闭合问题用Mann-Whitney U检验比较，并进行Bonferroni校正，因五次统计检验将α=0.05除以五，校正后α=0.01为显著性阈值；开放题由两名研究人员独立审阅并描述性总结。问卷为研究专门开发，未进行心理测量学验证，但通过两名审阅者独立审查布局、结构和格式建立面效度，三名专家评估清晰性、相关性和全面性，并在目标人群中预试验。
结果部分。评估程序的设计：26个评估周期中25个完全完成；因COVID-19大流行，一个程序末期的教学人员回应和行动被推迟并最终未给出。问卷平均应答率为52.8%，范围27.9%—73.7%；应答率分母为参与课程评估学年学生总数，未考虑出勤或辍学，因研究人员无法获得这些数据。研究共完成7943份个体问卷，潜在个体问卷15050份，开放问题回答912份；提出116项课程改进，完成97项。研究问题1：新评估程序如何影响教学人员实际改进教育项目？通过分析25个完成闭环反馈的评估周期及课程改进状态得出，教学人员处理了116项拟议课程改进；每份问卷拟议课程改进中位数为4.0项[四分位距（interquartile range, IQR）：3.5]，每份问卷完成课程改进百分比中位数为86.7%[IQR：33.0]；19项未完成改进中2项仍待定，17项确定未完成。研究问题2：学生如何看待新评估程序及其反馈技能？通过两次程序评估问卷比较及开放题描述性分析得出，第一次评估显示69%学生在小组会议中花时间填写问卷，89%共同讨论小组问题，80%认为对提供专业反馈有足够关注，69%认为自己的反馈在改善；相反，11%学生未参与问卷，开放问题表明相当部分学生不知道教学人员已回应。据此改进包括将每份问卷列入小组会议议程，附问卷超链接和教学人员对上一问卷的叙述回应，并将教学人员回应发布在学生数字学习环境中以更易获取。第二次评估显示学生参与度较第一次更高，五个问题中四个显著改善（p<0.05）；更多学生花时间填写问卷、共同完成问卷，并感到反馈技能受到更多强调；但学生自评反馈技能显示其技能未进一步提高。第二次评估开放问题主要评论教学人员回应；不少学生知道教学人员回应，但一些仍不知道；有人建议通过邮件发送回应而非仅放在数字环境，也有人建议在未来小组会议中讨论；一些学生报告教学人员回应缺乏具体课程改进建议。学生评论示例包括：小组认真填写问卷并看到反馈对课程的价值，但不知道教学人员回应；教学人员回应可更简洁具体，更希望看到少数具体课程改进而非叙述性回应。
讨论部分总结：本研究提出并评估新评估程序，帮助应对教育评估中的已知挑战，如调查疲劳、闭环反馈及将程序嵌入学习活动。新程序获得高应答率，带来课程短期改进并提高学生参与度。研究的核心假设是成功课程评估需要高应答率，而为学生自身增加价值将促进学生参与。研究显示学生意识到其反馈被用于改进课程，认可详细叙述反馈对推动课程改进的价值，并有动力和能力提供深思熟虑的反馈；学生认识到反馈技能改善，教学人员欢迎学生详细、具有指导性的反馈；学生渴望知道反馈效果，并要求提高教学人员回应的可及性。除学生外，教学人员和教育委员会也从重新设计的评估程序中受益；高应答率提供学生群体意见的良好概览。研究表明学生反馈促使教学人员采取改进行动，大多数拟议课程改进得以完成；尽管一些学生认为教学人员回应中描述的行动过于不精确，但教学人员通过完成大多数拟议课程改进取得了可证明的结果。设计纳入五项关键原则：关注学生；简短问卷与闭环反馈；嵌入教育；联结利益相关者与明确所有权；由此为文献增加成功、双向、鼓励性和透明的反馈方法。教学人员和学生均参与评估程序多个步骤，均有意参与反馈并努力改进课程，高应答率对所有利益相关者有益。在真实情境中练习反馈使学生在小组讨论中参与形成小组反馈；三分之二学生同意其反馈技能有所改善。Jacobs et al.分析本学生群体叙述反馈质量，发现这些技能在本科阶段确实改善。研究优势包括：评估兼具评估与学习方面的新程序，产生有意义反馈以改进课程质量并同时增强学生反馈技能；高应答率可能源于底层原则的成功实施；新程序带来课程短期改进。局限包括：课程质量影响评估仍具挑战，使用完成课程改进百分比而非毕业率、辍学率或学生能力等标准化指标作为结局指标；第二研究问题仅关注学生视角，未评估小组课程教学人员视角，未来可用半结构访谈和/或焦点小组评估其观点；教师在场可能导致学生提供更符合社会期望的反馈；方法学上，前后设计比较两个不同队列且无对照组，存在潜在混杂因素，如对程序熟悉、研究期间课程其他变化和/或两次程序评估之间开始的COVID-19大流行；未在数据收集前进行样本量计算，使用数据收集时所有可用课程评估。可转移性方面，各课程有自身结构和动态，可能不同于具体情况；转化为其他课程时，五项原则预期可适应具体学习环境；一旦教职员工熟悉程序，除现有机构支持外，该方法所需额外时间或资源最少；建议希望采用这些原则的机构投资于利益相关者参与并向所有利益相关者展示这些原则的益处。
研究结论翻译：总之，本研究开发并评估了一种新的评估程序，确保高应答率、闭环反馈和实质性课程改进。学生和教育委员会均从将学生反馈技能培训与循环评估整合中受益，从而对教育项目进行有针对性的改进。然而，学生感知的反馈技能没有改善。基于本研究，研究人员推荐以下成功常规反馈周期的要素，既包括应答率也包括课程改进实施：1）简短问卷和有限数量问卷；2）持续闭环反馈；3）明确嵌入现有由教师监督的小组教育活动；4）让教学人员参与以增强其所有权；5）关注学生视角。
