《Journal of Surgical Education》：The Application of a Protocol for Virtual Certifying Examinations: Five-Year Results (2020-2024)
编辑推荐：
虚拟医学认证考试中视频通信协议的开发与效果评估：研究对136名外科医师候选人进行五年跟踪，发现整合虚拟平台通信协议的培训课程显著提升候选人虚拟存在感（t检验P<0.05），但知识基础差异增大。该协议有效改善听力障碍、声音微弱及社交回避型候选人的考核表现，为远程医疗认证提供标准化方案。
帕梅拉·A·罗兰德（Pamela A. Rowland）| 布莱恩·R·史密斯（Brian R. Smith）| 库尔特·K·莱因哈特（Kurt K. Rhynhart）| 乔治·D·加西亚（George D. Garcia）| 威廉·G·伍德（William G. Wood）| 詹姆斯·C·鲁辛斯基（James C. Rucinski）
佛蒙特大学拉纳医学院（University of Vermont Larner College of Medicine），佛蒙特州伯灵顿市（Burlington, VT）
研究目的
2016年，研究人员警告称，随着医学教育越来越依赖视频录制数据，在国际冲突迫使转变之前必须制定相关协议。四年后，SARS-CoV-2疫情迫使医学界寻找新的方式来进行认证考试（CE）。我们的研究目标有两个：一是制定一种影响每位考生视频录制过程的沟通协议；二是监测2020年至2024年间这些认证考试的结果。
研究设计
本研究采用多机构前瞻性队列设计，评估考生在干预前后的“虚拟存在感”（virtual presence）和“知识基础”（knowledge base）。对以往的面对面课程进行了重新设计，增加了关于虚拟平台上专业素养相关内容的环节。通过描述性统计分析比较了各项指标的考前和考后分数。所有课程环节均为互动式教学，最后一场模拟了美国外科委员会（American Board of Surgery, ABS）的认证考试。
研究环境
选择Zoom Professional作为视频会议软件来模拟ABS认证考试。考试地点包括家庭、办公室和酒店房间等多种环境。
参与者
共有136名参与者，涵盖普通外科、整形外科、血管外科领域的考生，以及11名住院医师。此外还有23名志愿教师和2名沟通科学专家参与了研究。
研究结果
与面对面的交流相比，使用技术进行考试存在一些挑战：无法实现直接的眼神交流，图像仅限于冠状视角，且大脑的社会系统活动受到限制。配对样本t检验显示，五年内考生的“虚拟存在感”有显著提升。与以往的面对面课程相比，考生的知识基础变化更大。对于有听力障碍、疑病症、声音柔和或避免眼神交流行为的考生来说，该沟通协议起到了积极作用。
结论
所有参与者最初都未意识到自己在虚拟交流中的不足之处。所有参与者都收到了持续的建设性反馈。那些遵循沟通协议的考生在认证考试中取得了优异成绩，他们的虚拟患者沟通和同事互动能力也可能得到了提升。
引言
2016年，一篇学术医学论文指出，研究人员和期刊在报告视频数据使用时未能建立统一的标准，尤其忽视了影响视频质量（QoV）和服务质量（QoS）的关键因素。1该论文强调，视频录制过程中的某些变量（如拍摄角度、画面中人物的大小、背景干扰、色彩、音质、对比度、视野、静音效果和照明等）会直接影响数据质量，从而可能导致不可靠的结论。研究人员警告称，随着医学教育对视频数据的依赖程度增加，迫切需要新的协议。
仅仅四年后，SARS-CoV-2冠状病毒引发了全球大流行。医学院、医院和学术机构纷纷努力制定保持社交距离的规则。住院医师培训项目被迫改用数字视频会议软件进行面试和准备美国医学专业委员会（ABMS）的资格认证考试（QE）及认证考试（CE）。尽管关于QoS和QoV的文献已有二十多年的积累，1但学术界仍面临临床工作压力和人员短缺的问题。因此，大多数培训项目和医疗团队仅将虚拟平台的“连接性”（QoS）作为评估标准，而未能制定完善的沟通协议。
在COVID-19初期，各专业委员会取消了所有面对面的认证考试，因为他们难以开发出适合这些高风险考试的虚拟方案。与此同时，包括外科医生、沟通科学家和项目管理者在内的研究团队共同设计了一种虚拟考试方案，旨在模拟ABS的30分钟考试流程，提升教师在虚拟环境中的教学能力，并强调沟通科学的重要性。他们发现，即使对动作、着装或说话方式稍作调整，优秀的回答记录也可能被评分者视为不佳或模棱两可的答案。3我们的研究目标有两个：一是制定一种影响每位考生视频录制过程的沟通协议；二是监测2020年至2024年间这些认证考试的结果。
方法
2020年2月，德克萨斯州休斯顿举办了一门成熟的学术外科认证考试培训课程4
，共有9名外科教师和14名考生参加。这些考生分别来自不同地区的培训项目。尽管医学界已预见到疫情的可能，但具体时间尚不确定。到了2月月底，已有消息称……数据分析
我们使用Python软件计算了2020年至2024年间每次考试前后的知识分数和“虚拟存在感”分数的描述性统计指标（包括均值和标准差），并通过配对样本t检验分析这些指标的变化情况。
结果
与面对面的交流相比，使用技术进行考试存在明显挑战：无法实现直接的眼神交流，图像视角受限，大脑的社会系统活动减弱。11, 12所有（136名）考生在考试前的“虚拟存在感”评分均低于专业标准（平均分为3分，而133分为需要改进）。ABS要求考生在考试前进行技术检查，但这些检查的内容较为有限。
讨论
虽然虚拟认证考试最初是为应对国际危机而设立的临时措施，但它似乎已成为未来的标准格式。考生通过了基于知识的书面考试（QE），该考试旨在通过多轮讨论来评估外科医生的判断力和决策能力。课程的目标是帮助考生掌握有效沟通的技能。
结论
这项前瞻性研究探讨了一种将虚拟平台技术融入认证考试的教学方法。参与者最初并未意识到自己在虚拟交流中的不足，但能够更清楚地认识到自身知识上的薄弱环节。通过分析影响专业级人际沟通的关键因素，研究者发现……
伦理审批
本项目无需经过佛蒙特大学机构审查委员会（IRB）的审批，审批日期为2024年9月23日。
致谢
作者感谢哈佛医学院的迈克尔·J·卡哈兰（Michael J. Cahalane）博士和西奈山伊坎医学院（Icahn School of Medicine）的阿格尼斯·拉兹尼奥（Agnes Radzio）博士在研究过程中的专业指导，以及他们对内容完整性的维护。特别感谢加州州立大学的詹妮弗·A·马尔科夫斯基（Jennifer A. Malkowski）博士，她向课程教师和考生分享了沟通科学方面的专业知识。同时，我们也非常感谢我们的数据管理者凯瑟琳·Y·科瓦尔斯基（Kathryn Y. Kowalsky）女士。
