重要麻醉模拟培训促进观察与评分方法（VAST FORM）

《Simulation in Healthcare》：The Vital Anaesthesia Simulation Training Facilitation Observation and Rating Method (VAST FORM)

　　引言：《关键麻醉模拟培训促进观察与评分方法》（VAST FORM）是一种包含5个部分的工具，专为在资源匮乏环境中的医疗模拟教学评估而设计。本研究旨在为其应用提供有效性证据。

方法：研究参与者负责引导模拟案例，并使用VAST FORM来指导关于教学表现的讨论，同时评估该工具的实用性、学习价值以及使用便捷性。此外，还有评估者依据VAST FORM的第4部分和第5部分对他们的教学表现进行评价，通过双因素随机绝对一致性指标ICC2和ICC2k计算出评估者之间的可靠性，同时运用斯皮尔曼相关系数分析第4部分和第5部分的得分之间的关系，还将这些得分与参与者先前的教学经验进行比较。

结果：研究参与者认可VAST FORM的实用性。对于第4部分，总体得分的一致性处于良好到优秀水平，总ICC2值为0.76，95%置信区间为0.42 - 0.89；ICC2k值为0.90，95%置信区间为0.68 - 0.96。其内部一致性极佳，α值为0.95，95%置信区间为0.90 - 0.97。对于第5部分，单个评估者之间的一致性为中等水平，但所有评估者平均后的 consistency为良好水平（ICC2值为0.59，95%置信区间为0.42 - 0.73；ICC2k值为0.85，95%置信区间为0.74 - 0.92）。第4部分和第5部分的得分之间存在高度相关性（r值为0.91，P值小于0.00001），且教学经验越丰富，得分越高。

讨论：本研究为VAST FORM的应用提供了证据支持。如今，模拟教学领域有了一个充分考虑实际情况的工具，可用于帮助资源匮乏环境中的模拟教学人员提升能力。医疗模拟涵盖了一系列精心设计的活动，这些活动旨在复制或强化临床体验，同时避免对患者造成伤害。有效的教学引导能够提升模拟教学的效果，促进所学知识在临床实践中的应用。模拟教学引导工作包括预先讲解、开展模拟临床场景以及事后总结。掌握模拟教学引导技能是一个复杂的过程，不过通过正规培训、定制化的学习资源、逐步提高任务难度以及包括对自身表现反思在内的刻意练习，可以加快这一进程。“学习对话”是技能提升过程中的重要组成部分，这类对话以反思为核心，涵盖反馈和总结讨论内容。用于提升教学引导技能的学习对话通常会将同伴评估纳入教师发展计划中，同时借助实践共同体开展学习。关键麻醉模拟培训实践共同体是由来自不同地区的医疗从业者组成的群体，他们共同努力推动在资源匮乏环境中开展符合实际情况的模拟教学活动。我们希望将一种教学引导评估框架融入该共同体内的学习对话中，以此规范对教学表现的分析，突出教学引导中的关键要素，进而指导技能提升。作为起点，我们系统地研究了现有的教学引导评估工具，发现没有哪种工具是专门针对资源匮乏环境中的教学引导实践设计的，能够全面地对教学表现进行定性和定量评估，同时也缺乏足够的支持其在该共同体中使用的有效性证据。在本文中，我们将“教学引导者”这一概念扩展为所有参与模拟教学活动实施与开展的人，包括活动的规划、准备、场景推进以及/或活动后的总结工作。尽管在资源匮乏环境中开展模拟教学人员培训的项目越来越多，但当地教育工作者的能力培养和技能提升仍然是一个亟待解决的难题。为了解决这一问题，我们受启发开发了VAST教学引导观察与评分方法（VAST FORM），这一工具旨在帮助资源匮乏环境中的模拟教学人员提升能力。该工具包含5个部分，采用灵活的教学引导评估方式，既适合帮助新手掌握基本的教学引导技能，也能助力经验丰富的教学引导者提升适应能力和教学艺术水平。在本研究中，我们探讨了是否具备足够的有效性证据来支持使用VAST FORM。这项研究回应了在资源匮乏环境中缺乏符合实际情况的资源来提升教学引导技能的迫切需求，我们旨在为支持在资源匮乏环境中使用VAST FORM开展模拟教学人员培训提供更多证据。

方法：我们在开发和评估VAST FORM时采用了实用主义范式。选择实用主义是因为它注重探究过程、研究的实用性以及应用性。我们遵循Kern提出的VAST FORM课程设计六步法（详细内容见补充数字资料1，网址：http://links.lww.com/SIH/B291，其中介绍了VAST FORM的开发过程及预期用途）。

研究者反思性：我们的研究团队成员具有不同的观点，我们致力于推动国际间公平的合作研究。我们在不同的地理、文化和经济背景下都拥有模拟教学和临床工作经验（详细内容见补充数字资料2，网址：http://links.lww.com/SIH/B292，其中有一份作者的反思声明）。

理论框架：我们工作的核心理论框架是实践共同体中的学习。我们认同Wenger最初的描述，即实践共同体中的学习是通过成员的参与实现的。该共同体的凝聚力由相互交流、共同协作以及共享的知识体系这三点构成。我们共同体中的教学引导技能提升是在社会文化环境中进行的。我们使用VAST FORM的目的是促进对教学实践的反思，这一做法与Kumar等人提出的元总结的四大支柱理论框架十分契合，即这一过程应当具备理论依据、营造心理安全的环境、具有培养作用，且要结合具体情境。

VAST FORM：VAST FORM及相关用户指南可在VAST网站（vastlearning.org）上免费获取。VAST FORM由5个部分组成，每个部分都采用不同的方式对教学引导行为进行评估（见表1）。第1至第4部分可供任何水平的观察者用于形成性评估，每位观察者一次只使用其中一个部分记录数据。如果在教师发展课程等情况下有多名观察者，那么可以同时使用VAST FORM的不同部分进行观察，从而收集更多数据，便于对教学引导表现进行深入分析。第5部分则由专业观察者用于对教学引导技能水平进行总结性评估，可与VAST FORM的形成性评估部分同时完成。VAST FORM第4部分中列出的教学引导能力是直接基于资源匮乏环境中的教学实践经验而制定的，而且这些能力的可靠性已经过初步评估。

表1 VAST FORM各部分的内容及其在本研究中的用途
|部分名称|描述|在本研究中的用途|
| ---- | ---- | ---- |
|检查清单|第1部分——检查清单明确了场景教学引导和总结的过程与结构。它能让观察者关注教学引导的具体操作环节，很可能在教学引导者积累常规教学经验时最为有用。|开展参与者调查|
|时间记录|第2部分——时间记录用于记录模拟教学活动所花费的时间。它能引发人们思考时间管理方式以及对学习的影响。和第1部分一样，它在教学引导者积累常规教学经验时可能最为有用。|开展参与者调查|
|对话流程|第3部分——对话流程用于描述对话互动情况，并统计教学引导者提出的小组问题数量。使用这一部分有助于人们思考对话互动如何影响学习效果和参与度。它是经许可后对Dieckmann等人首次提出的教学引导表现评估方法的改进版本。|开展参与者调查|
|行为表现|第4部分——行为表现是一个基于能力的评估框架，它能促使人们思考具体的教学引导行为以及这些行为对学习和模拟教学环境的影响。它适合在教学引导者提升适应能力时使用。这是专门根据资源匮乏环境中的教学实践经验全新设计的，而且已经为第4部分的评分提供了相关依据。|开展参与者调查，同时有4名评分者互不知晓彼此的评分结果。对这些教学引导者所展现的技术、教学艺术和价值观进行评分，采用三点李克特量表，1表示负面影响，2表示影响不一，3表示正面影响。总分在3到9分之间|
|评分评价|第5部分——评分评价可用于对模拟教学引导者的可承担教学活动进行总结性评估。其用途包括确保教学质量、协助规划教学项目，以及共同制定技能提升的学习路径。有4名评分者互不知晓彼此的评分结果。他们对教学引导者的可承担教学活动进行评分，采用三点评分制：1表示在教学过程中需要支持，2表示能够独立胜任，3表示可以指导他人|

研究设计：我们采用了多方法研究方法，并遵循Kane提出的验证方法。Kane的方法是一种现代框架，它认为验证应该是一个持续的过程，首先要明确评估工具的预期用途，还要考虑使用该评估工具过程中会产生的各种推论。这些推论通常可分为4类：评分（将观察结果转化为分数）、推广（利用分数反映在测试环境中的表现）、外推（利用分数反映在实际工作中的表现）以及意义阐释（利用分数为决策或行动提供依据）。关于VAST FORM的预期用途以及我们构建有效性论证所依据的假设和主张，详细内容见补充数字资料1（详见网址：http://links.lww.com/SIH/B291，其中介绍了VAST FORM的开发过程及预期用途）。之前的研究已经为第4部分的评分推论提供了足够的有效性证据。在本研究中，我们旨在为推广、外推和意义阐释这三种推论提供证据支持。具体而言，我们的目标是：对VAST FORM的实用性、潜在价值和使用便捷性进行初步评估（意义阐释）；分析使用VAST FORM第4部分进行评分时的评估者间一致性和内部一致性，以及使用第5部分进行评分时的评估者间一致性（推广）；探讨以下两者之间的相关性：使用VAST FORM第4部分和第5部分进行评分的结果（外推），以及参与者的先前教学经验与他们在VAST FORM第4部分和第5部分中的得分之间的关系（外推）。

伦理方面：本研究的呈现方式遵循了针对医疗模拟研究的STROBE指南的扩展版本。本研究已获得科廷大学人类研究伦理委员会的批准（编号为HRE2023 - 0218），同时也获得了阿迦汗大学（编号为2024/ISERC - 103 (v2)）和肯尼亚国家科学技术创新委员会（编号为882440）的伦理批准。在开始数据记录之前，已经获得了参与者的同意，并收集了他们的基本信息。

研究环境：2024年10月，VAST研讨会（以下简称“研讨会”）在肯尼亚内罗毕的阿迦汗大学举行。在这为期3天的活动中，来自不同背景的医疗从业者参与了各项活动，旨在加强VAST的学习共同体，拓展合作网络，推动资源匮乏环境中的模拟教学发展。研讨会的核心活动是开展跨学科的模拟场景展示与总结，这些模拟场景也被称为“案例”。这些案例的设计时长为10分钟或更短，其呈现形式符合VAST针对模拟场景设计提出的建构性对齐原则。每个案例至少有4名、最多有9名模拟学习者参与。阿迦汗大学的模拟实验室里，由经验丰富的VAST共同体成员搭建了4个布局合理的模拟教室，教室旁边还设有总结室。模拟教学所用的资源包括常用的复苏设备和药品、低触觉反馈的局部任务训练器、模拟病人，以及配备SimMon软件的成对平板电脑，这些都与VAST在资源匮乏环境中的做法一致。每个模拟教室都配有专门的模拟协调员，负责案例的准备工作、场景的推进以及研究数据的收集。还有研究人员在场地内巡回，提醒大家注意时间。在研讨会开始之前，参会者先完成了一个互动培训模块，该模块介绍了VAST FORM（见表1），并提供了评分指南。在研讨会期间，参会者依次扮演以下3种角色：教学引导者、以日常临床身份参与的场景参与者，以及使用VAST FORM对教学引导表现进行评估的观察者。我们有意让不同总结经验水平、来自不同地理背景的参会者担任教学引导者角色。在研讨会开始1到2周前，就已经将案例的详细信息告知了教学引导者（见表2）。在研讨会当天，教学引导者有1小时的时间来确认模拟教室的布置情况，向模拟学习者做简要介绍，开展临床场景教学，随后进行场景教学后的反思总结。在场景总结之后，那些使用了VAST FORM的观察者会对教学引导表现展开学习对话（即元总结）。

表2 案例详细信息
|类别|内容|
| ---- | ---- |
|案例详细信息| |
|教学引导者基本信息| |
|案例主题|序号|学习者性别年龄（岁）临床实践国家临床角色先前复盘经验（次数）1儿童烧伤5男性20-29埃塞俄比亚麻醉师10-502快速序贯诱导4女性>60加拿大麻醉师10-503产时出血3女性40-49澳大利亚麻醉师>504俯卧位患者意外拔管7男性40-49蒙古国麻醉师<105局部麻醉药全身毒性7女性30-39加拿大麻醉师培训生<106脊柱麻醉下剖宫产3男性50-59美国外科助手<107产时出血5女性40-49英国麻醉师>508产妇心脏骤停3女性40-49蒙古国产科医生<109儿童喉痉挛7男性30-39布隆迪麻醉师10-5010脊柱麻醉下剖宫产6男性30-39布隆迪麻醉师10-5011产妇心脏骤停5女性30-39索马里兰非麻醉师<1012局部麻醉药全身毒性6女性>60加拿大产科医生10-5013俯卧位患者意外拔管8男性30-39坦桑尼亚麻醉师10-5014快速序贯诱导5男性50-59加纳产科医生10-5015恢复期气道困难8男性40-49加拿大麻醉师>5016快速序贯诱导5男性>60委内瑞拉麻醉师10-5017产妇心脏骤停5男性50-59加拿大麻醉师10-5018儿童烧伤6男性40-49尼泊尔外科医生<1019产时出血6女性40-49坦桑尼亚麻醉师10-5020产妇心脏骤停5男性40-49蒙古国麻醉师<1021快速序贯诱导5女性>60加拿大产科医生<1022脊柱麻醉下剖宫产6男性30-39坦桑尼亚麻醉师<1023俯卧位患者意外拔管7男性40-49丹麦麻醉师>5024过敏反应6女性40-49坦桑尼亚麻醉师10-5025过敏反应7男性40-49加纳产科医生<1026儿童喉痉挛6男性40-49坦桑尼亚麻醉师<1027产妇心脏骤停5男性50-59尼泊尔麻醉师10-5028儿童喉痉挛6男性30-39加拿大麻醉师培训生<1029儿童喉痉挛8男性40-49智利麻醉师<1030局部麻醉药全身毒性7男性30-39英国麻醉师培训生10-5031恢复期气道困难7男性30-39埃塞俄比亚麻醉师<1032恢复期气道困难6女性40-49印度麻醉师<1033局部麻醉药全身毒性7女性20-29澳大利亚麻醉师培训生<1034创伤——儿童烧伤5男性30-39埃塞俄比亚麻醉师<1035恢复期气道困难7男性30-39加拿大麻醉师>5036过敏反应7男性30-39加拿大麻醉师<1037创伤——儿童烧伤3男性30-39埃塞俄比亚麻醉师10-5038俯卧位患者意外拔管6女性30-39埃塞俄比亚麻醉师<1039过敏反应7女性40-49尼泊尔麻醉师<1040产时出血6男性40-49丹麦麻醉师>5041脊柱麻醉下剖宫产5男性30-39英国麻醉师培训生10-50参与者研究参与者是从研讨会代表中按便利抽样方式招募的。那些负责主持模拟环节或使用VAST FORM进行观察的与会者有资格成为研究参与者，而作为研究人员的与会者则被排除在外。共有来自22个国家的54名与会者符合研究条件，且这54人都同意参与研究。在3天的时间里，共记录了41例模拟主持案例。表2列出了这些案例中担任主持角色的研究参与者的详细信息及人口统计数据。数据收集研究团队的一名成员在每个案例开始时记录背景数据。最初的数据收集计划仅侧重于视频录制的复盘内容。通过Laerdal SimCapture设备对每个案例的复盘过程进行了音视频录制。在研讨会结束前的最终反思环节，使用过VAST FORM的研究参与者被要求完成一份最终用户调查。评分去标识化的人口统计数据和案例背景数据由一名研究人员（A.I.M.）录入数据表中。录制的案例视频则被安全地分享给4名擅长模拟主持和教师培训的研究人员。研究人员被要求在方便的时间分析案例视频数据。在查看复盘视频之前，研究人员需先研读VAST FORM工具、相关用户指南以及为研讨会代表提供的在线模块。我们没有进行额外的评分员培训或校准工作；我们的目标是真实评估该工具在实际使用中的可靠性，反映其在学习场景中的预期用途，而非在不切实际的研究环境中使用的情况。为提升研究结果的适用性，研讨会上进行的模拟场景设计与复盘流程在会议时间安排、设备选择、参与者人数以及可用技术等方面，均刻意模仿VAST项目中常规的模拟活动开展方式。除了案例视频外，研究人员还获得了包括场景主题、学习目标、确认准备工作所需时间以及场景参与者人数在内的案例背景数据。为还原VAST FORM的实际使用场景，研究人员被要求实时进行观察并使用该工具评分，不得倒放、重看或重复评估。研究团队之间的沟通通过Slack（Slack Technologies, Salesforce Inc.）及端到端加密的消息系统进行，在数据收集完成之前，研究人员彼此之间不会知晓对方的评分结果。统计分析研究参与者反馈在VAST研讨会结束时，研究参与者被要求完成一份包含8个问题的调查，以收集关于VAST FORM的实用性、学习价值及易用性的反馈意见。评分采用5点李克特量表。描述性统计用于呈现平均值及95%置信区间。评分员间一致性与内部一致性为评估使用VAST FORM的第4部分和第5部分时的评分员间一致性，我们采用了双因素随机绝对一致性ICC2和ICC2k方法，计算出带有95%置信区间的类内相关系数。ICC2方法用于评估存在多个评分员时的单个评分员的绝对一致性，而ICC2k则通过平均所有评分员的结果来评估某项指标的可靠性。Koo和Li认为，ICC值小于0.5表示可靠性较差；0.5到0.75为中等水平；0.75到0.90为良好；大于0.90则为优秀。为评估内部一致性，我们计算了包括“技术”“艺术性”和“价值观”在内的各项指标的Cronbach α值及其95%置信区间。Bland和Altman认为，数值在0.70到0.80之间时适合用于组间比较，而0.90则更适用于临床应用。若要使用4名评分员评估出ICC值为0.80且置信区间宽度为0.30，至少需要20个案例。若要使用Cronbach α评估评分员之间的内部一致性，假设功效值为80%，零假设为无差异，假设α水平为0.65，则至少需要24个案例。评分与主持表现其他指标的相关性对于第4部分，我们计算了所有4名评分员的平均总分，得分范围为3到9分。对于第5部分，我们计算了主持技能的平均总分，同样基于4名评分员的评分，得分范围为1到3分，并可保留小数。我们通过计算两个总分的斯皮尔曼相关系数来检验两者之间的相关性。数据以散点图的形式展示。由于本研究中的数据为有序数据，因此选择了斯皮尔曼相关系数。为验证第4部分和第5部分的评分之间存在正相关关系，假设功效值为80%，且效应量较大（r=0.50，即能解释约25%的方差），则需要29个案例。同样，我们通过克鲁斯卡尔-沃尔利斯检验来验证第4部分和第5部分的平均总分与参与者自我报告的先前主持经验之间的相关性，对于成对比较则采用霍尔姆校正方法来控制家族误差。结果以点图和提琴图的形式呈现。所有分析均在R 4.4.1版本（R核心团队，奥地利维也纳）上完成。研究结果研究参与者反馈共有48名研究参与者（占89%）完成了调查，其结果见表3。由于所有平均值及95%置信区间均高于3这一理论中值，该调查结果表明，使用VAST FORM有助于引导对主持表现的观察，促进有效的学习交流，并促使人们对自身表现进行有意义的反思。此外，关于完成VAST FORM所需时间的可行性，参与者给出的评分也较为积极。在易用性方面，参与者反馈称第1、2和3部分比第4部分更易于使用。表3研讨会期间对VAST FORM使用的参与者反馈问题平均值（95%置信区间）使用VAST FORM对我主持表现的观察有助于我的学习4.43（4.26-4.60）在观察他人时，VAST FORM帮助我开展了关于其表现的有效学习交流4.51（4.33-4.69）使用VAST FORM所需的时间与模拟会议的进程相匹配3.77（3.51-4.02）总体而言，VAST FORM易于使用4.02（3.80-4.25）第1部分——VAST FORM清单易于使用4.51（4.32-4.70）第2部分——VAST FORM的时间安排易于使用4.38（4.20-4.56）第3部分——VAST FORM的流程设计易于使用4.34（4.14-4.54）第4部分——VAST FORM的行为表现易于使用3.77（3.50-4.03）评分员间一致性及内部一致性对于第4部分的使用，各评分员对总分的评价整体上处于良好到优秀水平；总ICC2值为0.76，95%置信区间为0.42-0.89；ICC2k值为0.90，95%置信区间为0.68-0.96。内部一致性非常好，α值为0.95，95%置信区间为0.91-0.97。对于“技术”“艺术性”和“价值观”这三个单独类别，单个评分员的ICC值处于较差到中等水平，但当所有评分员的结果取平均值后则处于中等到较高水平。其中，“技术”部分的ICC2值为0.44，95%置信区间为0.28-0.60；ICC2k值为0.76，95%置信区间为0.61-0.86；“艺术性”部分的ICC2值为0.50，95%置信区间为0.36-0.65；ICC2k值为0.80，95%置信区间为0.68-0.88；“价值观”部分的ICC2值为0.36，95%置信区间为0.20-0.53；ICC2k值为0.69，95%置信区间为0.51-0.82。这些数据表明，当VAST FORM在学习场景中按预期用途使用时，其可靠性更高，因为在这种环境中，多名观察者能提供不同的视角，这些视角可在后续的学习交流中相互印证。此外，整体评分的可靠性也高于各个单独类别的评分可靠性。对于第5部分的使用，单个评分员的评分一致性处于中等水平，但所有评分员的结果取平均值后则处于良好水平（ICC2值为0.59，95%置信区间为0.42-0.73；ICC2k值为0.85，95%置信区间为0.74-0.92）。先前主持经验与第4部分和第5部分评分之间的相关性总体而言，先前主持经验与第4部分和第5部分的评分存在关联（统计检验及描述性统计见图1）。尽管随着先前模拟经验的增加，这两部分的评分普遍上升，但仅有以下几组成对比较具有统计学显著性：（a）在第4部分和第5部分中，先前主持经验超过50次的参与者评分高于不足10次的参与者；（b）在第5部分中，先前主持经验超过50次的参与者评分高于有10到50次主持经验的参与者。此外，第4部分和第5部分的评分之间也存在非常强的相关性（r=0.93，P<0.00001；见图2）。图表1图表2散点图与斯皮尔曼相关图，展示了参与者自我报告的先前主持经验水平与第4部分和第5部分的平均总分之间的关系。先前主持经验被分为不足10次、10到50次以及超过50次三类。具有统计学显著性的成对比较以P值标出。χ2克鲁斯卡尔-沃尔利斯检验是一种用于判断三个组别的等级和是否存在差异的统计检验方法，在进行成对比较之前，该检验结果应具有统计学显著性。ε2序数是效应量的度量指标，可理解为组别归属所能解释的方差百分比。95%置信区间是围绕ε2序数的单侧置信区间（即较低数值表示效应可能较小的下限）。Nobs为参与者的总数。图表2散点图与斯皮尔曼相关图，展示了第4部分和第5部分的平均总分之间的关系。讨论在资源匮乏的地区，模拟教学师资培训项目正在不断扩展，27–33但这类培训仍面临诸多挑战，主要是因为缺乏既适合具体情境又具备足够有效性证据、可用于此类地区的教学评估工具。23在本文中，我们认同Weise等人提出的情境适宜性概念，62该概念涵盖了可行性、普遍性和适用性等要素，而这些要素均为非二元且非静态的概念。在本研究中，我们探讨了VAST FORM在资源匮乏地区开展师资培训的适用性和可行性，而非试图通过构建比较性实证数据来证明该工具的适用性。本研究在以往支持使用VAST FORM第4部分进行评分的研究基础上进一步发展，48,49并且发现第4部分的使用可靠性与其他采用类似方法评估的工具相当。63,64在本文中，我们进一步为VAST FORM在资源匮乏地区用于模拟教学师资培训的普遍性、外推性及其实际应用意义提供了更多有效性证据。为验证普遍性和外推性，我们让4名评分员独立使用VAST FORM的第4部分和第5部分，对由不同地理背景和先前模拟经验水平的主持人所进行的41次录制的复盘过程进行评分。就普遍性而言，对于VAST FORM第4部分的各项评价，单个评分员之间的评分一致性处于较差到中等水平。不过，这并不影响相关推论的成立，也不妨碍使用第4部分的合理性。即便经过大量评分员培训，许多基于行为的评分量表仍存在较高的变异程度，65这是普遍现象。本研究中我们对评分员培训的设计，旨在体现该工具在真实学习场景中的使用方式；单个评分员之间的一致性较差或处于中等水平，可能源于研究设计以及在该特定环境中的使用方式。尽管如此，Kumar等人在他们的元复盘框架中明确指出，当使用数值评分对教学表现进行形成性评估时，可通过数据三角验证来提升普遍性，51即通过整合不同来源的数据来实现这一目标。VAST FORM的设计便体现了数据三角验证的理念，因为第4部分除了允许数值评分外，还支持定性笔记记录，而且多名观察者可以同时使用第4部分进行评估。此外，其他观察者可使用第1至第3部分，对不同的教学方面进行同步且互补的评估，从而进一步实现数据三角验证。我们建议，使用VAST FORM第4部分开展的形成性学习交流应保持低压力的氛围，66重点在于通过反思性对话推动教学表现的提升。在运用VAST FORM第五部分进行总结性评估时，单个评估者的评价一致性为中等水平，但当对多个评估者的评分取平均后则上升到了良好水平。因此，我们建议在判断哪些活动可以交由特定指导者负责之前，先获得一系列评分结果。有证据支持外推推断；在同一任务中，两种概念上相关但独立的绩效衡量标准——即VAST FORM第四部分的评分与第五部分的评分——之间存在较强的相关性。同样，第四部分和第五部分的评分与指导者以往的经验之间也存在着较强的相关性，这表明能够区分“专家”与“新手”，进一步支撑了外推推断。尽管第四部分和第五部分在概念上存在重叠，但将它们视为两种不同的指导能力评估方法，是一种有意为之的安排，旨在确保评估的边界和意义清晰明确。关于VAST FORM对学习效果及可用性影响的初步研究，为该工具能够用于指导能力的发展以及促进有助于提升表现的学习对话提供了依据。我们提倡使用VAST FORM的第一至第四部分进行同伴互评，即便由新手参与也可，因为这种对自身表现的反思及同伴间的相互指导，有助于营造反馈与技能发展的文化氛围。在难以获得专业评估者的情况下，这对于教师发展尤为重要。不过，第五部分被明确指定为用于总结性评估的工具，用于判断哪些指导任务可交由某位指导者承担，且只能由专业评估者进行评分。这项关于VAST FORM应用的首项研究，在支持其应用意义的证据方面存在一定的局限性，尤其是在高要求场景下的应用。我们建议持续评估VAST FORM的实用性和影响力，尤其是探讨其在学习共同体中如何促进指导技能的发展，以及其在项目规划与专业发展方面的总结性评估作用。本研究的结果对全球模拟教学领域具有重要意义，因为VAST FORM第四部分所列出的能力指标，是唯一一种基于资源匮乏环境中的指导实践而设计的模拟指导能力评估工具。未来需要进一步深入研究VAST FORM应用所带来的各种影响，例如探讨其可能带来的后果，比如对指导工作所带来的认知负担的影响等。为了进一步为在资源匮乏环境中使用VAST FORM开展模拟教学教师发展提供有效性证据，或许有必要开展对比研究，将VAST FORM与其他指导能力评估方法进行比较。同时，我们也建议进一步研究如何优化VAST FORM的使用方式、它对指导技能发展的影响，以及它在教师发展计划中的作用。我们的研究与Kumar等人提出的元反思的四大支柱理论，以及实践共同体中的学习理论相契合。按照Kumar的建议，VAST FORM的用户指南提供了相关的支持信息以及结构化的实施流程和详细的操作指引，旨在维护心理安全。Wenger在描述实践共同体中的学习时指出，共同体实践的体现形式必须是该共同体实际表现的真实反映，是成员们能够认同并归属的。VAST FORM第四部分不仅包含了与现有模拟指导标准相一致的一系列能力指标，还包含其他评估工具中不存在的能力要素，比如应急计划制定、应对语言障碍、对文化与情境因素保持好奇心，以及以谦逊的态度进行指导等。我们认为，由于VAST FORM第四部分正是源于资源匮乏的环境，因此它对于在这些环境中工作的模拟教学工作者而言具有特别重要的意义。未来的研究应进一步探讨各能力指标与分类评分之间的关联，从而明确各项能力的相对重要性，尤其是那些在资源匮乏环境中的指导实践中更具特殊意义的能力指标。我们研究的优势在于采用了有效的方法来收集证据；我们注重从不同背景的研究参与者那里获取数据，提升了研究结果在不同情境下评估模拟教学实践时的普遍适用性。我们还采取了多种方法上的保障措施，以减少VAST FORM开发者对研究项目的潜在影响，包括独立的 数据收集与分析流程、明确的评分标准、预先制定的数据分析计划，以及通过多渠道获取数据来实现方法论上的三角验证。此外，还专门探讨了VAST FORM开发者的参与问题以及研究者的反思意识（详见补充数字内容2，网址：http://links.lww.com/SIH/B292，文件名为“作者反思声明”）。通常认为，评估者之间中等程度的一致性（ICC>0.6）是适合用于形成性评估的临界标准，这一标准也被用来为在模拟教学中使用形成性评估工具提供合理性依据。我们研究中的评估者间可靠性与其他基于行为的形成性评估工具相当。在同伴互评中，评分的差异性甚至可能是学习过程中的有益因素，不同的观点能够促使人们更深入地思考所评估的内容。不过，除了本研究采用的较为简单的做法之外，如果能有更为系统的评估者校准机制，比如专门组织研讨会来分析示例视频或统一评分标准，那么有望进一步提升团队之间的共识，提高未来应用的可靠性。总体而言，我们的研究结果为VAST FORM的应用提供了更多支持其有效性的依据。支持“评分”推断的证据十分充分，这些证据来源于以往的研究，明确了VAST FORM第四部分的概念基础和评分结构，同时本研究也观察到了该部分评分较高的内部一致性。支持“泛化”推断的证据也同样充足，尤其是当对评分进行汇总后，评估者间的一致性达到了良好到优秀的水平。支持“外推”推断的证据虽然具有潜力，但目前仍处于初步阶段；第四部分与第五部分之间的高相关性，以及评分与指导者以往经验之间的高相关性，都表明评分能够反映指导能力方面的实质性差异，不过若能进一步将评分与指导绩效的更广泛指标相结合，将更有力地支持这一推断。至于“影响”推断以及使用VAST FORM可能带来的后果，目前相关研究还处于早期阶段。虽然参与者的反馈表明该工具实用性较强，能够帮助开展反思性学习对话，但还需要进一步研究，以明确其使用如何影响教师发展以及课程决策制定。尤其需要研究使用VAST FORM可能产生的意外后果，尤其是在高要求的应用场景中。此外，指导者的行为对模拟学习者成果的影响目前尚未得到明确研究，这也是未来研究的重要方向。我们研究的局限性在于仅针对VAST FORM的某些部分进行了探讨。我们重点收集了与资源匮乏环境中的实践相关的部分，以此为依据来支持“泛化”和“外推”推断。我们在研究中重点分析了VAST FORM第四部分和第五部分的可靠性与内部一致性，而未对第一至第三部分进行评估。关于VAST FORM应用影响的探索也还处于初步阶段；在SIMposium期间，我们针对参与者使用VAST FORM第一至第四部分的情况设计了新的调查问卷。尽管在问卷题目的设计及视觉呈现方面已遵循了最佳实践，但该问卷在正式使用前并未经过正式评估。未来的研究应更深入地探讨VAST FORM应用所带来的各种影响，包括分析各个部分的相对价值，以及它们如何影响教师发展及模拟教学活动的质量。我们研究的另一个局限性在于其设计上未能评估VAST FORM与现有指导能力评估方法相比的实用性。不过在我们看来，由于这些工具在资源匮乏环境中的适用性有限，且缺乏足够的支持其用于教师发展的有效性证据，因此它们还不能被视为可供比较的“标准”工具。我们试图通过要求研究者一次性观看并评分每个案例的视频，且不得倒带，从而模拟VAST FORM在现实中的应用场景。我们承认，这种方式并不能完全反映在模拟教学过程中实时使用VAST FORM的情况。为了保护参与者的隐私，我们对各案例的评分进行了汇总处理。虽然这项研究旨在为在资源匮乏环境中使用VAST FORM开展教师发展提供有效性支持，但由于其应用场景极为多样，目前还无法为其在未来各种可能的应用场景中的使用提供充分的证据。结论模拟教学指导技能的发展可以通过借助指导能力评估工具来引导的反思性学习对话得到支持。马斯洛那句广为流传的话——“如果你唯一的工具是锤子，那就很容易把所有东西都当作钉子来处理”——恰恰指出了认知偏差、主观假设可能对教师发展造成的影响。在本文中，我们介绍了VAST FORM这一灵活的模拟教学指导能力评估“工具箱”，它拥有足够的有效性证据，足以支持在资源匮乏环境中将其用于教师发展。现在，有必要进一步探索VAST FORM的更广泛应用价值，深入研究如何优化学习对话、促进指导者技能发展，以及提升全球各地不同环境下模拟教学活动的成效。