妇产科术式特异性能力评估工具的有效性证据：一项范围综述

《Journal of Surgical Education》：Validity Evidence for Procedure-Specific Competence Assessment Tools in Obstetrics and Gynecology: A Scoping Review

　　

妇产科（Obstetrics and Gynecology, O&G）术式特异性能力评估工具的有效性证据：一项范围综述。研究人员对O&G中的术式特异性评估工具进行了系统综述。尽管该专业手术需求广泛，但现有工具数量有限。多项研究报告了较强的信度与结构效度。反应过程（response process）、结果（outcomes）和后果（consequences）方面的有效性证据有限。这些不足限制了其在能力本位医学教育（Competency-Based Medical Education, CBME）中用于高风险决策。

能力本位医学教育（Competency-Based Medical Education, CBME）旨在确保受训者达到独立临床实践所需的明确能力，其核心理念包括直接观察、结构化反馈和纵向进步记录，这与传统基于时间的培训模式形成鲜明对比。在外科学科中，CBME的实施对评估工具提出了更高要求：评估工具必须是有效、可靠且客观的，能够准确评价手术程序性能力。此类评估不仅关系到受训者的进阶决策，还直接影响患者安全和教育资源优化。

既往在普外科、心胸外科和骨科的研究显示，程序特异性评估工具的有效性、可靠性和教育实用性证据存在显著异质性，部分工具的证据十分有限，反映出开发既可靠又实用的专科工具仍面临挑战。在妇产科（Obstetrics and Gynecology, O&G），这一问题尤为突出，因为该专业的手术范围广泛、临床暴露程度差异大，并且同时注重内科与外科能力的发展。尽管已有通用评分工具如客观结构化技术技能评估（Objective Structured Assessment of Technical Skill, OSATS），但这类量表可能无法充分捕捉特定手术操作的特异性表现。目前，关于哪些工具最适合评估O&G手术能力尚未达成共识，因此需要对现有程序特异性评估工具的有效性证据进行系统梳理。本研究正是为了填补这一空白而开展。

研究人员对6个数据库进行了系统检索，遵循PRISMA指南，最终纳入14项研究。样本来自欧洲、英国和美国，包括医学生、住院医师、研究员及不同经验水平的外科医生，样本量为16至60人。研究采用Ghaderi等框架评价有效性证据，使用医学教育研究质量工具（Medical Education Research Study Quality Instrument, MERSQI）评价方法学质量，并应用ACGME教育实用性框架评估工具的可操作性、资源需求、解释难度和教育影响。文献筛选由两名研究者独立进行，分歧经协商或第三方裁定解决。

结果部分有三个小节。第一小节“纳入研究概述”：14项研究覆盖了剖宫产、阴式子宫切除术、腹腔镜子宫切除术、大环切除转化区（Large Loop Excision of the Transformation Zone, LLETZ）、胎儿镜激光治疗、腹腔镜输卵管切除术、膀胱镜检查、腹腔镜输卵管结扎术和机器人子宫肌瘤剔除术。其中6项为基于模拟的评估，8项为活体手术评估。多数研究测试了多个学习者群体，且工具预期用途与研究人群一致。第二小节“基于模拟的评估工具”：6项研究评估了模拟环境中的工具，内容效度在4项研究中得到支持（主要通过专家共识和德尔菲法），所有研究均证明结构效度，即工具能区分新手、中级和专家水平；5项研究报告了内部一致性（Cronbach's α=0.91-0.97）和评分者间信度，2项报告了评分者内信度。有效性证据总分分布较均衡，多数研究达到中等或较高分数；方法学质量中等。教育实用性方面，5/6满足易用性，3/6满足资源要求，2/6满足解释简便性，但均未评估教育影响。第三小节“活体手术评估工具”：8项研究评估了手术室或视频记录的表现，7项支持内容效度，所有研究均证明结构效度，6项报告了内部一致性（α=0.93-0.96），7项报告了评分者间信度，但没有研究报告评分者内信度。有效性证据差异大，半数得分较高；内部结构证据最强，而后果效度证据最弱。教育实用性上，多数工具满足易用性和资源要求，很少满足解释简便性，且无教育影响证据。

讨论部分指出，跨两种评估模式，内部结构证据是最常被报告且最一致的。多数工具具有高内部一致性和强评分者间信度，表明分数在不同评估者间可复制且稳定。结构效度也普遍良好，所有纳入工具均能区分不同经验水平或毕业年级，这支持其用于形成性评估和过程追踪。然而，其他效度领域的证据不一致：内容效度在模拟工具中较常报告，但活体工具报告不一；反应过程证据有限，很少有研究详细描述评分者培训或评分程序；与其他变量的关系很少被检验，包括与替代评估或临床结局的相关性；后果效度是最薄弱的领域，几乎没有研究考虑评估结果对反馈、晋升决策或临床实践的影响。模拟工具表现可靠且可行，但缺乏多环境测试，也缺少与手术室表现关联的证据。活体工具具有更高保真度，但缺失评分者内信度，且实际可行性（如病例变异、评估者负担）未被充分关注。方法学质量方面，MERSQI得分范围较宽，样本量较小，多机构验证罕见，限制了普适性。教育实用性方面，多数工具关注测量本身，而较少考虑评估结果如何为学习和晋升决策提供信息。对CBME而言，现有工具数量有限，且大多聚焦技术表现，没有充分整合非技术技能、决策制定或情境因素。研究人员建议未来应优先开发明确面向CBME框架的程序特异性工具，开展多机构验证、多测试条件评估和泛化研究，并加强后果效度和教育影响的评估，同时应检索会议摘要等灰色文献以避免发表偏倚。

本综述的结论可翻译为：本综述检查了妇产科中使用的程序特异性评估工具及其有效性证据、方法学质量和教育实用性。最终纳入14项研究，相对于该专业的手术广度，这是一个数量较少且异质性较高的文献集合。尽管许多工具表现出较强的信度和区分经验水平的能力，但其他效度领域的证据不一致。这些发现既说明了O&G程序特异性评估的可行性，也揭示了要使其在CBME中有效应用仍需大量工作。