《Heliyon》：Ensuring competence of nephrology fellows performing kidney biopsies using a simulation-based test: Preliminary validity evidence
编辑推荐：
摘要专业翻译
背景：模拟训练为练习经皮肾穿刺活检（Percutaneous Kidney Biopsy，PKB）提供了患者安全的环境。研究人员旨在开发一种基于模拟的测试工具，并收集其初步效度证据，以确保肾穿刺活检操作的基本能力达标。
方法：由三位专家在临床指南
摘要专业翻译
背景：模拟训练为练习经皮肾穿刺活检（Percutaneous Kidney Biopsy，PKB）提供了患者安全的环境。研究人员旨在开发一种基于模拟的测试工具，并收集其初步效度证据，以确保肾穿刺活检操作的基本能力达标。
方法：由三位专家在临床指南和现有通用工具的基础上开发了一套针对特定操作流程的评估工具。招募新手和经验丰富的医师在商用模型上各完成两次超声引导下的肾穿刺活检。所有操作过程均进行录像，随后由两名专家评分者使用新开发的工具进行盲法独立评分。
结果：该评估工具包含12个条目，每项评分为1至5分，即最高可能得分为60分。研究人员发现其内部一致性信度极佳，Cronbach's α = 0.92；评分者间信度和重测信度均较强，Pearson's r分别为0.84和0.95。概化理论（Generalizability theory）分析显示，由三名评分者评估一次操作，或由两名评分者评估两次操作，总体信度即可超过推荐的0.8阈值。经验丰富的医师得分显著高于新手，平均得分分别为53.3（标准差3.8）分和39.0（标准差4.3）分，P < 0.001。设定的及格/不及格分数线为47.8分，结果出现1例假阴性（即1名经验丰富的医师未通过测试），无假阳性（即无新手通过测试）。
结论：研究人员开发了首个针对经皮肾穿刺活检的特定操作评估工具，该工具提供了初步效度证据和可信的及格/不及格标准，可用于模拟训练。该工具有助于以患者安全为导向的模拟掌握学习，即所有受训者在获准进入患者监督实践之前，均需练习达到预定的熟练水平。尽管这些发现支持将该工具用于形成性模拟训练，但仍需进一步研究以确立其对临床表现和患者结局的预测效度。
论文解读
一、研究背景与问题
经皮肾穿刺活检（Percutaneous Kidney Biopsy，PKB）是诊断多种肾脏疾病的关键手段，但作为一种侵入性操作，其技术难度较高，可能引发不良甚至危及生命的并发症。传统上，肾内科专科医师通过师徒模式在患者身上学习PKB，即在高年资导师监督下进行实践。然而，缺乏经验的操作者实施PKB可能导致并发症发生率升高，且受限于临床暴露不足和培训不充分，受训者可能无法达到应有的能力水平。美国内科医学委员会（American Board of Internal Medicine，ABIM）和毕业后医学教育认证委员会（Accreditation Council for Graduate Medical Education，ACGME）要求专科医师证明其具备PKB操作能力，但并未明确该能力应如何教授或评估。
模拟训练（Simulation-Based Training，SBT）是安全培训侵入性操作的可行且被推荐的方法。既往研究已证明PKB模拟训练可提升受训者信心并减少活检相关出血并发症的严重程度。理想的SBT应按照掌握学习模式开展，即所有受训者持续练习直至达到预设的熟练水平，从而在获准对患者实施PKB前确保其具备基本能力。掌握学习的实施前提是拥有具备充分效度证据并设有及格/不及格标准的评估工具。然而，目前尚无针对PKB且具备全面效度证据、适用于掌握学习实施的专用评估工具。
现有评估工具的发展存在三方面不足：其一，基于当代效度框架（Messick框架）五个来源的全面效度论证在早期工具开发中往往缺失；其二，评估条目需超越通用型客观结构化技术技能评估（Objective Structured Assessment of Technical Skills，OSATS）的改编，以更好地捕捉PKB操作中细微而关键的特殊步骤；其三，对于能力本位教育而言，工具必须配套一个可辩护的、经验推导的掌握学习及格/不及格标准，以确保有意义的胜任力最低阈值。
为弥补上述空白并推动肾内科循证能力培训，本研究旨在开发肾活检评估工具（Kidney Biopsy Assessment Tool，KBAT）——一种针对PKB技能的特定操作评估工具，并从当代效度框架的五个来源收集效度证据，同时建立掌握学习的及格/不及格标准。
二、研究设计与关键方法
本研究依据Messick效度框架设计验证方案，该框架涵盖内容、反应过程、内部结构、与其他变量的关系及后果五个效度来源。评估工具由三位具有十年以上PKB操作、监督和教学经验的肾内科专家基于OSATS和现有PKB指南开发，经过条目生成、专家修订（三轮结构化讨论）和外部评审三个阶段最终确定KBAT，包含12个条目，每项1至5分，总分60分。
研究于2025年3月20日至4月30日在中国深圳多家三甲医院招募参与者，共纳入12名从未实施过肾活检的初级肾内科医师（新手组，平均年龄27.8岁）和12名过去一年内至少完成30次独立肾活检的主治肾内科医师（经验组，平均年龄40.8岁）。数据收集于2025年5月1日至20日在深圳市人民医院模拟中心进行，使用商用超声兼容肾活检模型（广东模拟科技公司，中国），每位参与者按固定顺序完成两次超声引导下肾活检，全程录像。两名经验丰富的专家评分者经结构化校准后，使用KBAT对48段录像进行盲法独立评分。统计分析包括Cronbach's α内部一致性检验、Pearson相关分析评分者间信度与重测信度、概化理论（Generalizability theory）D研究计算不同评分者数量和操作次数组合下的总体信度、独立样本t检验比较组间差异、配对样本t检验考察学习效应，以及对比分组法（contrasting-groups' method）确立及格/不及格标准。
三、研究结果
3.1 研究参与者：共招募12名新手和12名经验丰富的医师，全部完成两次模型操作，共产生48段录像。新手组男女比例为4:8，经验组为3:9。
3.2 内部结构效度证据：评估工具12个条目的内部一致性信度极高（Cronbach's α = 0.92）。新手组中三个条目平均分明显偏低：第3条目泌尿系统解剖知识（2.33分）、第4条目对组织与结构的尊重（2.31分）和第9条目时间与动作（2.98分）。基于48次评估的评分者间信度较强（Pearson's r = 0.84，95%置信区间0.73–0.91），但两评分者间存在显著鹰鸽效应（hawk/dove effect）：评分者1总体均分44.1（标准差9.8）分，评分者2为48.2（标准差7.4）分，配对样本t检验证实差异显著（t(47) = 5.29，P < 0.001）。参与者第一次与第二次操作的重测信度极佳（Pearson's r = 0.95，95%置信区间0.88–0.98）。概化理论分析显示，采用绝对一致性定义和15项D研究（1–5次操作由1–3名评分者评估），由三名评分者评估一次操作或两名评分者评估两次操作即可达到可接受的0.8概化系数。
3.3 与其他变量关系的效度证据：混合设计重复测量方差分析显示分组对KBAT得分的主效应显著（F(1, 22) = 74.5，P < 0.001）。新手与经验组在第一次操作、第二次操作及平均得分上，由评分者1、评分者2及两者均分评估的全部九项两两比较均差异显著（P < 0.001）。经验组平均得分53.3（标准差3.8）分，显著高于新手组39.0（标准差4.3）分。测试还检测到显著的学习效应：第二次操作较第一次平均提高2.8分（44.8对47.6，t(23) = 4.78，P < 0.001），新手组提高4.1分（t(11) = 4.45，P < 0.001），经验组提高1.5分（t(11) = 2.85，P = 0.016）。
3.4 后果：采用对比分组法确立及格/不及格分数线为47.8分（95%置信区间45.7–50.0）。该标准产生零假阳性（无新手通过测试）和一例假阴性（一名经验医师第二次操作得分47.0分未通过）。
四、讨论与结论总结
讨论部分指出，KBAT作为首个PKB特定操作评估工具，在模拟环境中展现出良好的信度和区分效度。鹰鸽效应的量化分析显示，若仅使用单一评分者评分，24例中4例（16.7%）会出现及格/不及格判定不一致，因此高利害决策建议采用多名评分者的完整评分设计以平均个体偏差。研究同时承认若干局限性：工具未评估决策制定和并发症处理等能力维度；内容由小组专家讨论产生，未来国际德尔菲法可增强共识；部分经验医师对研究设备不熟悉可能轻微影响表现；固定操作顺序可能混淆真实学习效应与设备熟悉效应，导致重测信度估计偏高；样本量有限（24名参与者），及格标准仅基于12名新手和12名经验医师推导，可能受情境依赖和抽样变异影响，需多中心更大样本验证。
研究结论为：本研究开发了首个针对经皮肾穿刺活检的特定操作评估工具KBAT，并在模拟情境下提供了Messick框架五个当代效度来源的初步效度证据。该评估工具及所确立的及格/不及格标准可在模拟训练中为肾内科专科医师提供反馈，并帮助确定受训者何时具备进入患者监督实践的资格。研究人员期望这种标准化、循证的培训方法有助于培养更有能力的受训者，并降低活检相关并发症的风险。
