《Journal of Surgical Protocols and Research Methodologies》:A pilot study of real-world operative video analysis for assessing non-technical skills in surgical trainees
编辑推荐:
认知性非技术技能(non-technical skills,NTS)涵盖情境感知(situation awareness)与决策制定(decision-making),对安全的外科实践至关重要,且在不良事件中常被牵涉。数据驱动方法为认知性NTS提供客观、可重复
认知性非技术技能(non-technical skills,NTS)涵盖情境感知(situation awareness)与决策制定(decision-making),对安全的外科实践至关重要,且在不良事件中常被牵涉。数据驱动方法为认知性NTS提供客观、可重复的评价带来了机遇(例如通过传感器使用)。尽管术中视频分析日益被用于评估技术技能,但其在评估认知性NTS方面的作用仍缺乏充分探索。本研究旨在评估术中视频分析用于评价外科培训医师认知性NTS的可行性、效度及教育应用价值。研究将于苏格兰一家三级教学医院开展单中心、纵向、观察性队列研究。符合条件的培训医师在实施腹腔镜阑尾切除术和胆囊切除术时,将接受手术视野与手术室(operating room,OR)环境的同步视频采集。研究将采用外科医师非技术技能(Non-Technical Skills for Surgeons,NOTSS)框架对NTS进行评分。通过视频标注生成反映认知过程的指标,并将其与NOTSS评分进行相关分析。研究还将向培训医师提供包含视频衍生指标的个体化反馈报告,并通过培训医师与带教者问卷评估这些报告的可接受性及感知教育效用。统计分析将包括评定者间一致性、相关分析及受试者工作特征(receiver operating characteristic,ROC)分析。本研究已获得正式伦理批准。研究结果将通过学术会议及同行评议论文发表进行传播。
本文发表于《Journal of Surgical Protocols and Research Methodologies》,是一项围绕外科培训中认知性非技术技能(non-technical skills,NTS)客观评估展开的研究方案性先导研究。研究背景在于,安全外科实践不仅依赖操作技巧,还高度依赖情境感知(situation awareness)与决策制定(decision-making)等认知性NTS,而这类能力在不良事件复盘中经常被识别为关键影响因素。当前外科培训中对NTS的评估主要依赖带教医师、同事或同伴的主观意见。尽管这些反馈方式具有实践价值,但原文指出,现有评估方式存在工具使用不规范、评估未被直接观察完成以及偏倚显著等问题,因此难以稳定地界定受训者的客观胜任力。与此同时,数据驱动外科(data-driven surgery)的发展为更客观、更可重复的技能评估提供了可能。术中视频作为一种尚未被充分利用的数据模态,已广泛用于教学,但主要聚焦于技术技能分析;相较之下,其在NTS尤其是认知性NTS评估中的应用仍明显不足。基于技术行为与NTS之间存在关联,研究人员提出,可从手术视野中的动作、步骤与时空模式中提取代理指标,用以反映外科医师底层认知过程。基于此,本文的核心目标是验证:仅依据手术视野衍生的视频指标,是否能够作为受训者决策制定与情境感知水平的有效代理测量。
研究人员设计了一项单中心、纵向、观察性队列研究,在苏格兰一家三级教学医院的真实手术环境中实施。研究纳入各层级普通外科培训医师,包括正式培训岗位与非培训岗位人员;病例来源于住院患者名单,纳入拟接受因疑似急性阑尾炎而行诊断性腹腔镜检查并最终实施阑尾切除术者,以及接受腹腔镜胆囊切除术者。患者与培训医师均需知情同意。研究同时收集受训者人口学与培训背景信息,以及患者术前背景和30 d结局信息,以辅助病例情境化分析。所有符合条件的手术均进行双模态视频采集,即同时记录手术视野与手术室整体环境。研究的首要目的,是将由整间OR团队视频所获得的专家NOTSS评分作为参照,检验基于手术视野事件衍生指标对认知性NTS的测量效度。次要目的包括:检验在腹腔镜阑尾切除术中具有预测价值的指标,能否迁移至腹腔镜胆囊切除术;探索仅凭手术视野视频与整间OR团队视频对决策制定和情境感知评分之间的关系;并评估培训医师和带教者对视频衍生NTS反馈指标的可接受性与感知教育价值。
研究采用的关键技术方法主要包括:在单中心真实世界手术队列中,对腹腔镜阑尾切除术和腹腔镜胆囊切除术同步采集手术视野与OR团队视频;应用DartFish Pro S进行视频时序与空间标注,提取手势、动作、目标、器械及手术阶段等变量,并结合阑尾炎严重度评分和Parkland胆囊炎分级进行复杂度校正;由受过训练的外科评估者采用NOTSS框架对视频进行双人独立评分;通过相关分析、组内相关系数(intraclass correlation coefficient,ICC)及ROC分析,验证视频衍生指标与认知性NTS之间的收敛效度、预测能力和评分一致性,并以问卷描述性分析及自由文本主题分析评估教育效用。
在研究结果部分,原文作为研究方案,主要报告的是预设研究设计、分析框架与预期输出,而非实证数据结果。因此,对“结果”的解读必须严格限定在原文已明确提出的研究内容与拟验证路径之内。
Primary study objective
研究的主要研究目标是收集效度证据,证明基于手术视野的视频衍生指标能够准确测量接受腹腔镜阑尾切除术和胆囊切除术训练者的决策制定与情境感知能力。研究人员拟通过与来源于整间OR团队视频的专家评分进行比较来实现这一目标。换言之,研究并非直接将视频指标视为既定有效工具,而是通过参照NOTSS评分来验证这些指标是否能够作为认知性NTS的代理测量。
Secondary study objectives
次要目标包括三个层面。其一,研究人员拟验证在腹腔镜阑尾切除术中识别出的、可预测决策制定与情境感知的指标,是否同样适用于腹腔镜胆囊切除术,以考察指标的跨术式适用性。其二,研究拟探索基于手术视野视频与基于整间OR团队视频所得决策制定和情境感知评分之间的关系,以明确两种视频模态在认知性NTS评估中的一致程度。其三,研究将评价培训医师与培训者对视频衍生NTS指标的接受度及其感知教育价值,从而判断该方法是否具有实际反馈应用前景。
Participants
在参与者设计方面,研究纳入普通外科不同层级培训医师,并要求书面知情同意。患者方面,纳入接受相关腹腔镜手术的住院病例,排除无法提供知情同意者及拟行开放手术者。研究通过收集培训经历、病例量、监督级别、Level 4程序化评估数量、患者ASA分级及30 d随访信息等内容,为后续分析提供背景变量。这一设计说明研究人员认识到,认知性NTS的表现可能受到受训者经验水平与病例复杂度共同影响,因此在效度验证时需要充分情境化。
Video capture
视频采集部分显示,研究采用Rods & Cones平台进行多视频源无线同步采集。OR环境摄像头记录团队环境及音频,腹腔镜画面直接提取手术视野。视频自麻醉完成且铺单后开始,以维持患者匿名性。另设备用采集方案应对技术故障。该部分表明研究特别重视真实场景中的实施可行性与数据完整性,这也是其“先导性研究”定位的重要组成部分。
Video annotation and metric derivation
在视频标注与指标提取方面,研究人员使用DartFish Pro S对手术视野视频进行时序和空间双重标注,标注内容包括手势、动作、目标、器械与手术阶段。阑尾切除术的阶段定义参照已发表的认知任务分析,胆囊切除术则参照既往数据集定义。研究还对病例复杂度进行分级,包括阑尾炎严重度评分与Parkland胆囊炎分级。随后从平台中提取未校正基础指标,如动作数量,并进一步基于研究团队既往在腹腔镜阑尾切除术中的工作构建反映NTS的衍生指标,例如“发生一次灵巧性变化前的平均动作数”。这一部分构成了全研究的技术核心,即尝试将可观察的操作行为模式映射为认知过程代理变量。
Assessment of non-technical skills
NTS评估采用NOTSS框架。整间OR团队视频用于四个维度评分:情境感知、决策制定、沟通与团队协作、领导力;而仅手术视野视频只评估决策制定与情境感知,因为其缺乏音频和术者全貌,不足以判断沟通与领导行为。每段视频由两名有外科背景且熟悉NOTSS的评估者独立评分,并通过延迟两周、随机顺序发送对应手术视野视频的方式降低回忆偏倚。评估者接受书面材料、示例视频、预评分校准及研究中期支持。该设计反映出研究人员试图在评分工具、评分者训练和偏倚控制方面建立较严谨的参照标准,以增强效度证据的可信性。
Delivery of video derived metrics
研究计划将视频衍生指标整理为个体化反馈报告反馈给培训医师。报告包括关键定量指标、病例间纵向趋势图及复杂度配对信息。反馈在研究期结束后应要求提供,且研究团队不会向第三方共享可识别数据。这一安排说明研究不仅关注方法学验证,也关注该方法在教育场景中的反馈潜力,但同时将正式师生评价互动排除在当前研究范围之外。
Evaluation of derived metrics
在教育效用评估方面,所有参与培训医师和监督培训者将于查看反馈后完成干预后问卷。量化部分采用7点评分Likert量表,评估可接受性、效用和总体满意度;题项涉及清晰度、相关性、自我反思促进作用及对未来实践的感知影响。另设自由文本,收集对优势、局限与改进方向的看法。由此可见,研究并不将“有效测量”与“可被接受并用于教学”视为同一问题,而是分层次进行评价。
Sample size
样本量分析预先设定最低38例手术,每例产生两种视频条件。研究基于效应量f = 0.5、检验效能β = 0.85、显著性水平α = 0.05进行估算,并参考既往NOTSS研究与临床表现关联研究设定参数。这表明研究团队在方案阶段已对统计可行性进行初步论证。
Statistical analysis
统计分析方面,研究将依据数据分布选择Pearson相关或Spearman秩相关;采用ICC2评价手术视野与OR团队视频NOTSS评分的评定者间一致性,并按照poor、moderate、good、excellent标准解释。为实现研究目标,研究人员将使用相关分析和ROC分析评价视频衍生指标与整间OR团队NOTSS评分之间的收敛效度和对较高NOTSS表现的预测能力;以均值差、相关分析和ICC比较两类视频模态在决策制定和情境感知评分上的关系;对问卷结果进行描述性分析,并在适当情况下对自由文本实施主题分析。整体统计框架与研究问题具有较清晰的一一对应关系。
讨论部分可概括为:本文立足于外科教育与数据驱动外科交叉领域的一个关键空白,即认知性NTS缺乏可扩展、较客观且可重复的评估方式。研究通过将整间OR团队视频评分作为参照,探索从手术视野中推断情境感知与决策制定的可能性,试图建立从可见操作行为到潜在认知表现的证据链。如果研究能够证明手术视野衍生指标具有足够效度,并得到培训医师和培训者的接受,将为未来开发自动化视频分析工具提供重要依据,并推动NTS反馈由高度主观判断向量化、可追踪评价转变。与此同时,原文也明确限定了评估边界:仅凭手术视野无法评价沟通和领导力,因此该方法更适用于认知性NTS的特定维度,而非对全部NTS的替代。
结论部分可译为:本研究已获得正式伦理批准。研究结果将通过学术会议和同行评议发表进行传播。整体而言,本研究旨在评估术中视频分析在真实手术环境下用于评价外科培训医师认知性非技术技能的可行性、效度及教育应用价值,并为后续自动化评估工具的开发提供依据。