《Machine Learning with Applications》：Vision-based markerless surgical tool tracking in open surgery: A scoping review
编辑推荐：
摘要：手术结局取决于操作精度，因此器械追踪对于评估外科医生表现至关重要。基于传感器和标记的方法会引发灭菌和人因工程学问题，而基于视觉的无标记（markerless）方法能够直接从手术视频中进行追踪。然而，无标记器械追踪主要集中于微创手术（minimally i
摘要：手术结局取决于操作精度，因此器械追踪对于评估外科医生表现至关重要。基于传感器和标记的方法会引发灭菌和人因工程学问题，而基于视觉的无标记（markerless）方法能够直接从手术视频中进行追踪。然而，无标记器械追踪主要集中于微创手术（minimally invasive surgery），因为微创手术天然可获得视频采集，而开放手术（open surgery）并非如此。针对开放手术中无标记器械追踪，尤其是超出传统二维（2D）分析的运动追踪（motion tracking）与姿态估计（pose estimation），尚缺乏全面综述。为填补这一空白，研究人员遵循PRISMA-ScR指南开展范围综述（scoping review），检索五个数据库（PubMed、Web of Science、IEEE Xplore、Scopus和ACM Digital Library），纳入报告开放手术中无标记器械运动追踪或姿态估计的研究。在筛选的2084篇文章中，14篇被纳入综述。12项研究使用深度学习（DL），经典计算机视觉（CV）和DL-CV混合方法各在1项研究中使用。输出包括姿态估计（n=8）和运动追踪（n=6）。使用尸体模型的骨科手术常被报道（n=4），而技能评估和基础设施开发/基准测试是最常见应用（各n=6）。手术钻是被追踪最多的器械（n=6），大多数文章使用模拟数据集（n=10）。在14篇文章中，大多数算法依赖逐帧估计，提示时间动态可能未被充分利用。总体而言，开放手术中的无标记器械追踪仍处于早期阶段，研究主要集中于低保真体模（low-fidelity phantoms）和尸体模型。需要进一步研究以提高真实手术中的稳健性和适用性。
研究背景：手术结局依赖操作精度，手术器械追踪可用于培训、技能评估和手术导航。基于电磁、惯性或光学传感器及物理标记的追踪虽可提供较准确结果，但需在器械上附加传感器、反射球、基准标记或颜色标签，带来器械笨重、灭菌、流程干扰、人因工程和患者安全等问题。基于视觉的无标记手术器械追踪（markerless surgical tool tracking）利用形状、纹理、运动与场景上下文直接从视频中推断器械状态，具有避免物理标记的潜力。然而，该方向主要集中于微创手术，因内镜/腹腔镜视频天然可得且场景相对受限；开放手术中器械常被手、助手、组织或设备遮挡，操作自由度高、运动模式复杂、视点快速变化，且缺乏公开标注数据，导致开放手术中的无标记追踪研究明显不足。既有综述多聚焦微创手术、非光学追踪或更广义的视频分析，尚缺乏专门针对开放手术中运动追踪与姿态估计（pose estimation）等超出传统二维（2D）分析的综合综述。因此，研究人员开展本范围综述（scoping review），系统分析临床应用、成像方式、预处理流程、算法方法、输出表示和评估方法。研究纳入14篇文献，发现深度学习（DL）是主流方法，输出以姿态估计（n=8）和运动追踪（n=6）为主，骨科尸体模型和手术钻最常见，模拟数据集占多数，且多数算法依赖逐帧估计。研究结论为开放手术无标记器械追踪仍处早期，主要基于低保真体模和尸体模型，需提升真实手术中的稳健性和适用性。其意义在于首次系统梳理该领域，提供技术分析、趋势识别、局限总结和未来研究方向建议。
方法概述：研究人员遵循PRISMA-ScR指南，检索PubMed、Web of Science、IEEE Xplore、Scopus和ACM Digital Library五个数据库，并手工扫描相关原始研究和综述参考文献；初始识别2626条记录，去重后2084条进入题名/摘要筛选，407篇全文评估，最终纳入14篇。两名评审独立完成筛选、全文评估和数据提取，分歧经讨论及第三名评审协商解决；提取手术专科、临床环境、研究目的、追踪器械、视点与采集设备、预处理、数据集、算法、输出、评估指标和性能等变量。由于研究异质性较大，未进行定量荟萃分析，而采用描述性和比较性综合。
研究结果：
3.1 开放手术应用（RQ1）：通过归纳14项研究的专科、临床环境和应用目标，发现开放手术无标记追踪涉及心胸外科、神经外科、脊柱外科、眼科、骨科和耳鼻喉科等，具体包括冠状动脉旁路移植中的静脉获取、微血管吻合、脊柱手术、白内障手术、骨钻钻孔和乳突切除术等；多数研究集中于使用人体尸体模型的骨科手术（n=4），其次为低保真体模的非特定手术（n=2）和活体眼科显微手术（n=2）；应用目标以培训与技能评估（n=6）及基础设施开发/基准测试（n=6）为主，手术导航仅2项；手术钻最常被追踪（n=6），其次为镊子、持针器、眼科针和螺丝刀等。
3.2 器械追踪数据（RQ2）
3.2.1 数据获取：视点、成像设备和数据维度：通过比较采集配置，发现视点分为自我中心（egocentric，n=2）、显微镜（microscopic，n=4）和外部（external，n=8）三类；显微镜研究均采集单目RGB视频，形成二维（2D）图像；外部视点包括常规RGB相机、Intel RealSense RGB-D相机和Azure Kinect系统，结合深度时可支持三维（3D）姿态估计；多数研究使用2D RGB数据（n=13），仅Hein等使用Azure Kinect与HoloLens 2组成的多视点系统获取3D RGB-D数据。
3.2.2 器械追踪类型：通过按处理流程主要输出分类，发现8项研究聚焦姿态估计，目标为估计器械位置和方向，通常以单目RGB、多视RGB或多视RGB-D数据获得6DoF姿态；6项研究产生2D运动追踪输出，通过跨帧关联器械尖端、质心或边界框形成时间轨迹；部分姿态研究还由序列姿态重建3D轨迹或用运动指标评价姿态流的时间稳定性。
3.2.3 数据集特征：通过比较数据来源，发现模拟数据集最常用（n=10），包括体模环境、尸体操作、渲染虚拟场景或合成图像；真实临床数据集主要限于显微镜引导的白内障手术和乳突切除术等显微手术，视觉复杂性更高；仅Spektor等明确采用混合数据集策略以弥合模拟与真实手术环境差异；合成渲染和域随机化被用于增加训练样本并减少标注需求。
3.2.4 预处理流程：通过归纳各流程，发现预处理通常先将视频序列拆分为单帧；RGB流程包括图像缩放与归一化、降采样、感兴趣区域（ROI）裁剪、以器械为中心的图像块提取，以及翻转、旋转、亮度变化等增强；显微镜研究常生成以尖端为中心的ROI，并用校准参数将像素距离转换为物理测量；经典CV流程加入HSV颜色空间转换、阈值化、中值滤波和时间平滑；RGB-D多视系统需深度-RGB对齐、相机校准、多视配准和点云生成；合成与混合数据常采用域随机化。
3.3 算法、输出与性能（RQ3）
3.3.1 算法家族：通过按算法家族归类，发现12项研究使用深度学习（DL），1项使用经典计算机视觉（CV），1项使用经典CV与DL混合方法；DL 3D姿态估计有8项，包括基于对应关系的流程（关键点或2D-3D表面匹配后以PnP等几何求解器恢复6DoF）、直接回归模型、分割与姿态联合架构，以及Agethen等引入循环单元传播时空特征的多视姿态框架；DL 2D检测与分割多先输出边界框或分割掩膜，再提取运动轨迹或技能指标；经典CV依赖颜色阈值、形态学分割、兴趣点提取和光流；混合方法以DL提供关键帧定位、经典算法进行短期跟踪或姿态细化。
3.3.2 算法输出：通过按主要输出划分，发现8项研究输出姿态，包括3D 6DoF姿态或关节化3D配置，部分同时输出手部姿态；6项研究输出2D运动，形成图像空间轨迹，用于运动学分析、路径可视化和基于运动的性能表征；Hein等通过连接连续3D姿态估计获得物理空间轨迹，但因其模型主要输出逐帧姿态，仍归类为姿态估计。
3.3.3 算法性能评估：通过归纳评估指标，发现指标分为姿态指标和运动指标；姿态指标包括3D真值对齐的位置/顶点误差、方向/角度误差、重投影误差，以及2D检测/分割的平均精度（AP）、交并比（IoU）、Dice系数和像素级距离误差；运动指标包括均方根偏差（RMSD）、均方根角度偏差（RMSAD）等时间误差和检测率、路径相关性等跟踪一致性；由于评估样本量、数据划分、阈值、相机配置和实验真实性差异大，报告值应视为各研究情境下结果而非算法直接排名；运动追踪研究常以2D姿态指标评价逐帧定位，部分仅定性展示跟踪模块或以轨迹衍生运动学指标评价外科医生表现而非追踪精度。
讨论部分总结：讨论指出，2016至2026年间开放手术无标记器械追踪研究增多，2022年后兴趣上升；应用集中于骨科尸体手术中的骨钻和眼科白内障手术，与微创手术综述中更偏重缝合、打结等非特定任务不同；未发现动物模型研究，可能与伦理和公众认知有关；多数研究使用低保真体模或尸体模型，活体研究仅限可便捷获取显微镜视频的显微手术。数据获取挑战包括缺乏标注数据集、真实开放手术视频采集困难、灭菌导致相机距离增加、术者手/身体遮挡、患者隐私特征需去除或模糊、3D真值难以获得、视点与硬件限制、标注劳动密集以及开放手术视觉复杂性高。算法方面，经典与混合流程在受控条件下可实现稳定2D轨迹但依赖颜色对比和简单场景；DL 2D检测/分割在特定数据集上逐帧性能较高，但时间传播后出现漂移、碎片化和失败，尤其对小、低对比或间歇遮挡器械；DL 3D姿态估计中多视流程误差最低，单目流程性能变异较大，遮挡和杂乱场景下误差显著增加；多数流程仍为逐帧CNN或浅层经典跟踪，仅Agethen等直接学习时间建模并量化帧间时间误差；场景复杂度和器械多样性有限，多相机校准需求限制临床可复现性。评估挑战包括指标异质、缺乏开放手术统一基准、临床需求多在后验解释而非预先设定、跨数据集/跨中心测试少、失败模式和不确定性报告不足、时间行为表征薄弱。综述局限包括仅纳入英文文献、仅纳入报告定量追踪结果的研究、可能存在发表偏倚、未评估纳入研究质量。
研究结论翻译：无标记方法用于多种开放手术过程中的器械运动追踪和姿态估计近年来逐渐受到关注。在本范围综述中，研究人员强调了基于视觉的追踪方法在开放手术中的潜力，无需在手术器械上附加传感器或标记。器械追踪主要用于培训和技能评估目的。大多数工作利用深度学习（DL）产生姿态作为器械追踪的输出。然而，除显微手术外，此类追踪技术在活体开放手术环境中的临床转化仍未被充分探索。大多数工作使用低保真体模和尸体模型应用器械追踪。在活体传统开放手术中大规模实施无标记器械追踪仍不确定。进展受限于缺乏标注良好的真实开放手术数据集。与大多数聚焦于模拟环境中单一手术器械的研究不同，真实手术使用多种器械，并频繁被手、其他工具和周围解剖结构遮挡。因此，当前技术可被视为概念验证演示，而非可无缝采用于手术室中的稳健解决方案。为解决这一问题，需要发展数据采集方法并创建开放手术公开数据集。此外，尽管所有纳入研究都处理视频数据，只有一项纳入学习的时间建模。因此，时间算法在开放手术运动追踪和姿态估计中的益处仍在很大程度上未经检验，值得系统评估。此外，还需要标准化算法基准测试和验证方法，以准确衡量开放手术无标记器械追踪领域的进展。
