用于Surgomics的外科工作流程分析以及基于上下文的辅助技术在机器人辅助微创食管切除术（RAMIE）中的应用：一项回顾性、单臂、多中心注释和机器学习研究

《European Journal of Surgical Oncology》：Surgical workflow analysis for Surgomics and context-aware assistance in robot-assisted minimally invasive esophagectomy (RAMIE): a retrospective, single-arm, multicenter annotation and machine learning study

本研究通过文献分析、现场观察和专家访谈，构建了机器人辅助微创食管切除术（RAMIE）的标准化工作流程模型，包含10个阶段和60个步骤。通过手术直播检查清单验证了模型的可操作性，并在三个学术中心的多中心视频中训练测试了机器学习模型识别各阶段，准确率达87.2%，最佳中心达91.9%。结果显示模型能有效提升手术流程管理，但各中心手术阶段时长存在显著差异，ML模型仍表现出良好泛化能力。

　　

Johanna M. Brandenburg|André Schulze|Alexander C. Jenke|Nithya Bhasker|Noelle Bleser|Denise Junger|Antonia Stern|Dominik Rivoir|Hamid Naderi|Fleur Fritz-Kebede|Oliver Burgert|Lena Maier-Hein|Lars Mündermann|Sebastian Bodenstedt|Stefanie Speidel|Vladimir J. Lozanovski|Peter P. Grimminger|Adrian Billeter|Rosa Klotz|Jürgen Weitz|Martin Wagner

德国海德堡大学医院普通外科、内脏外科与移植外科系

摘要

引言

机器人辅助的微创食管切除术（RAMIE）是一项复杂的手术，可以从工作流程分析中受益，以获得基于上下文的辅助和外科数据科学的支持。本研究旨在对RAMIE的工作流程进行建模，验证该工作流程模型在手术室（OR）中的适用性，并利用视频数据和机器学习（ML）的自动化工作流程分析，对其在三个学术中心的普适性进行回顾性评估。

方法

基于现有文献、参与式手术室观察以及专家访谈，开发了一个RAMIE工作流程模型。该模型被形式化为一个检查表工具，用于实时记录手术室中的工作流程。为了研究工作流程模型的普适性，对来自三个不同学术医院的36个RAMIE手术视频中的手术阶段进行了回顾性标注。基于这些数据集，训练并测试了一个ML模型，并进行了六折交叉验证。

结果

确定了RAMIE的十个手术阶段和60个相关步骤。通过手术室中的实时记录验证了工作流程模型的适用性。多中心视频标注显示，所有十个RAMIE阶段的持续时间存在显著的机构间差异。用于自动阶段识别的ML模型在所有视频中的准确率为0.872 ± 0.091，f1分数为0.872 ± 0.082。表现最好的中心的平均准确率为0.919 ± 0.036。

结论

RAMIE工作流程已在回顾性多中心环境中成功建模并得到验证。尽管不同手术中心之间阶段持续时间存在较大差异，但基于ML的阶段识别取得了非常有希望的结果。

章节摘录

引言

复杂外科手术的成功不仅取决于技术能力（如外科技能[1]），还取决于外科团队成员之间的精确协调和沟通。因此，这些互动以及作为高风险环境的手术室本身都需要深入研究[2]、[3]。外科工作流程分析可以提高手术室的效率和安全性，并有望在手术过程中提供基于上下文的实时信息。

方法

在本手稿中，“(RAMIE)工作流程模型”指的是RAMIE手术的正式明确规范，而“ML模型”指的是用于自动阶段识别的机器学习算法。我们的方法论遵循了DECIDE-AI报告指南中关于人工智能（AI）驱动决策支持系统早期临床评估的适用部分[18]，特别强调了全面的数据描述和精确的ML方法。

RAMIE工作流程模型

共确定了10个手术阶段（表1）和60个相关步骤（附录A.1）。在这60个步骤中，57个是必做的，3个是可选的（如腹部粘连的剥离、胆囊切除术、第5阶段的引流管插入）。此外，在60个步骤中，有8个步骤在手术视频中不可见，4个步骤仅在某些情况下可见。对于18个步骤，需要特定的程序知识，例如如何执行这些步骤的指示。

迈向基于上下文的辅助

我们的工作流程模型基于之前的RAMIE/食管切除术工作流程模型[13]、[14]，包括十个手术阶段和60个步骤。该工作流程模型被整合到一个检查表工具中，用于术中实时记录，证明了其在具有挑战性的手术室条件下的可行性。通过结构化的检查表实现实时工作流程记录是一种有前景的策略，可以弥合程序安全工具与常规外科实践之间的差距。

结论

在这项研究中，我们提出了一个全面的RAMIE手术工作流程模型，并使用三个学术手术中心的视频数据训练和测试了一个用于自动阶段识别的ML模型。通过手术中使用检查表工具进行的手动实时记录验证了工作流程模型的有效性。基于三个手术中心的视频标注对工作流程阶段进行了多中心回顾性验证，结果显示阶段持续时间存在统计学上的显著差异。

披露

A. Stern和L. Mündermann是KARL STORZ SE & Co. KG的雇员。M. Wagner、R. Klotz、S. Bodenstedt、B. P. Müller-Stich、M. Distler和S. Speidel是Surgomics项目的负责人，该项目由德国联邦卫生部资助（项目编号2520DAT82），KARL STORZ SE & Co. KG是项目合作伙伴。M. Distler、L. Maier-Hein、S. Speidel、S. Bodenstedt、R. Klotz和M. Wagner是Surgical AI Hub Germany项目的合作伙伴，该项目也得到了

作者致谢

M. Wagner、B. P. Müller-Stich、M. Distler、J. Weitz、R. Klotz、A. Billeter、P. P. Grimminger、S. Speidel、L. Maier-Hein、L. Mündermann和F. Fritz-Kebede构思了这项研究。M. Wagner和J. M. Brandenburg设计了研究。J. M. Brandenburg、A. Schulze、N. Bleser、D. Junger、A. Billeter、V. J. Lozanovski、R. Klotz、B. P. Müller-Stich、J. Weitz、P. P. Grimminger和M. Distler参与了数据收集。数据及算法的质量控制由J. M.负责。

资金信息

本项工作得到了德国联邦卫生部（BMG）在“Surgomics”项目（项目编号BMG 2520DAT82）下的资助，得到了德国研究基金会（DFG, Deutsche Forschungsgemeinschaft）作为德国卓越战略——EXC 2050/1的一部分的资助——项目编号390696704——德累斯顿工业大学“具有用户反馈的触觉互联网”（CeTI）卓越集群的资助，以及海德堡国家肿瘤疾病中心在癌症治疗计划“Data”下的资助。

致谢

开放获取资金的提供和组织由Projekt DEAL负责。本项工作还得到了德国联邦卫生部（BMG）在“Surgomics”项目（项目编号BMG 2520DAT82）下的资助；得到了德国研究基金会（DFG, Deutsche Forschungsgemeinschaft）作为德国卓越战略——EXC 2050/1的一部分的资助——项目编号390696704——德累斯顿工业大学“具有用户反馈的触觉互联网”（CeTI）卓越集群的资助；以及海德堡国家肿瘤疾病中心的资助。