在机器人手术中开发并验证一种外科工具识别与定位策略

《Journal of Robotic Surgery》：Development and validation of a surgical tool recognition and localization strategy in robotic surgeries

手术工具智能识别与定位策略研究在MICCAI和临床数据集验证，采用CSPNeXt骨干网络结合OSTrack伪标签与Kalman滤波数据融合，工具识别平均精度0.4669，双极夹等三类工具识别准确率超94%。

　　

摘要

背景

尽管机器人手术技术取得了快速进展，但智能物体识别和自主计算机辅助干预仍面临诸多限制。专为识别和定位手术工具尖端设计的算法在增强机器人手术系统与操作者之间的交互协作方面起着关键作用。在本研究中，我们的目标是制定一种能够有效识别和精确定位机器人手术中常用手术工具的策略。

方法

我们设计了一种物体检测策略，并在两个数据集上对其进行了验证。第一个数据集由医学图像计算与计算机辅助干预协会（MICCAI）提供，包含24,695个视频片段；第二个数据集来自我们临床中心的35个病例，共计392个视频片段和53,128张图像。我们的方法以CSPNeXt作为核心网络，结合OSTrack进行伪标记，并使用卡尔曼滤波进行数据融合。该模型可在GitHub上公开获取。

结果

在MICCAI测试集中，我们的策略平均精度达到0.4669。在第二个视频测试集中，七种手术工具的召回率（RR）和精确率（PR）分别介于79.36%至99.75%和57.65%至97.35%之间。双极钳、针驱动器和烧灼钩的召回率和精确率均超过了94%。

结论

我们成功开发并验证了一种有效的手术工具及其尖端识别策略。该策略在积极支持手术操作方面显示出潜力，并有望在未来算法训练中减轻操作者的工作负担。