在微创手术中，使用基于YOLO和R-CNN的模型来检测和跟踪纱布海绵

《Medical & Biological Engineering & Computing》：Detection and tracking of a gauze sponge in minimally invasive surgery using a YOLO and R-CNN based model

纱布遗留监测|目标检测算法|Faster R-CNN|实时追踪系统|手术安全

　　

摘要

纱布海绵是手术中遗留物品中最常见的一种。寻找丢失的纱布海绵所需的时间会增加麻醉风险，并导致下一次手术的延迟。在微创手术中，数字相机可以记录手术过程中的屏幕上所有物体。本研究旨在比较现代的物体检测方法，并提出一种纱布跟踪模型，以检测和追踪手术视频中纱布海绵的位置。该模型包括一个检测模块和一个调节模块。检测模块中使用的方法包括YOLO系列和基于不同神经网络的faster R-CNN。调节模块的设计目的是减少误检情况。该模型能够检测到纱布，并将整个视频转换为时间线，以显示纱布出现在屏幕上的时间段。时间线与人工标注进行了逐帧比对。基于ResNet101-FPN神经网络的faster R-CNN的表现优于其他方法。添加调节模块后，准确率和F1分数分别提高到了0.94和0.862。该模型使用真实手术视频进行了训练和测试，模型识别出的纱布海绵位置与人工标注结果一致。这些结果为手术过程中实现实时纱布跟踪提供了有力支持，该模型能够为外科医生提供关键信息，帮助他们找到丢失的纱布海绵。

图形摘要

纱布海绵是手术中遗留物品中最常见的一种。寻找丢失的纱布海绵所需的时间会增加麻醉风险，并导致下一次手术的延迟。在微创手术中，数字相机可以记录手术过程中的屏幕上所有物体。本研究旨在比较现代的物体检测方法，并提出一种纱布跟踪模型，以检测和追踪手术视频中纱布海绵的位置。该模型包括一个检测模块和一个调节模块。检测模块中使用的方法包括YOLO系列和基于不同神经网络的faster R-CNN。调节模块的设计目的是减少误检情况。该模型能够检测到纱布，并将整个视频转换为时间线，以显示纱布出现在屏幕上的时间段。时间线与人工标注进行了逐帧比对。基于ResNet101-FPN神经网络的faster R-CNN的表现优于其他方法。添加调节模块后，准确率和F1分数分别提高到了0.94和0.862。该模型使用真实手术视频进行了训练和测试，模型识别出的纱布海绵位置与人工标注结果一致。这些结果为手术过程中实现实时纱布跟踪提供了有力支持，该模型能够为外科医生提供关键信息，帮助他们找到丢失的纱布海绵。

图形摘要