基于YOLOv11的计算机视觉模型在外科手术器械自动检测与计数中的应用研究

《Surgical Innovation》：Automatic Detection and Counting of Surgical Instruments in Surgery Using AI-Based Computer Vision Model

　　

摘要 引言：在外科手术过程中对手术器械进行计数对于确保患者安全至关重要。本研究的目标是开发一种基于机器学习（Machine Learning）的计算机视觉（Computer Vision, CV）算法，以创建一个可靠、自动化的手术器械计数辅助系统。研究人员假设，基于YOLO（You Only Look Once）模型的机器学习算法能够有效对手术视频中的器械进行计数，并为手术团队提供实时反馈。 方法：YOLO是一种基于卷积神经网络（Convolutional Neural Network, CNN）的实时目标检测算法。为训练该模型，研究人员在模拟环境中录制了100分钟的开腹手术视频，其中包括600次器械传递事件。此外，研究人员收集了6种不同手术器械的500张图像，并从在线手术视频中获取了另外500张图像。所有图像均由人类专家进行标注，以标记器械的名称和位置。80%的数据用于模型训练，20%用于验证。训练后的YOLO模型在一个新的手术视频中进行了测试，用于计数手术器械。 结果：该模型在器械检测和计数方面达到了令人满意的准确率。在一次验证中，模型展示了72.7%的成功率。此外，在定义的感兴趣区域（Region of Interest, ROI）内，模型对大尺寸器械的分类效果优于对小尺寸器械（如小型止血钳和缝针）的分类。 结论：基于YOLOv11的计算机视觉模型能够在模拟开放手术环境中的预定义感兴趣区域内准确地检测和计数手术器械。未来的研究应侧重于改进对小尺寸器械的检测，并在真实手术室环境中验证该系统。

论文解读：基于YOLOv11的计算机视觉模型在外科手术器械自动检测与计数中的应用

一、研究背景与目的

在外科手术中，精确清点手术器械是保障患者安全、防止手术物品遗留（Retained Surgical Items, RSIs）的关键环节。RSI是指手术后无意中遗留在患者体内的手术器械或材料，其发生率约为每10，000例手术中出现1.3例，在涉及体腔的手术中更为显著。RSI会导致严重的临床后果，如术后并发症、非计划再手术、住院时间延长、医疗法律风险及医疗成本增加。

传统的器械清点依赖护士手动完成，但这种方式易受沟通不畅、时间压力、任务冲突和环境干扰等人为因素影响，错误率较高。尽管已有诸多努力，RSI问题依然存在，尤其在急诊腹部手术中，其发生率可高达1/700。因此，亟需创新的方法来预防RSI，确保手术安全。

为解决此问题，已有一些技术尝试。射频识别（Radio Frequency Identification, RFID）技术通过在器械中嵌入标签并使用扫描仪读取信号来实现追踪，但其缺点在于需要使用专用标签和扫描设备，会改变标准手术流程，且对于一次性耗材成本过高。此外，当一个器械附着于另一个器械（如持针器夹持缝合针）时，RFID的准确识别也会受到挑战。另一种方法是计算机辅助检测（Computer-Aided Detection, CAD），即通过深度学习算法分析术后放射影像来检测潜在的RSI，但这属于事后检测，无法在手术过程中实时监测器械。

近期研究表明，利用基于深度学习的计算机视觉技术自动化检测手术器械是可行的。然而，现有工作多基于静态图像而非真实或模拟手术的视频分析。由于实际手术中器械的传递、重新定位和角度变化是一个动态过程，基于图像的模型难以实现实时检测与计数。因此，迫切需要一种基于视频、非接触式的实时器械检测与计数系统，以精确追踪进出手术部位的器械。YOLO（You Only Look Once）等先进人工智能模型的发展为此提供了契机。

本研究旨在创建一种基于YOLOv11的计算机视觉模型训练方法，用于在模拟开放手术中检测和计数手术器械，并通过新的测试试验检验其有效性。研究人员期望，经过标注图像和视频片段训练后，该模型能在预定义的感兴趣区域（Region of Interest, ROI）内准确识别和计数器械。本研究提供了一个模拟开放手术视频数据集，并对器械传递场景下的识别和计数性能进行了初步实验评估，同时将缝针和布巾钳作为独立的检测类别进行评估。

二、关键技术方法

1. 1.
   数据采集与准备：研究人员搭建了一个模拟开放手术环境，包括一个人体模型和一个器械放置台。使用一台4K摄像机从俯视角度拍摄，录制了约100分钟的模拟手术视频，包含超过600次器械传递事件。视频分为四种场景：器械有序摆放、无序堆叠、止血钳数量变化与移动、以及器械咬合小物件（如缝针）。此外，还从多角度拍摄了500张照片，并从网络获取了500张图像作为补充训练数据。所有图像由训练有素的实验者使用Roboflow平台进行标注，并由外科专家复核，标注内容包括器械类别和边界框（bounding box）。数据集按80%训练、20%验证的比例划分，另有2891帧视频帧作为独立的评估子集用于评估计数性能。
2. 2.
   模型选择与训练：选用YOLOv11作为目标检测模型。该模型能将目标定位与分类统一在一个检测器中，适合视频中的动态物体检测。研究采用迁移学习（Transfer Learning）策略，在预训练的YOLOv11网络上针对六类手术器械（剪刀、止血钳、缝针、布巾钳、镊子和持针器）进行预测。所有图像被调整为960×960像素的标准分辨率，并应用了平移、裁剪、亮度调整、噪声添加、旋转、翻转和马赛克增强等数据增强技术以防止过拟合。模型在两个NVIDIA RTX 4090 GPU上训练了300个周期，批次大小为16，使用随机梯度下降优化器，初始学习率为0.005。
3. 3.
   模型验证与ROI计数评估：模型性能通过精确率（Precision）、召回率（Recall）、F1分数、平均精度均值（mean Average Precision, mAP）和混淆矩阵（Confusion Matrix）进行评估。之后，研究人员创建了一个独立的计数程序。该程序定义了器械放置台所在的感兴趣区域（ROI）。在视频分析中，程序首先应用训练好的YOLOv11模型检测每一帧中的器械，然后确定每个检测到器械的边界框中心点。只有中心点位于ROI内的器械才被计入器械台上的数量。模型生成的计数与人工计数进行比较，并根据完全正确、总数正确但标签错误、漏检和额外检测或混合错误进行分类。

三、研究结果

1. YOLOv11检测性能

• •
  模型在所有器械类别上的平均mAP@0.5得分为0.926，表明其在模拟开放手术环境中具有强大的目标检测性能。
• •
  各类别平均精度（Average Precision, AP）得分显示：布巾钳和镊子最高（AP=0.972），其次是剪刀（AP=0.971）和持针器（AP=0.937），止血钳略低（AP=0.920），而缝针最低（AP=0.787）。
• •
  基于F1-置信度曲线，模型在置信度阈值为0.547时达到最佳F1分数0.88。
• •
  归一化混淆矩阵显示，剪刀的分类表现最强（0.98），其次是镊子（0.91）、止血钳（0.90）、持针器（0.86），而布巾钳（0.84）和缝针（0.73）的分类性能相对较低。这表明尺寸较小或不明显的器械更难分类。

2. ROI计数性能

• •
  在2891个测试帧中，有2743帧（94.88%）的器械总数与人工计数匹配（无论类别标签是否正确）。
• •
  其中，计数和类别标签均正确的帧数为2102帧，总体准确率为72.7%。
• •
  结果表明，ROI计数程序能在大多数测试帧中准确估计器械台上的器械数量，但计数准确性可能受到器械重叠、移动和遮挡等因素的影响。

四、讨论与结论

本研究表明，基于YOLOv11的计算机视觉模型在模拟开放手术环境中进行器械检测和ROI计数是可行的。模型取得了良好的检测性能，ROI计数系统也显示出潜力，在超过70%的测试帧中与人工计数一致。然而，计数任务的难度高于单纯的检测任务，因为一次漏检就可能导致计数错误。模型对大型、形状独特的器械（如持针器、剪刀）检测效果好，而对小尺寸器械（如缝针）的检测面临挑战，这主要是由于其像素占比小且对照明敏感。部分遮挡也会降低计数准确性。

研究存在若干局限性：模拟环境与真实手术室存在差异；模型对小器械检测性能不足；未评估其他重要物品（如纱布）；模型独立处理每一帧，未利用时间序列信息进行跨帧追踪。未来研究应聚焦于改进对小器械的检测、在真实手术室环境中验证系统，并解决临床应用相关的实践、伦理和监管挑战。

研究结论：基于YOLOv11的计算机视觉模型能够在模拟开放手术环境中的预定义感兴趣区域内准确地检测和计数手术器械。虽然较大器械的检测性能最强，而小物体（如缝针）的性能较低，但总体结果凸显了计算机视觉技术在辅助手术器械检测与计数方面的潜力。