编辑推荐:
在腹腔镜和机器人手术中,精准工具实例分割对高级计算机辅助干预至关重要。现有公开数据集多缺乏全面标注且多源于猪手术。为此,研究人员开发 CholecInstanceSeg,含 41.9k 标注帧、64.4k 工具实例,可推动分割算法发展。
在现代医学领域,腹腔镜手术(MIS)因其创伤小、恢复快等优势备受青睐,但依赖内窥镜的间接视野导致外科医生难以精准解读复杂手术场景。计算机辅助干预技术虽能增强信息获取,却面临关键挑战 —— 如何在微创外科场景中实现手术工具的精准实例分割。这一任务对开发辅助手术技术及自主 / 半自主手术系统至关重要,然而现有公开的手术工具分割数据集存在诸多局限:多数聚焦于猪或离体手术,难以适用于日常临床;部分为多任务数据集,工具分割数据有限;还有仅提供单一工具类别的二进制实例分割,且普遍缺乏实例特定信息,标注分割掩码数量较少。
为填补这一空白,英国伦敦国王学院(Kings College London)与中国同济大学的研究人员开展了相关研究,开发并发布了 CholecInstanceSeg 数据集。该研究成果发表在《Scientific Data》,为手术工具实例分割领域提供了重要的数据支持。
研究人员主要采用了以下关键技术方法:数据来源于 Cholec80、CholecT50 和 CholecSeg8k 三个现有腹腔镜胆囊切除术数据集,共 85 个图像序列;标注协议明确了 7 类工具(抓钳 Grasper、双极钳 Bipolar、单极电钩 Hook、施夹器 Clipper、剪刀 Scissors、冲洗器 Irrigator、圈套器 Snare)的分类及标注范围,排除了 clips、手术针等无关实体;使用定制化的 Segment Anything Annotator 工具,结合点提示交互式分割与半自动标注流程(如利用 RTMDet-Ins-l 模型迭代训练生成标注);质量控制环节通过人工审核、标签一致性统计(如 Panoptic Quality 评分)及与 Cholec80 工具存在标签交叉验证等方式确保数据可靠性。
数据特征与技术验证
CholecInstanceSeg 包含 41,933 帧标注图像,覆盖 85 个手术视频,标注 64,483 个工具实例,分属 7 个工具类别。数据分区包括 Instance-CholecSeg8k(8,080 帧)、Instance-CholecT50-full(28,317 帧全标注)、Instance-CholecT50-sparse(2,681 帧稀疏标注)和 Instance-Cholec80-sparse(2,855 帧)。工具类别分布显示抓钳(Grasper)使用最频繁,圈套器(Snare)最少,约 1/8 帧无工具。
基线模型训练与评估
研究采用 Mask R-CNN 和 Mask2Former 两种基线实例分割模型进行验证。在 COCO mAP 指标中,Mask2Former 表现更优(整体 mAP 61.47),Hook 类因视觉特征明显精度最高(82.16),Scissors 类因样本少且检测难精度最低(27.89)。序列平均精度(smAP)显示模型在不同序列间性能存在差异,Scissors 类标准差最大,提示需增加数据多样性以提升模型泛化能力。
标注质量与一致性
标签一致性分析显示,人工标注者间 Panoptic Quality score 为 91.2,半自动与人工标注一致性达 95.7,表明标注流程可靠。质量控制通过检查多工具实例帧(修正 26 帧)、交叉验证 Cholec80 工具存在标签(识别 267 帧错误)及重叠实例 IoU 阈值(调整 247 帧)等步骤,进一步确保数据准确性。
研究结论与意义
CholecInstanceSeg 是目前最大的公开手术工具实例分割数据集,填补了现有临床数据不足的空白,其高质量标注和多样化场景为开发更鲁棒的实例分割算法提供了关键资源。该数据集可与 Cholec80、CholecT50 等现有数据集结合,支持手术阶段识别、工具动作检测等多任务研究,有望推动腹腔镜手术自动化与计算机辅助干预技术的发展,为提升微创手术的精准性和安全性奠定基础。未来研究可基于该数据集进一步优化模型,尤其是针对稀有工具类别和复杂手术场景的泛化能力,以加速其临床转化应用。