《Biomimetic Intelligence and Robotics》:LDS-Net: A DINOv2–SAM2 framework with LoRA adaptation for surgical instrument segmentation
编辑推荐:
手术器械分割是机器人辅助微创手术中的一项关键感知任务。然而,内窥镜手术场景常呈现复杂的外观变化和细长的铰接式器械结构,这导致语义模糊和边界预测不稳定。为应对这些挑战,研究人员提出LDS-Net,一种基于DINOv2–SAM2并通过LoRA驱动自适应的手术器械分
手术器械分割是机器人辅助微创手术中的一项关键感知任务。然而,内窥镜手术场景常呈现复杂的外观变化和细长的铰接式器械结构,这导致语义模糊和边界预测不稳定。为应对这些挑战,研究人员提出LDS-Net,一种基于DINOv2–SAM2并通过LoRA驱动自适应的手术器械分割框架。通过将低秩自适应(LoRA)嵌入自注意力层,该模型无需完全微调即可实现高效的域迁移。多尺度特征聚合策略增强了上下文建模,而冻结的SAM2模型提供类别无关的形状先验作为结构正则化,在不增加推理成本的前提下改善边界描绘。实验在MICCAI EndoVis 2017数据集和真实世界的脊柱内窥镜手术数据集上进行。该方法在EndoVis 2017的Binary分割任务中达到94.49%的mIoU,优于多个代表性分割网络。在经皮内窥镜腰椎间盘切除术数据集上,该框架进一步达到98.50%的mIoU,展现出在真实手术环境中的稳定性能。这些结果表明,所提方法有效提升了挑战性内窥镜场景中的分割精度和结构一致性,并为手术机器人系统中的视觉感知提供了实用解决方案。
**论文解读:LDS-Net——基于DINOv2–SAM2与LoRA自适应的手术器械分割框架**
**1. 研究背景与问题**
手术器械分割是内窥镜手术和手术机器人场景理解的基础环节,为器械跟踪、位姿估计、手术流程分析及增强现实引导等后续任务提供关键空间信息。然而,内窥镜图像常受镜面反射、烟雾、运动模糊、血液污染和频繁遮挡等复杂干扰,且器械本身具有细长、铰接式结构,在不同术式中外观差异显著,导致视觉信号模糊和边界预测不稳定。传统卷积神经网络(CNN)虽有广泛应用,但其有限的有效感受野难以建模长距离全局依赖,在器械与背景组织视觉混淆的复杂场景中容易产生误分类。尽管Transformer架构被引入医学图像分析,上述问题仍未完全解决。近来,视觉基础模型(VFMs)如DINOv2和SAM2展现出强大的表示与泛化能力,但直接部署大型分割基础模型面临巨大计算开销,且如何平衡细粒度边界定位与计算效率尚未充分探索。为此,研究人员提出LDS-Net,旨在通过参数高效自适应和结构正则化充分利用基础模型能力,实现稳健的器械分割。
**2. 研究内容与结论**
研究人员设计了一种全监督框架LDS-Net,集成DINOv2、低秩自适应(LoRA)、SE增强的ASPP模块和SAM2引导的一致性学习。DINOv2提供全局语义表示以降低镜面高光、烟雾、运动模糊和组织遮挡带来的歧义;LoRA在保持大部分参数冻结的同时实现预训练骨干网络对内窥镜图像的高效域适应;SE增强ASPP改进多尺度特征聚合,以应对细长和尺度多变的器械;SAM2仅在训练阶段使用,提供类别无关的结构先验,改善边界连续性和形状一致性。在MICCAI EndoVis 2017公开数据集和自建的真实脊柱内窥镜手术数据集(SESD)上的实验表明,LDS-Net在Binary、Part、Type三个分割任务上分别达到94.49%、74.15%、61.83%的mIoU,显著优于多种经典网络和SAM变体方法;在SESD上达到98.50%的mIoU和99.24%的Dice系数,并在真实手术视频序列上展现出对未见器械形态的泛化能力和帧间时空连续性。研究证实,融合基础模型的全局语义建模、参数高效微调与显式结构正则化能有效提升挑战性内窥镜场景的分割精度和结构一致性。
**3. 关键技术方法概述**
研究采用的主要技术包括:第一,基于DINOv2的骨干网络,通过将LoRA矩阵注入自注意力层的查询与值投影,实现参数高效域适应(仅更新少量低秩参数,大部分骨干参数冻结);第二,SE增强的ASPP模块,利用并行空洞卷积捕获多尺度上下文,并通过通道注意力机制自适应重标定特征;第三,SAM2引导的结构一致性学习,冻结的SAM2模型在训练时生成类别无关的二值结构先验掩码,与网络预测的前景概率图计算一致性损失,作为几何正则项;第四,总损失由交叉熵损失、Dice损失和加权一致性损失组成。样本来源包括MICCAI EndoVis 2017官方挑战赛数据集(10个da Vinci手术视频序列,共300帧标注图像)和北京大学人民医院回顾性收集的脊柱内窥镜手术影像构建的SESD数据集(2429帧像素级标注图像)。
**4. 研究结果**
**4.1 与EndoVis 2017挑战赛团队的比较**
在官方评估协议下,LDS-Net在Binary分割中取得94.49%的mIoU,超过所有参赛团队,相比最强基线(MIT团队88.9%)提升5.6个百分点;在Part分割中取得74.15%的mIoU,在Type分割中取得61.83%的mIoU,均优于已报告的全部方法,表明框架在细粒度结构与类别判别上具有优势。
**4.2 与经典分割网络的比较**
与U-Net、TernausNet-11、LinkNet、ICNet、PSPNet等代表性卷积网络相比(相同实验条件下),LDS-Net在Binary分割中mIoU达94.49%(Dice 97.10%),优于最强基线LinkNet(82.36%/88.87%)12.13个百分点;在Part分割中mIoU达74.15%,优于TernausNet-11(62.23%)11.92个百分点;在Type分割中mIoU达61.83%,而经典方法仅为15.80%–34.61%。任务复杂度越高,性能优势越明显,定性结果也显示LDS-Net产生的掩码空间连续性更好、边界对齐更精准。
**4.3 与SAM-based方法的比较**
在Type分割任务中,LDS-Net的mIoU(61.83%)超过PerSAM(42.47%)、PerSAM Fine-Tune(41.90%)、Surgical SAM2(54.55%)和SAM2(56.39%),说明将SAM2作为结构先验而非直接推理分支更能有效提升复杂类别分割性能。
**4.4 消融研究**
逐步加入SE增强ASPP、LoRA和SAM2引导组件:仅用DINOv2时Binary、Part、Type的mIoU分别为91.64%、70.75%、58.33%;加入SE-ASPP后提升至93.10%、73.01%、60.01%;再加LoRA后提升至93.43%、73.83%、60.55%;最终加入SAM2结构引导后达到94.49%、74.15%、61.83%。结果表明LoRA主要贡献语义域适应,SAM2提供互补的结构正则化。λ敏感性分析显示,λ=0.2时各项指标最优,过大或过小均导致性能下降,说明需平衡结构约束与语义学习。
**4.5 在SESD真实手术视频数据集上的评估**
在自建SESD上,完整LDS-Net达到98.50%的mIoU和99.24%的Dice,各组件同样带来递进式提升。说明框架能有效泛化到不同采集设备和手术环境的真实脊柱内窥镜影像。
**4.6 真实手术序列的视频推理**
将训练好的模型直接应用于完整的内窥镜视频序列(无额外微调),对训练中未见的咬合钳和分离器器械依然能生成几何结构连贯的预测掩码,相邻帧间边界平滑过渡,无明显形状断裂或整体位移,体现良好的时空连续性和形态泛化能力。
**5. 讨论总结与研究结论**
**讨论部分要点**:LDS-Net通过融合基础模型语义建模与显式结构正则化,在复杂手术场景中同时提升了语义判别和几何一致性。实验显示,随着任务复杂度提高,CNN模型性能下降明显,而LDS-Net保持稳定,表明增益源于表示建模差异而非简单的容量增加。LoRA和SAM2分别从语义适应和结构约束两方面发挥协同作用;在SESD上的结果验证了跨设备、跨环境的泛化性。局限性方面,SESD为单中心回顾性数据,多样性有限,未来需多中心研究并扩充数据规模。
**研究结论(翻译)**:总之,LDS-Net证明将基于基础模型的全局语义建模与参数高效域适应及结构正则化相结合,能够显著提升具有挑战性的内窥镜环境中的分割性能。这些发现展示了利用大规模视觉基础模型进行医学内窥镜分割的潜力,并强调了语义表示学习与显式结构约束相结合的重要性。所提框架可为未来智能手术视觉系统和机器人感知应用提供有用的技术支持。