基于窗口自适应非对称双分支孪生网络的单目内镜图像深度估计方法

【字体: 时间:2025年05月16日 来源:Scientific Reports 3.8

编辑推荐:

  针对传统内镜图像低纹理、光照不均等问题,研究人员开展单目医学内镜图像深度估计研究,提出基于窗口自适应非对称双分支孪生网络的方法。实验表明该方法在多数据集上性能优越,为临床应用提供新可能。

  
在医学微创手术中,内镜是医生观察体内结构的重要工具,但传统内镜图像常面临低纹理、光照不均匀等难题,严重影响手术精度与诊断准确性。如何从二维内镜图像中精准获取三维深度信息,成为提升微创手术安全性与效率的关键瓶颈。在此背景下,天津仁爱学院、河北工业大学等国内研究机构的学者开展了深入研究,相关成果发表于《Scientific Reports》。

研究团队提出一种基于窗口自适应非对称双分支孪生网络(Siamese Network)的单目医学内镜图像深度估计方法。该方法通过两个分支分别处理全局图像信息与局部细节,在分支末端引入改进的轻量级挤压激励(SE)模块,利用自注意力动态调整通道权重,并通过轻量级交叉注意力特征融合模块实现跨分支特征交互,增强网络的整体特征表达能力。研究采用多个公开数据集(包括医学数据集 EAD2019、Hamlyn、M2caiSeg、UCL 和非医学数据集 NYUDepthV2)进行实验,验证了方法的有效性。

关键技术方法


研究主要采用自监督学习框架,无需人工标注的深度标签,通过构建图像间的几何约束实现深度估计。网络架构包含全局分支与局部分支:全局分支使用较深卷积层和全局池化提取整体结构与光照信息,局部分支通过浅卷积层和可变形卷积捕捉纹理、边缘等细节。此外,引入窗口自适应机制,根据局部纹理和光照动态调整注意力窗口大小,并结合稀疏注意力(Sparse Attention)减少计算冗余。损失函数设计融合光度不变损失(Lphoto)、梯度损失(Lgrad)和可变形图像匹配损失(Ldeform),提升模型对复杂场景的适应性。

研究结果


消融实验


通过逐步移除网络组件(如单独使用全局或局部分支、调整卷积层数),验证了双分支结构的必要性。结果表明,同时使用全局与局部分支时,深度估计误差(如 RMSE、AbsRel)显著低于单分支模型,且随着卷积层数增加(1-3 层),模型精度逐步提升,但计算耗时也相应增加,需在精度与效率间权衡。

对比实验


与传统方法(如 DFF)和最新深度学习方法(如 IndoorDepth、MonoIndoor、DistDepth)相比,该方法在多个数据集上均表现出更优性能。例如,在 EAD2019 数据集上,RMSE 降低 4.56%,AbsRel 降低 2.38%;在 UCL 合成数据集上,RMSE 和 AbsRel 分别降低 6.16% 和 6.15%。定性结果显示,该方法生成的深度图边缘更清晰,对非刚性结构(如软组织)的深度刻画更准确。

临床应用验证


将深度估计结果与临床 CT 图像进行配准,结果表明该方法提取的深度特征与 CT 图像中的器官边界匹配良好,验证了其在医学影像融合与手术导航中的潜力。特别是在光照不均和低纹理区域,该方法仍能保持较高的深度估计精度,优于对比方法。

结论与讨论


本研究提出的窗口自适应非对称双分支孪生网络,有效解决了传统内镜图像深度估计中光照不均、纹理缺失和非刚性变形等挑战。通过全局 - 局部特征分离、自适应注意力机制和多损失函数优化,模型在精度与效率间取得平衡,且在跨数据集泛化能力上表现优异。与 CT 图像的配准实验进一步凸显了其临床转化价值,为微创手术导航、多模态影像融合等提供了新的技术路径。尽管在极复杂场景下仍有优化空间,但该方法为内镜图像的智能化分析奠定了基础,有望推动人工智能在精准医疗中的实际应用。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号