《Optics & Laser Technology》:Differential defocus–assisted metric depth estimation for monocular endoscopic imaging
编辑推荐:
•一种紧凑的单目内窥镜成像系统实现了单次拍摄双焦点图像采集。•一种空间自适应微分离焦测深(DfDD)模型补偿了由像场弯曲引起的离焦变化。•一种混合框架将稀疏的度量 DfDD 线索与稠密的基于学习的先验融合,用于度量深度重建。引言微创手术(MIS)因其显著优势,包括减少手术创伤
- •
一种紧凑的单目内窥镜成像系统实现了单次拍摄双焦点图像采集。
- •
一种空间自适应微分离焦测深(DfDD)模型补偿了由像场弯曲引起的离焦变化。
- •
一种混合框架将稀疏的度量 DfDD 线索与稠密的基于学习的先验融合,用于度量深度重建。
引言
微创手术(MIS)因其显著优势,包括减少手术创伤和加快术后恢复,已成为现代临床实践中的重要趋势 [1], [2]。作为获取术中信息的主要视觉模态,内窥镜在 MIS 中发挥着至关重要的作用 [3]。内窥镜成像的质量和维度直接影响临床医生评估病变特征、组织结构及其空间关系的能力。
然而,目前临床实践中使用的大多数内窥镜系统仍以单目为主,缺乏对场景深度、空间结构和真实度量尺度的直接访问 [4]。这一局限性可能会增加视觉误判的风险,并限制手术程序的精确性和效率。因此,各种 3D 内窥镜成像系统应运而生 [5]。在现有方法中,双目内窥镜成像系统被研究得最为广泛 [6], [7], [8]。它们基于立体视觉提供可靠的三维视觉信息。然而,这些系统需要两个相机和足够大的基线以产生足够的视差。因此,系统的前端成像部分变得笨重,难以满足 MIS 的尺寸约束 [9]。因此,单目内窥镜成像的深度估计引起了越来越多的研究兴趣。
近期的研究探讨了使用基于学习的方法对内窥镜图像进行单目深度估计 [10], [11], [12], [13], [14]。深度神经网络可以从单张图像预测稠密深度图,并在复杂场景中显示出令人前景的性能。然而,这些方法通常需要大规模数据集进行训练,而这类数据在内窥镜场景下难以获取。此外,预测的深度通常是相对的而非度量的 [15]。这导致尺度不一致,限制了其在定量分析中的适用性。因此,将物理可解释的约束引入单目内窥镜成像对于克服纯数据驱动方法的局限性至关重要。
离焦是深度感知的重要线索。它已被广泛应用于相机自动对焦系统 [16], [17],也被用于离焦测深(DfD)中的深度估计 [18], [19]。最近,微分离焦测深(DfDD)作为一种传统 DfD 方法的有效替代方案 emerged。DfDD 通过求解基于离焦差异变化引起的图像导数的闭式方程来估计深度 [20]。与纯基于学习的方法相比,DfDD 提供了基于物理的度量线索。然而,可靠的离焦线索主要集中在强纹理和边缘区域,这使得估计出的深度稀疏且不稳定。此外,现有的 DfD 和 DfDD 方法主要是针对自然场景开发的,并未明确考虑内窥镜成像中常见的像场依赖像差,特别是像场弯曲。这些局限性限制了它们在实际内窥镜场景中的直接应用。
在本工作中,我们提出了一种微分离焦辅助的混合框架,用于单目内窥镜成像中的稠密度量深度估计。我们首先开发了一种紧凑的单目内窥镜成像系统,该系统可在单次曝光内捕获双焦点图像,确保时间一致性并避免与序贯焦点采集相关的帧间不匹配。然后,我们引入了一种空间自适应 DfDD 模型,以考虑像场依赖的离焦变化,并在整个视场内更可靠地恢复稀疏度量深度。与此同时,采用基于学习的单目深度估计分支来提供稠密的结构先验。为了整合两个分支的互补优势,我们进一步设计了一种尺度融合和深度恢复策略,该策略使用 DfDD 分支提供的稀疏度量线索来指导基于学习分支预测的稠密相对深度的尺度恢复,从而实现稠密度量深度重建。我们在平面目标和物理内窥镜模型上的实验表明,与现有的基于离焦的方法和学习方法相比,所提出的方法实现了更准确和一致的度量深度估计。
我们的贡献总结如下:
- •
我们提出了一种紧凑的单目内窥镜成像系统,可在单次曝光内采集双焦点图像,为动态内窥镜场景中的时间一致微分离焦采集提供了一种简单且易于校准的硬件解决方案。
- •
我们提出了一种空间自适应 DfDD 模型,以解决内窥镜成像中由像场弯曲引起的像场依赖离焦变化,这有助于在整个视场内进行更可靠的稀疏度量深度估计。
- •
我们开发了一种用于稠密度量深度估计的混合框架,连接了基于物理的线索和基于学习的深度线索。具体来说,从 DfDD 分支恢复的稀疏度量深度用于指导基于学习分支预测的稠密相对深度的尺度恢复,在保持结构连续性的同时实现稠密度量深度重建。
- •
我们在平面目标和物理内窥镜模型上验证了所提出的方法,证明了其提高了度量深度精度,并实现了具有度量尺度一致性的结构连续深度重建。
章节摘要
3D 单目内窥镜成像系统
由于传统立体内窥镜的前端尺寸较大,它们在 MIS 中的适用性受到限制 [9]。为了解决这个问题,开发了单目双视场 3D(MDV3D)成像系统,以实现使用单个相机的深度估计 [21], [22]。这些方法通常利用光学元件的衍射 [23]、反射 [24] 或折射 [25] 特性来生成提供立体视觉信息的双虚拟相机。
根据采用的光学机制,
方法
我们提出了一种用于单目内窥镜成像中稠密度量深度估计的混合框架,该框架集成了基于物理的微分离焦线索与基于学习的稠密深度先验。如图 1 所示,我们首先设计了一种紧凑的单目内窥镜成像系统,该系统可在单次拍摄中捕获两幅具有不同离焦水平的图像。基于捕获的图像对,开发了一个 DfDD 分支,以从微分离焦中估计具有显式度量尺度的稀疏深度
实现
所提出的系统构建于配备分束器和两个相同图像传感器的单目内窥镜成像设置之上。光学系统焦距为 4.82 毫米,入瞳直径为 0.48 毫米,像空间数值孔径为 。两个传感器的分辨率均为 ,像素大小为 1.45 。两个传感器放置在不同的轴向位置,偏移量为 毫米以捕获双焦点图像。两个之间的轴向偏移
结论
在本文中,我们提出了一种紧凑的单目内窥镜成像系统和一种微分离焦辅助的混合框架,用于稠密度量深度估计。通过实现单次拍摄双焦点采集,所提出的系统为动态内窥镜成像提供了时间一致的微分离焦线索。所提出的框架结合了空间自适应 DfDD 模型与基于学习的深度估计,允许稀疏度量线索指导稠密相对深度的尺度恢复
CRediT 作者贡献声明
Chi Zhang:撰写 - 审阅与编辑,撰写 - 初稿,可视化,验证,软件,项目管理,方法论,调查,形式化分析,数据整理,概念化。Zhengyue Zhuge:撰写 - 审阅与编辑,可视化。Yueshen Liu:撰写 - 审阅与编辑,验证。Jiatong Li:撰写 - 审阅与编辑,验证。Shiqi Chen:验证,监督,资金获取。Yueting Chen:验证,监督。Zhihai Xu:监督,项目
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系,这些关系可能影响本文报告的工作。
致谢
本项目得到国家自然科学基金(编号:62405267)的支持。
Chi Zhang|Zhengyue Zhuge|Yueshen Liu|Jiatong Li|Shiqi Chen|Yueting Chen|Zhihai Xu|Qi Li