基于伪监督CRF深度估计的内窥镜单目深度估计框架：CRFDepth

《Scientific Reports》：Monocular depth estimation for endoscopic surgery using swin transformer and conditional random fields

　　

摘要

内窥镜手术中的单目深度估计具有挑战性，原因在于组织纹理微弱、光照不均匀、镜面反射以及频繁的烟雾或器械干扰。本文提出了一种用于内窥镜单目深度估计的伪监督框架——CRFDepth。Swin Transformer编码器能够在弱纹理条件下提取分层的全局特征。所提出的CRFDepth框架有效解决了内窥镜单目深度估计中的关键挑战，实现了更优的精度和鲁棒性。金字塔场景解析模块通过聚合多尺度上下文信息，提升了畸变区域的结构感知能力。NeWCRF解码器执行跨尺度结构化推理，用于边界优化和细节恢复。提出了一种范围感知损失函数，以稳定内窥镜窄深度范围内的优化过程。网络使用由双目图像对生成的立体派生伪真值进行监督训练，而在推理时仅需单目输入。实验在达芬奇腹腔镜数据集上进行。CRFDepth取得了44.27 dB的PSNR和0.9942的SSIM，优于基线方法，并展现出对遮挡和烟雾干扰的强鲁棒性。