SHADeS：基于非朗伯体图像分解的自监督单目深度估计技术在结肠镜导航中的应用

为解决结肠镜图像中复杂光照变化（如镜面反射）导致的深度估计不准确问题，研究人员提出了一种新型自监督模型SHADeS（Shading, Albedo, Depth and Specularities），通过非朗伯体分解将图像分离为漫反射（A·S）和镜面反射（M）成分，显著提升了深度估计的鲁棒性。实验证明，该模型在真实结肠镜数据集（Hyper Kvasir）和仿体数据（C3VD）上均优于现有方法（IID、MonoViT等），为结肠癌早期诊断的3D重建和导航提供了更可靠的技术支持。

　　

在结肠癌筛查中，结肠镜的3D场景重建技术能帮助医生识别已检查区域和评估息肉形态，但强烈的镜面反射和复杂光照严重干扰了传统深度估计模型的性能。现有方法（如MonoViT、IID）基于朗伯体假设（Lambertian model），将镜面反射错误归因于物体表面属性，导致深度图失真。伦敦大学学院的研究团队提出SHADeS模型，首次将非朗伯体分解引入自监督单目深度估计，通过分离镜面反射成分（M）与漫反射（A·S），实现了更精准的深度预测和光照解耦。

研究采用多模块联合训练框架：1）基于传统算法预处理的镜面反射分割与修复模块（P_Inp）；2）图像分解网络（φ_Decompose）生成去镜面反射的漫反射图像（I_rem=I-M）；3）结合双自动掩码技术（μ₁⊙μ₂）的深度-位姿联合估计模块。训练数据来自真实结肠镜数据集Hyper Kvasir（16,976帧）和仿体数据集C3VD（10,015帧），通过光度一致性损失（L_r）和边缘感知平滑损失（L_es）优化模型。

方法创新性

• 非朗伯体分解：突破传统IID模型的I=A·S公式，提出I=A·S+M，显式建模镜面反射。
• 联合优化策略：将修复后的漫反射图像（I_rem）用于光度损失计算，避免镜面反射干扰。
• 无调整网络设计：实验证明移除IID的调整网络（φ_Adjust）不影响性能，简化模型结构。

实验结果

1. 镜面区域深度平滑性（SSM）：在Hyper Kvasir数据上，SHADeS的镜面周围深度一致性达70.6%，显著高于IID（63.7%）和MonoViT（41.8%）。
2. 仿体数据定量评估：在C3VD数据集上，SHADeS的绝对相对误差（AbsRel=0.1312）和RMSE（6.3 mm）均优于对比模型，验证其泛化能力。
3. 多任务输出优势：模型可同步生成无镜面反射的图像（A·S）和镜面掩膜（M），后者通过阈值二值化（阈值=50）实现镜面反射的语义分割。

结论与意义
该研究首次将非朗伯体物理模型融入自监督深度估计，解决了结肠镜图像中镜面反射导致的深度失真问题。SHADeS不仅提升了深度估计精度（RMSE降低10%），其光照分解能力还可应用于结肠部位识别等衍生任务。未来工作可探索动态镜面反射建模（如组织变形）以进一步提升临床适用性。论文发表于《International Journal of Computer Assisted Radiology and Surgery》，代码已开源（GitHub/RemaDaher/SHADeS）。