基于深度与近红外图像融合的iToF深度增强能量最小化框架

《IEEE Access》：Energy-Based IR-D Image Fusion for Depth Enhancement in Indirect Time-of-Flight Sensors

　　

摘要：

间接飞行时间（iToF）相机为广泛的感知和成像应用提供密集的深度测量数据；然而，其深度输出往往会因噪声、散射效应、深度不连续性以及在低反射区域不可靠的测量而退化。因此，提高 iToF 深度数据的质量和鲁棒性仍然是其实际部署中的重要挑战。本文提出了一种基于模型的深度增强框架，通过融合深度图（D）与主动近红外（NIR）图像来提高 iToF 传感器的输出质量，这两者均由同一传感器采集，因此在空间和时间上天然对齐。深度增强被表述为一个能量最小化问题，该问题结合了置信度加权的深度保真项、空间正则化以及基于联合红外 - 深度（NIR-D）直方图的条件熵项，以利用深度信号与 NIR 信号之间的结构一致性。所提出的公式有效地抑制了不同的噪声伪影，同时保留了深度不连续性和结构细节。该方法无需学习，也不要求外部校准或训练，能够简便地部署于不同的 iToF 感知配置中。在合成数据（其噪声特性模拟了真实 iToF 传感器）和真实世界 iToF 测量上的实验结果表明，与经典的深度增强和融合基线相比，深度精度和视觉质量均有一致性的提升。