ReCAP2：基于校正和上下文感知偏振提示的鲁棒深度增强方法

本文提出了一种创新的ReCAP2（校正和上下文感知偏振提示）框架，通过跨模态通道-空间校正器（CCR）和上下文感知提示生成器（CAPer），有效解决了深度与偏振模态间的表征差距问题，为深度增强提供了自适应性强、鲁棒性高的偏振引导方案。

　　

Highlight

• 提出新型ReCAP²（校正和上下文感知偏振提示）框架，通过偏振提示生成实现深度增强

• 设计跨模态通道-空间校正器（CCR）进行跨维度的初始特征校正

• 引入上下文感知提示机制，通过双级上下文生成精细化自适应提示

• 大量实验证明该方法在室内外场景均具有卓越精度和泛化能力

多模态深度增强

提升从飞行时间（ToF）或立体相机等传感器获取的原始深度图是计算机视觉领域的核心任务。主流方法采用RGB图像作为辅助引导。多数研究采用编码器-解码器架构，部分采用早期融合在输入阶段直接整合跨模态特征，另一些则采用多分支设计实现后期特征整合。

偏振信息

本方法利用偏振信息作为深度增强的补充线索。具体采用以下偏振分量作为输入：P=[I; φ; ρ; V]，其中I是通过0、π/4、π/2、3π/4四个偏振角度图像推导的强度图。φ表示偏振角（AoP），提供场景表面取向信息。ρ代表偏振度（DoP），表征材料的光学特性。

实验设置

数据集：我们的框架需要提供同步原始深度图和偏振图像的基准数据集。为此，我们在两个不同数据集上进行评估，分别测试室内性能和室外泛化能力。

主要评估在室内数据集HAMMER上完成，这是一个真实世界多模态基准数据集，非常适合评估不同传感器类型和退化模式下的深度增强鲁棒性。

结论

本研究提出的ReCAP²框架通过跨模态特征校正（经由CCR）和双级上下文感知提示生成（经由CAPer），有效解决了先前方法中存在的表征差距和上下文无关引导等关键问题。大量实验验证了其有效性，在挑战性的基准测试中展现了最先进的性能。