TEPR：基于热边缘提示的几何学习方法用于多视角三维重建

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：TEPR: T hermal E dge-P rompted Geometry Learning for Multi-View 3D R econstruction

　　前馈式三维重建旨在直接从图像序列中恢复场景几何结构，但大多数方法依赖于可见光图像，在恶劣条件（如低光照、烟雾等）下性能严重下降。相比之下，热成像通常能在这些情况下实现可靠的感知，但其低纹理和弱外观线索仍给三维重建带来挑战。因此，我们提出了TEPR，一种基于热成像的几何学习框架，利用边缘结构作为独特的几何提示来缓解跨视角关联混淆，并增强重建场景中物体的区分能力。具体而言，TEPR 从显式边缘图中提取结构特征，并以可学习的方式将显著区域转换为边缘提示。随后，提出一种边缘感知的选择性关联机制，利用边缘提示提供的几何上下文来丰富外观表征，同时稀疏化多视角交互以聚焦于最相关的区域。边缘提示还被传播到预测阶段，一个边缘增强的头模块利用它们来约束姿态估计并改进深度图的分界感知能力。此外，一种深度对齐方案提供了层次化监督，在补丁级别和实例级别保留局部细节，同时强制全局跨视角一致性。为评估TEPR的有效性，我们构建了一个基于热成像的三维重建基准数据集TI-FRD，包含30个场景、超过38k张热成像帧以及额外的多传感器数据。在TI-FRD和公开数据集上的大量实验表明，TEPR在相机姿态、深度和点图估计等多个任务上均取得了优越性能，同时具备对零样本场景的泛化能力以及对RGB模态的适应能力。我们的数据集和代码将在 https://github.com/NEU-REAL/TEPR 上提供。