基于TSDF的红外图像点云重建算法

《Infrared Physics & Technology》：TSDF-based point cloud reconstruction algorithm from infrared images

　　

摘要

从多视角图像重建3D场景是计算机视觉领域的研究热点，而神经辐射场（NeRF）则是其中最受欢迎的方法之一。在本文中，我们提出了一种基于截断符号距离函数（TSDF）的针对红外目标的新型表面重建算法。此外，我们还设计了一种结合TSDF与过滤模型的新点云（PCD）优化算法，以应对低分辨率和低纹理图像所带来的特殊挑战，尤其是那些具有复杂表面几何结构的场景。同时，我们引入了ITC-Scenes这一红外数据集，该数据集是用短波红外相机拍摄的，包含了不同几何复杂度的物体，可用于性能评估。我们的方法在2D和3D指标上均优于现有方法：在新型视图合成方面，该算法在三种具有挑战性的红外场景（室内物体、室外结构以及复杂几何形状）中的平均PSNR和SSIM值分别为33.02和0.76；在3D表面重建方面，该方法的平均精度、完整性、整体性、精确度、召回率以及F分数分别为0.018、0.012、0.015、0.48、0.59和0.50。这些定量结果充分体现了所提方法良好的通用性。

引言

神经辐射场（NeRF）[1]以及其他基于神经辐射场的体积渲染方法能够生成高质量的合成结果，这类方法通常通过利用整个场景的全局多层感知器（MLP）来模拟光线的传播过程，从而重建辐射场[2][3][4]。虽然神经辐射场可以实现高质量渲染，但基于密度的表示方式缺乏足够的表面约束，因此难以从这类隐式表示中提取出细腻的表面信息。尽管NeuS[5]通过符号距离函数（SDF）改进了表面重建效果，但这类方法[6][7][8]却严重依赖来自结构从运动（SfM）[9]的精确相机姿态信息。重要的是，像COLMAP这样的SfM处理工具会生成两种相互关联的输出：相机姿态信息和作为神经场初始化的稀疏点云（PCD）。这些稀疏的3D结构在优化过程中提供了重要的尺度参考，有助于避免模型陷入任意尺度的局部最小值。而在低纹理场景中，由于对应关系不明确，SfM往往无法正常工作，这一问题在红外成像中尤为突出，因为低分辨率和热噪声会降低特征的可识别性，进而影响姿态估计和PCD的质量。

在可见光成像无法满足需求的诸多关键应用领域中，红外3D重建发挥着不可或缺的作用，比如夜视系统、工业无损检测以及国防侦察[10]。与光学传感器不同，热相机能够穿透烟雾或遮蔽物，在完全黑暗的环境中依然能够工作，从而捕捉到传统成像技术无法看到的结构特征。不过，这种独特能力也带来了一些固有挑战[11]：首先，热图像反映的是物体的温度分布而非纹理细节，因此特征较为稀少；其次，其空间分辨率通常较低（一般不超过640×512），这进一步加剧了对应关系的不确定性；最后，工业物体常见的几何对称性也会增加姿态估计的难度。正因如此，像COLMAP这样的传统SfM处理工具往往会产生错误的深度信息，进而导致神经网络重建失败。

为了解决这些问题，我们提出了一种基于截断符号距离函数（TSDF）的点云（PCD）优化算法，用于红外3D重建中的表面重建。该方法通过将TSDF体积积分与核加权K最近邻（KNN）距离度量相结合，对SfM生成的PCD进行优化，从而有效抑制噪声并保留几何特征。这种全局到局部的优化处理方式能够生成更优质的几何先验信息，进而帮助从低分辨率、低纹理的红外图像中实现更可靠的表面重建。

为了验证所提方法的有效性，我们在多个公共基准数据集（DTU[12]、BlendedMVS[13]）以及我们自己构建的红外数据集ITC-Scenes上进行了大量实验。由于目前缺乏开源的红外重建基准数据集，我们使用Xenics Bobcat 640 GigE SWIR相机（分辨率为640×512）采集数据，构建了ITC-Scenes数据集。该数据集包含低分辨率、低纹理的红外图像，其中的物体具有不同的表面复杂程度。我们在评估时采用了以下指标：首先是用于衡量渲染质量的2D指标，即PSNR和SSIM；其次是用于评估几何准确性的3D指标，包括精度、完整性以及F分数。实验结果表明，我们的方法在所有测试案例中都能显著提升PCD的质量和表面重建的精度。

本文旨在提出一种用于从真实红外场景中恢复3D模型的表面重建算法。其主要贡献可归纳如下：

• •
  提出了一种基于TSDF点云优化的表面重建算法，用于提升低分辨率、低纹理红外图像的3D重建质量。
• •
  采用基于核权重的K最近邻距离度量方法，对PCD的密度进行评估，以实现过滤和去噪处理。经过优化的点云还被用于优化神经渲染流程中的场景标准化过程，从而提高模型对遮挡和反射现象的适应性。
• •
  我们使用真实相机采集数据，构建了专门的红外图像数据集，并基于该数据集对PCD优化和表面重建的结果进行了评估。

章节节选

相关工作

SfM算法。传统的多视角3D重建通常包括图像采集、相机标定、特征提取、立体匹配以及3D重建等步骤。在输入图像后，需要先估计相机的位置和姿态，而常用的方法就是SfM算法。SfM[9]通过利用相机从不同视角拍摄的物体图像，来获取对应这些图像的相机参数。

方法论

在本文中，我们分别以同一场景在可见光波段和红外波段的N张图像作为输入数据。我们将TSDF集成到SfM算法中，通过结合深度图和TSDF模型来优化PCD模型。最终，我们通过基于核权重的K最近邻距离来实现异常值的去除，从而通过这种全局到局部的处理策略恢复出场景的几何结构。整个工作流程如图1所示。

本节的结构如下：第3.1节将对相关内容进行综述

硬件与软件配置

在以PCD作为模型训练的输入数据时，我们采用了NeuS[5]的网络架构，每批处理的样本数为512，即每批会采样512条光线；每条光线的采样点数为128；训练时的学习率为5×10⁴；神经辐射场模型的多分辨率层级设置为10；最终在单块NVIDIA GeForce RTX4090 GPU（24G版本）上进行了3×10⁶次迭代训练。

实验设置

数据集。我们的主要

结论

在本文中，我们提出了一种基于TSDF PCD优化的新型表面重建算法，专门用于红外目标的处理。这是一种高效的新方法，可与任何类似NeU的模型配合使用，这类模型都需要相机姿态信息和PCD作为输入数据。我们的方法能够将TSDF集成到SfM算法中，从而提升传统算法中的几何表示能力，进而更清晰地呈现表面细节，最终优化出更优质的3D模型。之后，我们对优化后的模型进行了测试与评估

CRediT作者贡献说明

孙雪：撰写——审稿与编辑，撰写——初稿，项目管理，方法论设计，形式化分析。 吴欣：撰写——审稿与编辑，撰写——初稿，研究指导，问题调查，概念构思。 郭兆祥：撰写——审稿与编辑，撰写——初稿，结果可视化，问题调查，形式化分析，概念构思。 林晓燕：结果验证，问题调查，数据整理。 石远：数据整理。 王炳谦：资源提供。 张晓伟：资源提供。

利益冲突声明

作者声明存在以下可能被视为潜在利益冲突的财务利益或个人关系：吴欣表示曾获得中国国家自然科学基金委“杰出青年科学基金”项目的资助（项目编号为61904138、61705179）；同时还获得了陕西省自然科学基础研究计划的资金支持（项目编号为2019JQ-235）；此外还另有其他资金支持。

Xue Sun|Xin Wu|Zhaoxiang Guo|Xiaoyan Lin|Yuang Shi|Bingqian Wang|Xiaowei Zhang|Shaobo She

西安电子科技大学光电工程学院，中国陕西西安710071