Thermal4D：基于物理的高斯点扩散技术，用于动态热场景重建 作者：钟崇豪（Chonghao Zhong）与徐超（Chao Xu）

《Sensors》：Thermal4D: Physics-Driven Gaussian Splatting for Dynamic Thermal Scene Reconstruction Chonghao Zhong and Chao Xu

　　摘要
由于存在一些固有的挑战，包括低纹理、低对比度和辐射度不确定性，从热红外图像重建动态场景的研究仍然不足。在本文中，我们提出了Thermal4D，这是一个新颖的框架，仅使用热图像即可重建高保真的动态3D场景，无需可见光输入或辅助传感器。该框架基于3D高斯散布（3DGS）范式，引入了两个关键组件。首先，设计了一个称为TherHiLo的频率感知注意力模块，用于分离不同频带的结构特征。其次，开发了一个受物理原理启发的大气传输模块（ATM），用于模拟由热成像条件引起的辐射度失真。尽管重建流程以8位热视频序列为输入，但在TherHiLo中进一步利用了高精度的14位热帧，以增强具有更丰富辐射度信息的注意力学习。此外，还结合了预训练的DINOv2模型的特征级监督，以提高结构一致性。为了便于系统评估，我们还构建了MVTD，一个新的多视图动态热数据集。在MVTD和TI-NSD基准测试上的实验结果表明，Thermal4D在动态和静态场景中均显著优于现有方法，为物理一致的动态热场景重建提供了一个有效的框架。

1. 引言
动态3D场景重建（也称为4D重建）是计算机视觉中的重要任务，在监控、自动驾驶、虚拟现实和复杂环境感知等领域有广泛的应用。近年来，基于可见光的重建方法取得了显著的进步。然而，在低光照条件、夜间或恶劣环境中，它们的性能往往会下降，这可能导致在具有挑战性的场景中鲁棒性降低甚至完全失效。相比之下，热红外成像提供了互补的感知能力，并且在这些条件下可以更可靠地工作，使其成为鲁棒场景重建的有希望的模态。所有温度高于绝对零度的物体都会发出红外辐射。热红外成像捕获的是这种辐射能量，而不是反射的可见光，因此它对照明条件的依赖性较小。因此，热图像可以在黑暗、夜间和其他RGB相机经常遭受严重曝光不足或噪声的视觉退化环境中保持场景结构。这一特性使得热成像在具有挑战性的真实世界场景中的重建任务中特别有吸引力。如图1所示，与夜间拍摄的同步RGB图像相比，热图像在低光照条件下保留了更清晰的结构信息。图1. 在夜间从同一场景拍摄的同步热图像和RGB图像的比较。热图像在低光照条件下保留了更清晰的结构信息，而RGB图像则严重曝光不足且噪声较大，这使得可靠的特征匹配和姿态估计变得更加困难。最近，一些研究开始探索热领域的3D重建。例如，Thermal3D-GS [1] 使用受热成像物理指导的神经网络对大气传输和热传导进行建模，并通过温度一致性约束改善静态场景重建。NTR-Gaussian [2] 进一步引入了热力学参数，如发射率、对流系数和热容量，以支持更准确的热建模和夜间温度预测。这些研究表明了基于热的3D重建的可行性和潜力。尽管如此，现有方法在实际应用中仍存在重要限制。首先，大多数方法专注于静态场景，并未针对动态环境进行设计。其次，许多方法依赖于辅助的RGB输入或外部线索，如摄影测量点云或预估计的相机姿态，这增加了系统复杂性并限制了其通用性。与可见光图像相比，热图像通常具有较低的对比度、模糊的轮廓、较弱的纹理和更强的辐射度不确定性。这些特性使得动态热场景重建特别具有挑战性。实际上，将基于可见光的动态重建流程直接应用于热数据通常会导致几何形状退化、漂浮物和渲染结果不稳定。一个主要原因是传统的从运动到结构的流程 [3] 经常无法在多视图热图像之间建立足够可靠的特征对应关系，从而导致相机姿态不准确或缺失。为了解决这些问题，我们提出了Thermal4D，这是一个仅依赖热红外视频的动态3D重建框架，无需可见光图像或辅助传感器。为了从热输入获得可靠的初始化，我们采用了基于视觉几何的Transformer（VGGT）[4] 来估计相机姿态并初始化稀疏点云。具体来说，对于多视图热视频，我们从每个视点提取第一帧形成一组静态图像，然后通过前馈VGGT处理这些图像，以恢复初始的3D属性，包括相机姿态和稀疏点云。

Thermal4D基于3D高斯散布（3DGS）范式，通过受4D高斯散布（4DGS）[5] 启发的可学习变形场来模拟场景动态，并使用K-Planes [6] 进行参数化。为了更好地利用热图像的特性，我们进一步引入了TherHiLo，这是一个分层频率感知注意力模块，它将高频细节与低频结构信息分离，从而在抑制热噪声的同时增强细粒度表示。此外，我们允许每个3D高斯基元学习其发射率，并提出了一个受物理原理启发的大气传输模块（ATM）来模拟由大气效应引起的辐射度失真。通过将ATM集成到可微分渲染器中，所提出的框架实现了更具物理意义的热图像形成和辐射度校正。除了结合频率感知热注意力和受物理原理启发的渲染之外，Thermal4D的创新之处还在于在仅使用热数据的动态重建流程中统一了热特征提取、时空高斯变形和物理感知热图像形成。

为了进一步提高重建质量，我们引入了基于预训练的DINOv2模型 [7] 的特征级监督，这有助于保持结构一致性并减少渲染结果中的伪影。由于公开可用的多视图动态热重建基准测试非常有限，我们构建了MVTD作为评估所提方法在动态环境中的主要基准。此外，我们还包括了额外的静态场景评估，以评估所提框架在既定热重建设置下的泛化能力。具体来说，我们使用了TI-NSD的无人机子集，其中包含从空中视角拍摄的户外远距离热场景，以检查在更大成像距离和更具挑战性的观测条件下的重建性能。我们还在NTR数据集上报告了结果，作为另一个具有挑战性的热重建场景。图2总结了在MVTD的动态设置和TI-NSD的无人机子集的补充静态设置上的平均定量比较，而NTR数据集在静态定量比较表中单独报告。图2. Thermal4D与代表性现有方法在动态和静态热场景重建任务上的比较。动态场景结果是在MVTD上平均的，而静态场景结果是在TI-NSD的无人机子集上平均的。本文的主要贡献总结如下：
我们提出了Thermal4D，这是一个仅使用热红外图像的动态3D重建框架，无需可见光输入或辅助传感器。
我们开发了两个关键的热场景建模组件：TherHiLo，这是一个频率感知注意力模块，通过高频和低频分解改善热特征表示；以及一个物理驱动的大气传输模块（ATM），通过联合发射率学习来更好地模拟热图像形成过程。
我们构建了MVTD，据我们所知，这是第一个用于多视图动态热场景重建的基准数据集。该数据集可在合理请求下从相应作者处获得，具体取决于机构的数据共享政策。在MVTD上的广泛实验，以及对TI-NSD的无人机子集和NTR数据集的补充评估，证明了所提方法在动态热重建中的有效性及其对具有挑战性的静态热场景的泛化能力。

2. 相关工作
2.1. 热3D重建
近年来，由于热红外成像在低光照和恶劣天气条件下的鲁棒性，热3D重建受到了越来越多的关注。早期的工作探索了直接从热图像重建3D场景的可行性。例如，参考文献[8] 是最早将NeRF [9]引入热场景重建的之一，其中设计了热映射和结构热约束，以使NeRF更好地适应红外图像。后续的研究[10,11,12,13] 通过改进重建前的热图像质量或结合热图像和可见光模态进行联合场景建模，进一步扩展了这一方向。这些方法使用温度感知嵌入、图像平移或基于体素的表示来缓解热图像的挑战，如低分辨率、弱纹理和低对比度。除了仅使用热图像或热-RGB设置外，还有几项工作结合了额外的感知模态来提高重建的鲁棒性。例如，参考文献[14] 结合了RGB、事件和热红外相机，以在具有挑战性的照明条件下改善场景重建。同样，参考文献[15] 将点云与热图像结合，以减少几何歧义并引入跨异构传感器的跨模态对齐。最近，基于3DGS [16] 的热重建方法展示了有希望的性能。Thermal3D-GS [1] 将大气传输和热传导的神经近似纳入3DGS框架中，有助于减少漂浮伪影并提高静态热场景中的边缘清晰度。NTR-Gaussian [2] 进一步估计了热力学参数，如发射率、对流系数和热容量，以支持更准确的温度重建和夜间热建模。尽管这些方法证明了基于物理的建模在热重建中的有效性，但大多数现有方法仍主要针对静态场景设计或依赖于辅助模态和外部先验。单独从热图像进行动态3D重建的工作仍然很大程度上未被探索。

2.2. 基于NeRF的动态场景重建
在NeRF文献中，动态场景重建已经得到了广泛的研究。现有的方法通常可以分为几个代表性方向，包括基于变形场的方法、静态-动态分解方法、基于平面的动态表示和基于流的处理方法。基于变形场的方法通过从观察到的时空坐标到规范空间的映射来建模动态场景。D-NeRF [17] 将NeRF扩展到时间维度，并学习了动态场景的时空辐射场。Nerfies [18] 专注于非刚性场景，并引入了以人为中心的动态内容的变形建模。HyperNeRF [19] 通过将表示扩展到更高维的空间，进一步解决了拓扑变化问题。另一条研究路线将静态和动态组件分离，以提高学习效率和场景解耦。例如，参考文献[20] 以自监督的方式将视频内容分解为静态和动态部分，而NeRFPlayer [21] 通过允许新引入的对象的出现，提高了动态NeRF的灵活性。为了提高效率，还广泛采用了基于平面的动态表示。HexPlane [22] 将4D空间分解为多个平面组合以便进行高效的特征编码，而K-Planes [6] 通过将坐标对投影到可学习的特征平面上来推广这一想法。此外，基于流的处理方法如OD-NeRF [23] 旨在支持渐进式或在线重建，而无需事先访问完整序列。这些方法显著推进了动态场景建模。然而，它们大多数是为可见光图像开发的，并没有明确考虑热红外图像的感知特性，如弱纹理、低对比度和辐射度失真。

2.3. 基于3DGS的动态场景重建
最近在3DGS [16] 中的进展将基于高斯的表示从静态场景扩展到了动态场景重建。与基于NeRF的方法相比，动态3DGS方法通常在保持高视觉保真度的同时提供了改进的渲染效率，这导致了对时间高斯建模的兴趣日益增加。一个重要的方向是显式地随时间建模动态高斯。一些方法使用连续轨迹、稀疏关键帧或变形函数 [5,24,25,26,27] 来表示高斯运动。这些方法提高了时间平滑度并减少了动态渲染中的伪影离散化。其他研究进一步将运动分解为更易解释的组件，或随时间跟踪持久的高斯，实现紧凑且可控的动态表示 [28,29,30]。另一个研究方向将运动先验或物理约束引入动态高斯建模。例如，参考文献[31,32,33] 结合了光流或速度先验，以更好地分离场景运动和相机运动。一些方法进一步将物理模拟或材料属性整合到重建过程中 [31,34,35]，实现了更符合物理的变形或流体场景建模。为了提高在长视频或流式视频场景中的可扩展性，一些方法提出了内存高效和在线学习策略 [36,37,38]。其他工作关注鲁棒变形学习、稀疏视图重建、混合表示和具有挑战性的真实世界捕获设置 [39,40,41,42,43,44,45,46,47]。最近，4DGT [48] 学习了一个前馈Transformer，可以直接从单目视频预测一致性的4D高斯，提高了动态场景重建的效率和可扩展性。此外，最近关于其他视觉任务中注意力引导的特征增强的研究[49,50]表明，多尺度特征交互可以提高在具有挑战性的成像条件下的表示鲁棒性，这也与我们热特征建模的设计相关。尽管动态3DGS方法取得了快速进展，但它们主要是为可见光图像和一般动态场景设计的。它们通常没有明确考虑热红外成像的独特属性，如低纹理、低对比度和与大气相关的辐射度退化。这限制了它们直接应用于热动态场景重建的可能性，并促使开发一个专门的热动态3DGS框架。3. 预备知识：3D高斯散布（3DGS）将场景表示为3D空间中的一组各向异性高斯基元。每个高斯由其中心位置、尺度、旋转、不透明度以及颜色参数化，其中颜色通常使用球谐函数来表示。由于其明确且可微的分式，3DGS为高质量的新视图合成提供了有效的表示方法。形式上，每个高斯基元由一个均值和一个协方差矩阵定义。高斯函数可以写为（1），为了确保它是半正定的，它被参数化为（2），其中是一个对角缩放矩阵，是一个旋转矩阵。在渲染过程中，每个3D高斯通过相机变换和透视投影的局部仿射近似投影到图像平面上。相应的2D协方差表示为（3），其中表示相机变换矩阵，是投影函数的雅可比矩阵。渲染的像素颜色是通过沿观察光线相交的高斯进行前向-后向阿尔法合成得到的：（4），其中表示贡献高斯的集合，是第i个高斯的颜色，是其在像素位置的不透明度贡献，定义为（5），其中表示第i个高斯的不透明度。在这项工作中，我们在3DGS框架的基础上进行了扩展，通过引入时间变形建模、频率感知的热特征学习和受物理启发的热图像形成，以实现动态热场景重建。4. 方法图3展示了所提出的Thermal4D框架的整个流程。给定一个同步的多视图热视频序列（8位格式），我们首先应用VGGT对每个视图的第一帧进行相机姿态估计并恢复一个初始的稀疏点云。然后使用这些输出基于3DGS初始化一个静态场景表示，形成重建流程的粗略阶段。图3. Thermal4D流程概述。多视图8位热视频用于通过VGGT和3DGS估计相机姿态并初始化静态重建。时间动态通过K-平面编码进行建模，而当前帧的14位图像通过TherHiLo模块处理以提取频率感知特征。这些特征通过MLP融合以预测随时间的高斯变形。大气传输模块（ATM）施加物理约束以提高渲染的真实性。为了建模时间动态，我们引入了一个时空编码器，它将每个高斯基元及其时间戳映射到一个紧凑的运动特征。同时，当前时间步长的相应14位热帧通过所提出的TherHiLo模块处理以提取保持微妙热变化的频率感知图像特征。然后将时空特征和热注意力特征融合并通过MLP预测高斯变形，从而在动态阶段生成帧特定的高斯基元。为了进一步提高物理一致性，我们引入了一个大气传输模块（ATM），该模块模拟热图像形成过程中的辐射度衰减和路径辐射效应。整个框架使用重建、感知、特征层和正则化损失的组合进行优化，包括DINOv2引导的监督和时间平滑性约束，以适应动态场景。4.1. 基于变形场的4D高斯散布遵循基于变形的动态3DGS方法，我们将动态场景建模为标准静态场景的时间变形。在标准静态3DGS公式中，每个高斯基元由其位置、旋转、尺度、不透明度和球谐系数表示。在动态设置中，引入了一个额外的时间戳，以便高斯属性可以随时间变化。用表示标准状态下高斯基元的3D位置。为了捕捉时间运动，我们采用了一个时空编码器，它接受基元位置和时间戳作为输入，并输出一个低维运动特征：（6）。具体来说，4D坐标使用K-平面编码表示，其中时空空间被分解为六个2D平面，即、、、、和。然后对这些特征平面应用多尺度双线性插值以获得编码的时空特征。给定编码特征后，一个变形解码器（实现为多头MLP）预测高斯基元的变形：（7），其中表示位置偏移，和分别表示旋转和尺度的变化。时间步长处的变形高斯基元由（8）给出。最后，使用3DGS的可微分光栅化过程渲染变形后的高斯：（9），其中是渲染图像，表示相机参数。这种公式允许模型将场景运动表示为随时间的连续高斯变形。4.2. 热高-低注意力（TherHiLo）4.2.1. 注意力模块热红外图像通常包含有限的高频纹理和占主导地位的低频结构。然而，微弱的高频成分，如物体边界和细微的边缘过渡，经常为实现运动估计和变形预测提供重要线索。同时，热图像也容易受到噪声引起的伪运动的影响，特别是在对频率敏感的表示中。这需要明确区分有信息结构的细节和噪声。为了解决这个问题，我们提出了一个频率感知的注意力模块，称为TherHiLo，它将热表示分解为高频和低频成分，并使用两个并行分支处理它们。高频分支关注对变形估计有益的局部边缘和轮廓信息，而低频分支捕捉全局热分布和结构上下文。通过结合这两者，TherHiLo提高了特征提取的鲁棒性，并有助于抑制由热噪声引起的虚假运动模式。TherHiLo基于HiLo注意力架构构建，并包括三个关键修改：一个可学习的门控参数、一个偏移窗口注意力机制和一种模糊池化策略。与原始HiLo设计不同，后者使用固定超参数来分配注意力头，我们的方法引入了一个可学习的标量，以根据输入内容自适应地确定高频和低频注意力之间的平衡。对于每个注意力块，高频和低频头的数量定义为（10），其中是注意力头的总数，表示Sigmoid函数。这种设计使网络能够根据不同的场景和图像区域动态调整其频率重点。为了改善局部窗口之间的信息交换，高频分支采用了偏移窗口注意力。具体来说，连续的高频注意力层在规则窗口划分和偏移窗口划分之间交替。这种策略在保持局部注意力的计算效率的同时，扩展了有效感受野，使网络能够更好地捕捉相邻窗口之间的连续边缘结构。偏移大小设置为窗口大小的一半，即，其中表示窗口大小。在低频分支中，我们用模糊池化代替了传统的平均池化，以减少下采样过程中的结构退化。具体来说，在下采样之前应用了一个高斯核：（11），其中表示卷积，是一个高斯核。在我们的实现中，固定为1.0且不可学习。与平均池化相比，平均池化执行均匀的局部平均，在下采样过程中可能会引入更强的混叠和边界失真，而模糊池化在下采样之前首先应用低通滤波。这一操作更好地遵循了采样原则，抑制了在较低分辨率下无法可靠保留的高频噪声，同时保留了主导的低频结构模式。因此，模糊池化更有效地减少了混叠伪影并保持了结构一致性，这对于在低频分支中建模大规模热分布非常有益。4.2.2. 为什么在TherHiLo中使用14位热输入在许多长波红外成像系统中，原始的14位传感器数据通过自动增益控制或直方图均衡等动态范围压缩操作转换为8位图像。尽管这些操作提高了人类观察的视觉对比度，但它们不可避免地丢弃了部分原始的辐射度信息。因此，8位表示经常丢失了对特征提取和运动建模重要的微妙热变化和弱结构线索。为了缓解这个问题，TherHiLo直接操作原始的14位热数据，而不是AGC压缩后的8位图像。因为14位输入保留了完整的传感器动态范围和更精细的辐射度细节，它为频率感知的特征学习提供了更丰富的信息。这在热过渡平滑或边界模糊的区域特别有用，因为压缩可能会掩盖有意义的结构。如图4所示，14位表示保留了更丰富的强度变化和更完整的辐射度信息，这激励了在TherHiLo分支中使用14位热帧，而整个重建流程仍然操作标准的8位热视频序列。图4. 8位AGC压缩和原始14位热图像之间的比较。14位表示保留了更宽的动态范围和更丰富的辐射度细节，这对于结构感知和热特征提取有益。4.2.3. TherHiLo的网络架构所提出的TherHiLo模块的总体架构如图5所示。它采用四阶段层次化设计，逐步从输入的热图像块中提取和浓缩特征表示。图5. 所提出的TherHiLo模块的总体架构。该图展示了四阶段层次化网络以及TherHiLo块的内部设计，包括高频分支、低频分支、模糊池化和自适应特征融合。输入的热图像首先被分割成不重叠的块，并线性投影为令牌嵌入。然后这些令牌通过四阶段的层次化表示学习进行处理。第1阶段包括一个线性嵌入层，后面跟着堆叠的ConvFFN块。每个块包括归一化、卷积前馈网络和残差连接。这一阶段在增强局部特征表示的同时保留了原始令牌分辨率。第2阶段通过一个可变形令牌合并（DTM）模块降低空间分辨率，该模块执行可学习和空间自适应的下采样。然后通过ConvFFN块处理得到的令牌。第3阶段进一步降低表示的维度并增加特征维度。它包含Transformer块，每个块由两个子模块组成：一个归一化层后面跟着TherHiLo注意力及残差连接，以及另一个归一化层后面跟着ConvFFN和残差连接。第4阶段的设计与第3阶段相同，增了一个DTM模块和Transformer块，以在最粗略的尺度上细化全局上下文信息。在我们的实现中，四个阶段中的块数量分别设置为。如图6所示，前两个阶段中使用的ConvFFN块是从HiLo注意力[50]中的ConvFFN设计改编而来的，它首先对输入令牌应用LayerNorm，通过线性层扩展通道维度，然后执行深度3×3卷积以引入局部空间交互。经过GELU激活和dropout正则化后，特征被投影回原始通道维度并通过DropPath添加到快捷分支。这种设计在TherHiLo的早期阶段增强了局部表示学习，同时保持了低计算开销。总体而言，ConvFFN、DTM和TherHiLo注意力的结合使网络能够以频率感知的方式捕捉细小的局部热细节和大规模结构上下文。图6. TherHiLo早期阶段使用的ConvFFN块的结构。该块包括LayerNorm、通道扩展、深度卷积、GELU、dropout和带有DropPath的残差连接。插图展示了深度卷积使用的令牌到特征映射和特征映射到令牌的操作。4.2.4. 特征查询和融合K-平面编码器产生的时空特征并不直接用于高斯变形预测。相反，它与TherHiLo从相应的14位热帧中提取的频率感知图像特征融合。这样，变形场不仅受到每个高斯基元的时空坐标的影响，还受到当前视图中的图像证据的影响。具体来说，给定位于位置和时间戳的高斯基元，K-平面模块首先产生一个时空特征向量。同时，相应的14位热图像由TherHiLo处理，以生成一个密集的注意力特征图。每个3D高斯中心随后使用相机的内参和外参投影到图像平面上，其对应的特征通过双线性插值从TherHiLo特征图中采样出来。采样的图像特征与K-Plane特征连接起来，形成融合表示，然后输入到变形MLP中以回归高斯变形参数。这种设计使得变形预测能够同时利用时空运动线索和频率感知的热外观线索，而不仅仅是将热特征作为辅助的图像表示，从而将Thermal4D与简单的注意力增强和基于物理的渲染区分开来。整个过程在算法1中进行了总结。算法1：通过注意力图采样进行视图引导的特征查询 输入：3D高斯中心、相机内参和外参、输入热图像、TherHiLo特征提取器和K-Plane特征。 输出：用于变形预测的融合特征。

4.3. 大气传输模块
为了考虑长波红外成像中的辐射衰减和背景辐射，我们引入了一个大气传输模块（ATM）来模拟每个高斯基元发出的热辐射的传播。在我们的公式中，每个高斯基元的颜色对应一个近似表面温度。然后，ATM根据物理上有意义的大气因素校正这个与温度相关的辐射信号。具体来说，对于每个高斯基元，该模块预测两个标量量：大气透射率和大气路径辐射度。这两个量分别用 和 表示。第一项模拟了物体发射的辐射在传输过程中的衰减，而第二项表示沿光学路径从大气中积累的热辐射。每个高斯基元还被赋予一个可学习的发射率，在粗略静态阶段进行优化，在动态阶段固定。给定空间位置和时间戳，一个轻量级MLP为每个基元预测 和 。每个高斯的球谐系数首先转换为近似表面温度。然后使用普朗克定律将这个温度转换为辐射强度：

(12)

其中是普朗克常数，是光速，是玻尔兹曼常数，是波长。在我们的实现中，根据传感器的平均光谱响应，设置为10.5 μm。然后计算每个高斯基元的校正后的辐射度：

(13)

第一项对应于大气衰减后的物体发射辐射，第二项模拟了大气引入的路径辐射。最后，校正后的辐射度作为输入颜色用于高斯喷涂渲染器中，从而提高了热图像合成的物理一致性。

4.4. 损失函数
所提出的方法通过同时优化光度、感知、特征级和正则化目标来进行训练。基本的重建项定义为渲染图像与真实图像之间的逐像素损失，这强制在像素级别上进行准确的图像重建。为了提高结构和感知质量，我们进一步结合了SSIM损失和LPIPS损失。这两个项鼓励渲染输出保持局部结构和感知相似性，而不仅仅是简单的像素匹配。为了引入更高层次的结构指导，我们采用了基于DINOv2的特征监督项。具体来说，从渲染图像和真实图像中提取深度特征，并计算它们之间的距离。尽管DINOv2是在自然图像上预训练的，但我们在这里仅将其用作辅助的特征级正则化器，而不是作为热域的语义骨干。其动机是，它的中间表示仍然可以提供有用的结构线索，例如物体布局、区域边界和轮廓连续性，这些有助于规范渲染图像和目标热图像之间的一致性，尽管存在模态差异。正如消融结果所支持的那样，这种特征级监督改善了重建热场景中的结构一致性和感知质量。对于动态场景重建，在动态训练阶段还应用了总变分正则化项。遵循基于K-Plane表示的正则化策略，这个项促进了学习到的特征平面之间的平滑变化，并有助于稳定时间变形。总损失定义为

(14)

其中，在我们的实现中，总变分项仅在动态 fine-training 阶段应用。

5. 实验
5.1. 实验设置
5.1.1. 基线方法
我们将所提出的方法与现有的代表性方法进行比较，这些方法既适用于动态热场景重建，也适用于静态热场景重建。尽管我们的主要关注点是动态热重建，但我们还评估了静态场景，以进一步检验Thermal4D的泛化能力和重建保真度。静态场景可以被视为动态重建设置的一个特例，在该设置中不存在时间变化。此外，由于公开可用的多视图动态热重建基准非常有限，对静态热数据集的补充评估提供了关于几何精度、辐射度一致性和新颖视图合成质量的额外证据。对于动态场景，我们考虑了几种代表性的基线方法，包括K-Planes [6]、ENErfi [51]、Instant-NGP+T [51] 和 4DGS [5]。选择这些方法是因为它们明确支持时间场景建模，并且可以适应本文考虑的多视图动态热重建设置。K-Planes通过平面分解建模4D时空辐射场，并使用高效线性解码器。ENErfi和Instant-NGP+T是在EasyVolcap框架 [49] 中实现的，并适应于热视频输入，用于动态新颖视图合成。4DGS通过引入时间依赖的高斯变形扩展了3DGS，支持高效渲染和高质量视觉效果。为了公平性，所有动态基线都在相同的图像分辨率、相机设置和多视图配置下进行评估。

对于静态场景的补充评估，我们与3DGS [16]、Thermal3D-GS [1]、NTR-Gaussian [2] 和 4DGS [5] 进行了比较。3DGS是一个通用的基于高斯的静态重建基线。Thermal3D-GS是专门为热场景重建设计的，包含了大气传输和热传导建模。NTR-Gaussian进一步引入了物理上有意义的热力学参数，如发射率和相关热属性，以改善夜间热重建和不同时间点的温度估计。Thermal3D-GS被包括在内，因为它是一个代表性的热特定静态基线，而NTR-Gaussian被包括在内，因为它是一种强大的热特定时间建模方法。然而，这两种方法最初都不是为从带有明确时间变形的热视频中进行多视图动态热场景重建而设计的。据我们所知，目前还没有建立起来的热特定基线能够像MVTD那样在同一设置中支持多视图动态热场景重建。我们还在静态设置中包括了4DGS，以检验动态高斯框架是否可以泛化到静态热场景。所有方法都在适用的条件下使用相同的相机内参、图像分辨率和视图配置进行评估。

5.1.2. 数据集
为了在动态热重建设置中评估所提出的方法，我们构建了一个名为MVTD的新数据集，其中包含了专门在热域中捕获的几个真实世界动态场景。所有数据都是使用FLIR Tau2 640长波红外相机录制的，该相机的空间分辨率为640 × 512像素，光谱响应范围为7.5–13.5 μm。MVTD数据集旨在涵盖多样的运动模式和热特性。它包含三种代表性场景。第一种是振荡热源，其中红外卤素加热器（“Little Sun”）连续旋转并产生局部、高度动态的热信号。第二种是关节机械臂，它表现为非刚性运动、自遮挡和复杂结构变形。第三种是旋转加热平台，其中在电动转盘上安装了一个固定在55 °C的温度控制表面，产生全球一致的运动和稳定的热辐射。所有序列都是使用单台热相机在软件同步的采集协议下捕获的。具体来说，对于每个视角，热视频记录与场景运动开始的同时启动，并在不同视角上进行相同的可重复动态过程以获得多视图观测。对于每个场景，我们从大约20个视角收集热视频。经过预处理和数据质量筛选后，保留了17个视角用于Robotic Arm和Heating Platform序列的最终评估，而在Little Sun序列中保留了所有20个视角。因此，表1报告了每个序列中成功注册的视图数量与评估视图数量的比例。为了支持标准重建和辐射度信息建模，我们为每个视角记录了8位AGC处理的热视频和相应的原始14位热视频。

5.1.3. 评估指标
我们使用三个广泛采用的指标来定量评估新颖视图合成质量：PSNR、SSIM和LPIPS。PSNR衡量渲染图像与真实图像之间的像素级重建保真度。较高的PSNR表明光度误差较低。SSIM通过比较亮度、对比度和局部结构来评估结构相似性，特别适用于评估热图像中的结构一致性。LPIPS使用预训练的图像表示在深度特征空间中衡量感知相似性，其中较低的值表示更好的感知一致性。这三个指标从像素准确性、结构保留和感知质量的角度提供了互补的评估。

5.1.4. 实施细节
所有实验都在PyTorch 1.13.1上使用单个NVIDIA RTX 3090 GPU进行。对于动态场景，高斯基元使用稀疏点云和VGGT估计的相机姿态进行初始化。具体来说，同步的多视图8位热视频首先被分解成图像帧，每个视图的第一帧用于姿态估计和静态初始化。VGGT中的置信度阈值设置为80%。相应的14位热视频也被分解成帧，并与8位序列时间对齐。在训练过程中，每个14位热帧被分割成不重叠的补丁，并由TherHiLo模块处理。TherHiLo在粗略和精细阶段都使用。每个高斯基元被赋予一个初始值为0.95的发射率。发射率仅在粗略阶段进行优化，然后在动态精细阶段固定。我们使用Adam优化器联合优化高斯位置、尺度、旋转、球谐系数、不透明度和发射率，初始学习率为 ，使用余弦退火计划。训练过程中使用四个视图的批次，包括TherHiLo和大气传输模块的完整模型进行了30k次迭代的全端优化。

对于动态基线，所有方法都从零开始使用相同的图像分辨率（）、相机设置和多视图设置进行训练。对于K-Planes，我们使用统一的4D配置，输入坐标维度为4，网格维度为2 [64, 64, 64, 200]，多分辨率因子 [1, 2]，总共30 k次迭代（3 k次粗略和27 k次精细），学习率从 降低到 。ENeRFi和Instant-NGP+T使用了EasyVolcap实现，并在相同的训练视图和分辨率下加入了热输入进行评估。对于静态场景评估，3DGS遵循官方实现，而Thermal3D-GS和NTR-Gaussian则根据它们各自的公共设置，在我们的数据预处理流程中进行尽可能接近的评估。5.1.5 评估协议对于动态和静态实验，我们采用LLFF风格的保留协议，其中保留比例为8。具体来说，每八张图片中就有一张被保留用于测试，其余图片用于训练。对于MVTD中的动态序列，所有处理过的帧都用于评估，报告的PSNR、SSIM和LPIPS值是在每个序列的所有保留测试图片上平均得到的。除非另有说明，所有定量结果都是在稳定训练后的一次运行中得出的。5.2 TherHiLo注意力机制的视觉分析为了更好地理解所提出的频率感知注意力模块的行为，我们使用来自机器人臂序列的真实热图像来可视化解剖TherHiLo学习到的高频和低频分量。原始图像的分辨率为像素，并被划分为不重叠的补丁，遵循TherHiLo中使用的输入设置。我们在第一个TherHiLo块之后提取注意力图以进行可视化和分析。5.2.1 注意力图可视化如图7所示，TherHiLo将学习到的注意力响应分为两个互补的部分。低频分支关注全局热结构，如机器人臂的整体轮廓和温度变化平滑的区域。其激活在空间上是连贯的，并集中在由低频信息主导的大规模区域上。图7. TherHiLo注意力的视觉和频谱分析。（左）：输入的14位热图像。（中）：高频注意力图及其频谱，突出了关节和边界等结构转换。（右）：低频注意力图及其频谱，强调了平滑的全局热模式。结果说明了TherHiLo中的有效频率分离。相比之下，高频分支强调局部变化，特别是在关节、边缘和结构边界周围。尽管注意力图是基于补丁特征计算的，但高频分量仍然清晰地突出了对于细粒度几何推理和变形估计重要的不连续性。5.2.2 频域分析为了进一步检查学习到的注意力图的频率选择性，我们计算了重建注意力网格的2D傅里叶变换，并可视化了以频率为中心的对数幅度谱。正如预期的那样，低频分支在频谱中心附近表现出能量集中，表明其对平滑全局模式的敏感性。相比之下，高频分支显示了更宽的频谱分布，反映了对局部结构变化的更强响应。这些结果证实了TherHiLo有效地将热信息分离为互补的频率分量。这一属性对于热动态重建特别有益，在这种重建中，低对比度、弱纹理和传感器噪声使得特征提取比在可见光图像中更具挑战性。5.3 定性比较我们在动态和静态热场景重建任务上，对Thermal4D与代表性基线进行了定性比较。对于动态场景，图8展示了在三个代表性MVTD序列上的结果：Little Sun、Robotic Arm和Heating Platform。每一行对应一个场景，每一列显示不同方法的输出。放大了的区域用于突出移动结构、热边界和细节保留的局部差异。与K-Planes、ENeRFi、Instant-NGP+T和4DGS相比，所提出的Thermal4D重建了更完整的几何结构，并产生了更清晰的热边界，特别是在关节运动、局部热源和热不连续性区域。竞争方法往往在具有复杂运动和弱纹理的区域出现边界模糊、结构不完整或外观不稳定等问题。图8. MVTD数据集上动态热场景的定性比较。放大区域突出了移动结构、热边界和局部重建保真的差异。对于静态场景，图9展示了TI-NSD数据集上的定性结果。我们的方法保留了更精细的几何结构及更清晰的热轮廓，同时在低对比度区域保持了更好的空间连续性。相比之下，3DGS、Thermal3D-GS、NTR-Gaussian和4DGS都表现出不同程度的细节丢失、边界模糊或结构不完整。在某些情况下，像3DGS这样的通用方法无法可靠地重建某些视图。这些观察结果表明，Thermal4D不仅对动态热重建有效，也对静态热场景建模有效。图9. TI-NSD数据集上静态无人机的定性比较。所提出的方法比竞争方法更忠实地保留了几何结构和精细的热细节。5.4 定量比较5.4.1 相机姿态注册完整性可靠的相机姿态注册对于热场景重建至关重要，特别是在低纹理和低对比度的环境中。因此，我们将基于VGGT的姿态初始化流程与广泛使用的基于运动的结构重建框架COLMAP进行了比较。这两种方法都应用于从MVTD中提取的增强对比度的8位热图像。如表1所报告的，COLMAP在动态热场景中经常无法注册足够的视图，因为弱纹理和不稳定的特征匹配使得注册过程变得困难。相比之下，VGGT成功地为所有三个序列注册了所有评估的视图。这些结果表明，在热成像条件下，VGGT提供了比传统SfM更好的鲁棒性和注册完整性，从而为后续的动态重建提供了更可靠的初始化阶段。5.4.2 动态场景上的场景重建性能表2报告了MVTD数据集中动态序列的定量比较结果。总体而言，Thermal4D在所有三个场景和所有三个指标上都取得了最佳性能。与K-Planes和4DGS相比，我们的方法一致获得了更高的PSNR和SSIM值以及更低的LPIPS分数，表明在光度保真度、结构一致性和感知质量方面有所改进。这些改进在Robotic Arm和Heating Platform序列中尤为明显，因为这些序列的运动模式更为复杂，热结构中的纹理较少。表2. MVTD数据集上动态热场景的定量比较。最佳和第二佳结果分别用粗体和下划线标出。与从EasyVolcap中的通用神经渲染流程改编的ENeRFi和Instant-NGP+T相比，Thermal4D也显示出明显的优势。这表明，直接将通用的动态视图合成方法应用于热图像不足以解决热数据中固有的辐射测量歧义和弱结构线索问题。这些结果表明，Thermal4D在具有关节运动、热不连续性和弱纹理的场景中特别有效，因为通用渲染方法通常难以产生可靠的重建。5.4.3 动态场景上的效率比较在单个NVIDIA RTX 3090 GPU上评估时，Thermal4D在MVTD动态基准测试中也实现了具有竞争力的效率。如表3所示，尽管所提出的方法通过TherHiLo和ATM引入了额外的计算，但在训练时间和渲染速度方面仍接近4DGS，同时在总体运行效率上显著优于K-Planes。具体来说，Thermal4D需要47分钟的训练时间，渲染速率为29 FPS，而4DGS需要38分钟和32 FPS，K-Planes需要132分钟和0.3 FPS。Thermal4D的峰值GPU内存使用量高于4DGS，但由于额外的热特征提取分支，它仍在实际的单GPU预算范围内。这些结果表明，所提出的方法在仅增加适度的计算开销的情况下就提高了重建质量。表3. MVTD动态重建基准测试上的效率比较。我们报告了在相同硬件设置下的总训练时间、渲染速度（FPS）和峰值GPU内存使用量。5.4.4 静态场景上的场景重建性能表4报告了包括TI-NSD的无人机子集和NTR数据集在内的补充静态场景基准的定量比较。TI-NSD的无人机子集用于评估室外长距离热成像条件下的性能，而NTR数据集提供了与NTR-Gaussian比较的额外挑战性基准。在TI-NSD场景的无人机子集上，Thermal4D在PSNR、SSIM和LPIPS方面取得了最佳的整体性能。与通用的3DGS基线相比，取得了显著的提升，表明热特定建模即使在静态设置中也很重要。Thermal3D-GS通过结合热成像先验进行了改进，而NTR-Gaussian进一步引入了物理意义上的热参数。尽管如此，Thermal4D在TI-NSD上仍然产生了最强的整体结果，表明频率感知表示学习和物理感知渲染的结合对动态和静态热重建都有益。表4. TI-NSD和NTR数据集上静态热场景的定量比较。在NTR数据集上，NTR-Gaussian取得了最佳结果，而Thermal4D排名第二，并在所有三个指标上都具有竞争力。这一结果合理，因为NTR-Gaussian明确优化了夜间热重建中的热力学参数估计。即便如此，Thermal4D在此场景上的强劲表现表明，所提出的框架在MVTD和TI-NSD设置之外的场景中也具有很好的泛化能力。5.5 消融研究为了评估Thermal4D中每个组件的贡献，我们在MVTD和TI-NSD上进行了消融研究。结果总结在表5中。表5. MVTD和TI-NSD上的消融研究。我们评估了TherHiLo模块、大气传输模块（ATM）、特征级监督项以及使用14位热输入的效果。移除TherHiLo会导致两个数据集上的性能明显下降，尤其是在LPIPS方面，这表明频率感知的热表示对于保持感知结构和局部细节很重要。移除ATM也会降低性能，特别是在TI-NSD上影响更明显，因为那里的远距离成像和大气效应更为相关。这证实了物理感知辐射建模对于热渲染的价值。当移除基于DINO的特征监督项时，性能略有下降，尤其是在感知质量方面，表明高级特征指导有助于在像素空间之外规范重建。最后，用8位图像替换TherHiLo中的14位热输入也会导致性能下降，尤其是在MVTD上。这一观察结果验证了保持热测量的原始辐射精度对于运动敏感的特征提取和动态重建是有益的。总体而言，这些消融结果表明，Thermal4D的改进并非来自单一组件。相反，这些改进来自于频率感知热注意力、大气传输建模、特征级监督和高精度热输入的互补效应。6. 结论在本文中，我们提出了Thermal4D，这是一个仅使用热红外图像的动态场景重建的物理感知框架。在3DGS的基础上，Thermal4D引入了一个频率感知注意力模块（TherHiLo）和一个大气传输模块（ATM），以解决热成像的关键挑战，包括低对比度、弱纹理和辐射测量失真。此外，高精度的14位热帧被纳入TherHiLo中，为特征学习提供了更丰富的辐射测量线索，而ATM通过建模发射率和大气传输效应提高了热渲染的物理一致性。在动态和静态热数据集上的实验结果表明，Thermal4D在重建质量和感知保真度方面始终优于现有的代表性方法。消融研究进一步验证了所提出组件的有效性。这些结果表明，Thermal4D是在具有挑战性的环境中进行热场景重建的有希望的解决方案。未来的工作将把基准扩展到更多多样化和户外的动态热场景，并探索模型压缩和加速技术，以实现实时推理和在边缘设备上的高效部署。