ThermoSplat：具有特征调节与几何解耦的跨模态3D高斯溅射算法

《Neurocomputing》：ThermoSplat: Cross-modal 3D Gaussian splatting with feature modulation and geometry decoupling

　　

摘要

在各种光照和天气条件下实现可靠的环境感知，集成RGB与热红外数据的多模态场景重建至关重要。然而，将3D高斯散射技术扩展到多光谱场景仍面临挑战。现有方法往往难以充分利用多模态数据的互补信息，要么忽视跨模态相关性，要么使用的共享表示无法有效处理不同光谱间的复杂结构关联与物理差异。为解决这些问题，我们提出了ThermoSplat这一新框架，通过主动特征调节与自适应几何解耦实现深度光谱感知重建。首先，我们引入了光谱感知自适应调节机制，该机制根据热结构先验动态调整共享潜在特征，从而借助可靠的跨模态几何线索引导可见纹理的生成。其次，为解决不同模态的几何不一致性问题，我们提出了模态自适应几何解耦方案，该方案可学习独立的透明度偏移量，并为热图像分支单独执行光栅化处理。此外，我们还采用了混合渲染流程，将显式球面谐波与隐式神经解码相结合，以确保语义一致性及高频细节的保留。在RGBT-Scenes数据集上的大量实验表明，ThermoSplat在可见光与热光谱领域均实现了最先进的渲染质量。

引言

3D场景重建在自主系统、遥感、监控等领域得到了广泛应用。传统的基于RGB的重建方法在大多数情况下能够实现高精度重建，但在低光照、浓烟或黑暗等复杂环境中的性能会显著下降。为克服这些局限，多模态重建技术，尤其是结合RGB与热数据的重建方法，已成为重要的研究方向。与依赖反射光的RGB传感器不同，热传感器能够捕捉物体发出的长波红外辐射，从而获取不受光照变化影响的稳定结构信息与热特征，这为极端条件下的场景几何结构提供了可靠的参考依据。

神经网络隐式表示技术的进步推动了多模态3D重建研究的发展。先前的研究[1][2]将神经辐射场[3]框架扩展到红外光谱领域，证明了从多视角观测数据中合成热图像的可行性。然而，基于NeRF的方法通常存在计算成本高、推理速度慢的问题，限制了其在实时应用中的使用。近期，3D高斯散射技术[4]的出现大大提升了训练与渲染效率，同时也改善了渲染质量。在此基础上，又出现了多种多光谱3D高斯散射框架。目前的先进方法主要分为两类：一类是将3D高斯散射分解为针对不同模态的独立组件以处理属性差异[5]，另一类则是将多光谱信息整合到统一的潜在空间中，再通过多层感知机进行解码[6][7]。不过，如何在共享几何结构与模态特定外观之间找到最佳平衡仍是一项难题。前者往往会导致模型复杂度上升，且难以保持跨模态的空间一致性；而后者则难以精确模拟不同光谱之间的固有物理差异与结构变化。

为填补这些空白，我们提出了ThermoSplat这一全新的跨模态3D高斯散射框架，它通过主动特征调节与自适应几何解耦实现了深度光谱感知重建。与那些依赖显式分解或统一潜在表示的现有方法不同，ThermoSplat引入了光谱感知自适应调节机制。该机制借鉴了线性调制的数学灵活性[8]，能够根据热结构先验动态调整共享潜在表示，使模型能够主动利用红外结构特征来指导可见纹理的生成。此外，为解决不同光谱带之间的固有物理差异问题，我们提出了模态自适应几何解耦方案，该方案允许对红外光谱进行独立的几何调整，从而有效消除透明度或反射率变化区域出现的伪影。最后，为避免纯基于特征的解码方式带来的细节丢失问题，我们采用了混合渲染流程，将显式球面谐波与特征调节后的神经解码相结合，从而在保持各模态间语义一致性的同时，保留高频的RGB细节。

实验结果表明，ThermoSplat在可见光与热光谱领域均实现了最先进的渲染质量。本工作的主要贡献如下：

• •
  光谱感知自适应调节：我们设计了这一机制以建立深度特征依赖关系。通过利用结构先验来调节共享潜在特征，该方法提升了纹理恢复效果及跨模态对齐精度。
• •
  模态自适应几何解耦：我们提出了可学习的热透明度偏移量，并为可见光与红外光谱分别执行独立的光栅化处理，从而实现几何表示的解耦。该机制有效解决了因不同模态的物理特性差异导致的深度与遮挡错位问题。
• •
  混合显式-隐式渲染：我们设计了这种混合渲染流程，将显式球面谐波与经过特征调节的神经解码相结合。该架构能够在保持不同模态间低频语义一致性的同时，保留高频的RGB细节。

章节节选

3D神经场景表示

近年来，3D神经场景表示领域的研究方向已从隐式方法转向显式方法。基于隐式NeRF的方法[3][9][10][11]将场景表示为3D空间中的连续函数，通过类似多层感知机的浅层网络实现视点依赖的、逼真的场景渲染效果。不过，这些方法存在训练与渲染耗时较长的问题，限制了其在实时应用中的使用。为解决这一问题，3D高斯散射技术应运而生

概述

ThermoSplat的整体架构旨在通过处理随光谱变化的特性来实现高精度的多模态场景重建。如图1所示，我们采用经过多模态特征增强处理的3D高斯散射技术[4]来表示场景。该流程首先通过对光栅化的潜在表示进行光谱感知自适应调节，利用热结构先验来指导可见纹理的生成，进而处理几何问题

实现细节

我们在RGBT-Scenes数据集上对模型进行了评估，该数据集包含10个室内和室外场景下的1000多组经过校准的RGB与热图像对，涵盖了多种不同的环境与光照条件。为验证该方法的有效性，我们将其与包括MMOne[7]、MS-Splattingv2[21]和ThermalGaussian[5]在内的现有最先进方法进行了比较，同时还与分别针对两种光谱类型训练的3D高斯散射基线模型进行了对比。我们采用了峰值信噪比作为评估指标

结论

本文提出了ThermoSplat这一全新的跨模态3D高斯散射框架，用于实现高精度的RGBT场景重建。为有效弥合可见光与热光谱之间的差距，我们设计了光谱感知自适应调节机制，利用热结构先验来指导可见纹理的生成。此外，为解决因不同物理传感特性导致的几何不一致性问题，我们提出了模态自适应解决方案

CRediT作者贡献说明

苏兆奇：论文撰写——审阅与编辑、论文撰写——初稿撰写、方法设计、资金获取。陈世海：论文撰写——审阅与编辑、数据整理。林欣燕：论文撰写——审阅与编辑、数据整理。黄立勤：论文撰写——审阅与编辑。苏志鹏：论文撰写——审阅与编辑、方法设计、资金获取、概念构思。卢晓强：论文撰写——审阅与编辑、研究指导、资金获取。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本文的部分研究工作得到了中国国家自然科学基金（项目编号：62402274）以及福州大学启动资金（项目编号：XRC-25164）对苏兆奇的资助；还有中国福建省中青年教育科研项目（项目编号：JZ250004）对苏志鹏的资助；此外还得到了福建省海洋与渔业高质量发展专项资金（项目编号：FJHYF-L-2025-07-005）的资助

苏兆奇目前是中国福建省福州市福州大学物理与信息工程学院的副教授。他于2017年获得中国北京清华大学物理系学士学位，2023年在刘业斌教授的指导下获得同校自动化系博士学位。2023年至2025年间，他作为博士后研究员在3D视觉与计算摄影实验室继续开展研究工作

Zhaoqi Su|Shihai Chen|Xinyan Lin|Liqin Huang|Zhipeng Su|Xiaoqiang Lu

中国福建省福州市福州大学物理与信息工程学院，邮编350108