GSsplat：用于3D场景新视角合成的可泛化语义高斯溅射技术

《Neural Networks》：GSsplat: Generalizable Semantic Gaussian Splatting for Novel-View Synthesis in 3D Scenes

　　冯晓|徐鸿斌|梁万林|康文雄

摘要：从多个视角合成未见场景的语义信息，对于3D场景理解研究而言至关重要。现有方法能够通过重建可泛化的神经辐射场来生成新视图图像与语义地图，但往往存在速度和分割性能方面的局限。我们提出了一种可泛化的语义高斯泼溅方法（GSsplat），以实现高效的新视图合成。该模型通过单次推理预测场景适配的高斯分布的位置与属性，无需经历传统场景特定高斯泼溅方法中的密度优化与剪枝过程。在多任务框架中，我们设计了混合网络来提取颜色与语义信息，并预测高斯参数。为提升高斯分布的空间感知能力以获得更高质量的渲染效果，我们设计了基于群体监督的偏移学习模块，以及具有空间单元聚合功能的点级交互模块。在测试不同数量的多视图输入时，GSsplat在保持最快速度的同时，实现了最先进的语义合成性能。

1 引言
场景几何结构的密集语义映射是3D场景理解的核心内容，它有助于更好地解读复杂环境，这对视觉导航和机器人交互等应用至关重要（Lei等人，2023）。语义视图合成在这一领域受到了广泛关注。由于点云、网格和体素等离散3D表示方式在视图合成方面的局限性（He等人，2021），近期研究更多倾向于将语义推理扩展到辐射场方法中（Nguyen等人，2024）。

神经辐射场（NeRF）（Mildenhall等人，2021）是一种隐式体积表示方法，能够捕捉复杂的照明与几何细节，从而用较少的图像实现高质量3D重建。语义NeRF通常通过引入额外的分割渲染器来合成语义视图。给定源视图和相机参数后，通过多层感知结构对射线上的采样点进行颜色和体积密度积累，进而生成逐像素的语义标签（Zhi等人，2021）。3D高斯泼溅（3DGS）（Kerbl等人，2023）则是另一种作为显式场景表示的辐射场方法，它通过构建数百万个可学习的3D高斯分布来实现实时渲染（Chen和Wang，2024）。类似地，也有研究将语义特征嵌入3D高斯点的颜色函数中，以此获取新视图的语义类别标签（Guo等人，2024）。然而，这些方法都需要为特定场景建立辐射场，训练成本极高，且无法泛化到未见场景。

已有研究在室内场景的新视图语义合成中实现了可泛化的NeRF方法（Chen等人，2023；Chou等人，2024；Liu等人，2023），但仍存在明显缺陷。首先，大多数语义辐射场在构建过程中过度依赖2D图像的分割效果，忽视了与空间信息相关的语义分析。另一方面，基于NeRF的方法在图像渲染质量上具有显著优势，但由于需要计算大量采样点，耗时较长。最新的基于3DGS并具备语义合成功能的方法虽然使用了可泛化的高斯特征提取网络（Jurca等人，2024），但仍需预先构建特定场景的高斯辐射场。如图1所示，不可泛化方法需要在每个场景中进行迭代训练才能重建高斯辐射场，而可泛化方法仅需一次模型前向推理即可预测不同场景的高斯分布。MVsplat（Chen等人，2024）则直接从多视图的深度信息中构建高斯点，无需针对特定场景进行密度优化与剪枝训练。但它仅能在颜色渲染方面实现可泛化的3DGS，而这种严重依赖成本体积监督的网络无法直接用于语义理解。

为解决上述问题，我们致力于将多任务视图合成扩展为可泛化的高斯泼溅方法，但同时也面临诸多挑战。当高斯分布不足以完全表征一个场景时，3DGS会通过自适应密度控制机制实现高质量渲染，但显然无法泛化到其他场景。以往的研究会利用深度先验来引导辐射场中的几何结构（Zhu等人，2024）。那么是否可以直接通过深度生成高斯点云呢？实际上，由于光照和噪声的影响，不同视图中的对应点在亮度和纹理方面并不总是一致。3DGS会在密度优化的迭代过程中生成几何上独立的点，以适配场景从而实现高质量渲染。因此，仅通过一次推理就从多视图输入直接预测高斯分布仍然是一项挑战。此外，语义信息和外观特征在特征空间中存在显著差异，在端到端网络中同时预测两个高斯参数很可能会相互影响。

在本文中，我们提出了GSsplat，这是一种用于3D场景高效新视图合成的可泛化语义高斯泼溅方法。它无需针对特定场景进行训练，即可从多视图输入重建高斯辐射场，同时能够生成彩色图像与语义地图。我们设计了混合网络来分别提取像素级的颜色与语义特征，然后基于深度先验初始化的点云预测高斯分布。我们还提出了两个创新模块，用于优化高斯属性及其位置，从而提升场景适配能力，而非像不可泛化方法那样依赖密度优化与剪枝迭代。我们引入了具有特征聚合功能的点级交互模块，使高斯分布预测过程能够有效学习跨视图信息以进行参数推理。与其他基于可泛化3DGS的方法不同，我们对原始高斯点进行了考虑偏移条件的群体监督学习。带有偏移的点用于适配场景以实现高质量渲染，而其余点则保持基本的几何结构。

我们工作的主要贡献可总结如下：
•我们将具备语义理解能力的新型视图合成技术扩展到3DGS领域，提出了一种可泛化的高斯泼溅方法，使得能够在未见场景中重建高斯辐射场，并实现颜色与语义渲染。
•我们在多任务高斯框架中设计了通用混合网络，提升了场景语义的理解与重建能力，其效果远优于传统的单一编码器结构。
•不同于现有的高斯预测方法，我们提出了全新的偏移学习模块，该模块利用几何约束对高斯位置进行群体监督。同时，点级交互模块显著提升了参数的预测能力。
•我们的GSsplat在新视图语义合成方面达到了最先进的性能，在多任务渲染框架中具有最快的前向推理速度。

片段内容
语义辐射场
基于NeRF的隐式表示方法对于3D场景的重建与理解至关重要。语义NeRF（Zhi等人，2021）是一项开创性工作，它将语义分割视为一种固有的与视图无关的函数，并引入了分割渲染器。NeSF（Vora等人，2022）则在预训练的NeRF基础上，使用3D UNet在不同场景中进行扩展的语义训练。此后的大多数研究都依赖于这两种框架来实现语义渲染。

基础原理
3DGS是一种基于高斯分布的显式辐射场技术，用于3D场景的表示与渲染。它通常需要对每个场景进行建模，需要该场景在不同姿态下的密集图像，以便优化一组可学习的高斯函数。G(x)=exp?12(x?μ)TΣ?1(x?μ)表示空间坐标x处的高斯分布，其中协方差矩阵为Σ，均值为μ。在辐射场中，Σ会被重新参数化为旋转矩阵R和缩放矩阵S的组合：Σ=RDataset与评估指标
我们使用与以往研究（Chou等人，2024；Liu等人，2023）相同的数据集设置来训练和评估模型。真实世界的数据集来源于ScanNet（Dai等人，2017），这是一个大规模的室内数据集，提供了1513个场景的RGB-D扫描图像、相机姿态以及语义标注。为了保证公平比较，我们使用60个场景来训练，然后在10个未见场景上测试我们提出的可泛化高斯泼溅方法。Replica（Straub等人，2019）则是一种高保真度的数据集。

结论
在本文中，我们提出了一种用于3D场景理解的可泛化语义高斯泼溅方法（GSsplat）。该方法能够高效地从多视图输入中重建彩色与语义高斯分布，进而合成新视图图像与语义地图。我们设计了通用混合网络作为多任务框架的核心，该网络能够在不同层级分别提取语义与颜色信息。我们致力于通过非几何方式调整高斯点的位置来提升渲染效果。

未引用文献
缺失引用，见表9C

RediT作者贡献说明
冯晓：写作——初稿撰写、可视化、验证、软件开发、方法设计。徐鸿斌：写作——审阅与编辑、软件开发、研究调查、概念构思。梁万林：写作——审阅与编辑、形式分析、数据整理。康文雄：写作——审阅与编辑、资源协调、研究调查、资金获取。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。

致谢
本文中的工作部分得到了中央高校基本科研业务费的支持（编号：2024ZYGXZR104）。