面向实时场景重建的高斯泼溅：方法、系统与权衡

《Pattern Recognition》：Gaussian Splatting for real-time scene reconstruction: Methods, systems, and trade-offs

　　

• 提供了以流水线为中心的高斯泼溅实时场景重建分类体系。
• 综合了单帧生成、动态、效率、流式和 GS-SLAM 之间的关键权衡。
• 识别了开放问题和未来方向，强调了任务特定的运行时报告和可部署性。

引言
Kerbl 等人 [1] 引入了 3D 高斯泼溅 (3DGS) 作为一种显式场景表示，能够实现高质量交互式新视角渲染。后续工作迅速将该公式扩展到了静态每场景重建之外。可变形 3DGS [2] 和 4DGaussians [3] 引入了时间变形和时空表示，而后续方法则探索了前馈稀疏视图生成 [4]、[5]、效率和压缩、流式以及基于高斯的 SLAM。这些进展越来越多地将系统瓶颈从渲染现有表示转向构建、更新、传输或维护高斯场景。这种区别对于自由视角视频、沉浸式媒体、在线建图和机器人技术等应用很重要。在这些场景中，仅交互式渲染是不够的，因为场景构建、时间更新或地图维护的速度仍然远远慢于光栅化。

几篇综述已从更广泛的视角回顾了 3DGS。Wu 等人 [6] 按 3D 重建、编辑和下游应用组织该领域；Fei 等人 [7] 使用基于特征和应用的分类体系；Bao 等人 [8] 考察了优化、应用、扩展和常见的技术模块。更集中的综述涉及压缩和紧凑化 [9] 以及机器人技术 [10]。如表 1 所示，我们的关注点不同：我们将高斯泼溅组织为重建流水线，并研究哪些任务特定成本限制了实时部署。

在本综述中，实时是任务特定的。我们将仅渲染吞吐量与场景生成、动态或流式更新、SLAM 跟踪与建图以及离线优化区分开来。只有当工作单位和计时边界对齐时，才比较这些量，具体定义见第 2.7 节。

我们从图 1 所示的流水线视角构建了实时高斯场景重建。我们将文献组织成五个重叠的家族，依据是包含主要贡献的阶段：单帧生成、动态表示、效率和压缩、流式和沉浸式系统，以及高斯泼溅 SLAM。这种以流水线为中心的视角揭示了在其他不同的 GS 系统中，几何、姿态估计、时间更新、内存和渲染成本出现在何处。

我们将本综述的范围、组织和贡献总结如下：
• 以流水线为中心的分类体系：我们根据重建流水线的主要阶段将 GS 研究组织成五个重叠的家族，并支持一个紧凑的标签模式用于结构化比较（图 2 和表 3）。
• 任务特定的实时框架：我们使用明确的工作单位和计时边界区分仅渲染吞吐量、场景生成、时间更新、SLAM 跟踪与建图以及离线优化（第 2.7 节 任务特定实时定义、第 4.2 节 任务特定运行时指标、第 4.3 节 评估协议）。
• 定量和算法评估：我们提供了兼容稀疏视图方法的受控比较以及其余家族的互补原生评估，并明确了可比性边界和机制级分析（第 6 节）。
• 跨家族综合：我们将算法选择与质量、延迟、内存、更新成本和部署适用性联系起来，并识别了迈向端到端实时系统的剩余障碍（第 6 节和第 7 节）。

章节摘要
基础知识
图 1 总结了端到端高斯泼溅重建流水线以及我们的五个分类家族介入的位置。本节固定术语和符号，总结用于实时渲染的核心 3DGS 表示和光栅化/合成，并定义整个过程中使用的训练机制、输入/监督假设以及实时标准。最后，我们以一个紧凑的标签模式结束，用于结构化分类体系和方法比较。

方法
我们根据第 2.7 节中的任务特定定义，调查面向实时场景重建的高斯泼溅 (GS) 研究。我们的工作流是：(i) 广泛收集论文，(ii) 应用与 GS 重建流水线一致的纳入标准，(iii) 分配以流水线为中心的分类体系及一致的标签，(iv) 使用端到端感知惯例解释报告的效率。

数据集和评估协议
本节总结了综述中使用的数据集、质量指标和评估协议。运行时比较遵循第 2.7 节引入的任务特定定义。

分类体系
我们将面向实时重建的高斯泼溅工作组织成五个以流水线为中心的家族，这些家族由方法介入的主要阶段（捕获/训练、表示、渲染、系统交付或在线估计）定义。由于许多方法是多面的，我们允许次要重叠，但根据其主要技术贡献为每篇论文分配一个主要家族。
图 3 显示了这些家族中代表性方法的历时发展。

单帧和稀疏视图生成
对于校准的稀疏视图方法，高斯构建可以表示为先进行深度推断，然后进行反投影，????(??)=???1(??,?????(??);????,????),(????,????,????)=????(????(??))。
MVSplat [5] 从平面扫描代价体估计 ?????，????(??,????)=Agg??≠???????(??),????→??(????;????)?，?????=∑??softmax(????)??????，因此几何形状主要由跨视图对应关系决定。DepthSplat [17] 则增强多视图匹配表示，加入预训练的单体深度特征，?????=????(????,??mono??)，然后再进行深度回归，并且

开放问题和未来方向
我们总结了 GS 重建流水线主要组件的开放问题（见图 1），重点关注阻碍统一端到端实时系统的问题。

结论
本综述回顾了面向实时场景重建的高斯泼溅 (GS)。我们不仅列出了方法，还将先前工作组织成以流水线为中心的分类体系，并突出了决定方法是仅在一个子模块中实时还是可端到端部署的权衡。

优势和对领域的价值
本工作的主要优势在于其跨组件的综合。我们将设计选择（例如，时间参数化与稳定性、修剪/量化/LoD 与...）与质量、延迟、内存、更新成本和部署适用性联系起来，并识别了迈向端到端实时系统的剩余障碍（第 6 节和第 7 节）。

CRediT 作者贡献声明
Ashim Dahal: 撰写 – 原始草稿、方法论、调查、概念化。Rabab Abdelfattah: 撰写 – 审阅与编辑、监督。Nick Rahimi: 撰写 – 审阅与编辑、监督。

利益冲突声明
作者声明他们不知道任何可能影响本论文报告工作的财务利益或个人关系。

致谢
作者仅使用大型语言模型 (LLM) 进行英语语法、清晰度和 LaTeX 格式辅助；所有技术内容、解释、观点和结论均由作者负责。

Ashim Dahal|Rabab Abdelfattah|Nick Rahimi