综述：3D高斯散布技术及其扩展：综述

《Neurocomputing》：3D Gaussian splatting technologies and extensions: A review

本文系统综述了3D Gaussian Splatting（3DGS）技术，分析了其基于高斯体显式表示的优势，对比了与NeRF的效率差异，并探讨了其在动态重建、实时渲染等领域的应用及优化策略。

　　近年来，3D Gaussian Splatting（3DGS）技术在新视角合成领域取得了显著进展。与主要关注位置和视角变换的隐式神经辐射场（NeRF）方法不同，3DGS通过利用数百万个高斯椭球体进行场景重建，并采用并行可微分光栅化技术大幅提升渲染效率。鉴于该技术的快速发展和广阔前景，本文提供了一次系统性的回顾，总结了3DGS的最新进展。我们详细阐述了3DGS的基本理论，并介绍了相关的基准数据集。独特的是，本文根据高斯光栅化流程的不同阶段对现有的优化策略进行了分类。此外，我们还回顾了基于3DGS的多种下游应用，并讨论了未来的研究方向。本文旨在为所有参与3DGS研究的学者提供有价值的参考，推动该技术的进一步发展。

在计算机视觉和计算机图形学快速发展的时代，3D场景重建已成为一个越来越重要的组成部分。它指的是通过从不同视角获取的一系列输入图像，或从其他数据源如深度图或点云中推断出场景或物体的完整三维结构和几何形状，以生成适合后续分析、模拟或可视化的3D模型。作为使机器理解现实世界环境复杂性的基本步骤，3D重建长期以来被认为是计算机技术发展史上的核心但尚未解决的挑战。由于外部条件和算法能力的限制，该领域一度缺乏稳健且可靠的解决方案。NeRF [1] 的出现及其后续变体 [2]、[3]、[4]、[5]、[6] 的发展，为3D场景重建带来了重大突破。NeRF利用深度神经网络，以3D空间坐标和视角方向为输入，预测对应的颜色和密度值，从而学习一个体积辐射场表示。这一框架允许对场景中的光传播和分布进行建模，生成具有前所未有的真实感和视觉保真的连续且体素化的表示。然而，这一进步也伴随着固有的缺陷：NeRF计算密集度高，并且由于其隐式表示，编辑性和交互操作性面临较大挑战。

为了克服NeRF的局限性，3DGS [7] 作为一种新的场景表示和渲染范式应运而生。与之前尝试通过增量改进提升NeRF的研究不同，3DGS引入了一种根本不同的方法。它首先以由结构从运动（SfM）校准的相机拍摄的多视角静态图像和对应的稀疏点云作为输入。基于这些稀疏点，该方法构建数百万个可学习的3D高斯椭球体，以近似场景的几何结构。每个高斯编码了位置、形状、颜色和透明度等信息，其中位置和形状由高斯函数的均值和方差表示，颜色则通过球面调和函数表达。该模型通过使用结合L1损失和D-SSIM的复合损失函数进行随机梯度下降优化，并通过激活函数对参数范围进行约束。在优化过程中，引入了自适应密度控制机制，包括高斯克隆、分裂和修剪等操作，以根据场景重建的状态实现渐进式的密度增加。采用基于瓷砖的可微分光栅化器，将屏幕划分为瓷砖，对3D高斯进行视锥和瓷砖剔除，并分配包含深度和瓷砖ID的键用于瓷砖级的排序和渲染。这种设计巧妙地融合了可微分渲染流程和基于点的渲染技术的优点。由于其高度并行化的架构，3DGS有效避免了NeRF中固有的昂贵光线行进和空间冗余问题，同时保持了高质量的图像输出。

图1展示了NeRF和3DGS生成的渲染图像之间的差异。由于其明确的表示结构，3DGS在编辑性方面也表现出优越的性能。作为计算机视觉和图形学中场景重建和图像渲染范式的根本转变，3DGS在不牺牲视觉质量的前提下，显著提升了重建效率和对下游任务的适应性。

鉴于3DGS技术的创新性和重要性，以及其迅速发展，本文提供了对3DGS及其衍生方法的全面综述。作为一种相对较新的技术，许多研究者对该技术的底层机制仍不熟悉。尽管已有几篇相关文献 [8]、[9]、[10]、[11]、[12] 对3DGS进行了部分总结，但它们主要集中在对核心原理的高层次概述，缺乏对技术基础与优化策略之间内在关系的深入分析。为了弥补这一不足，本文首次对3DGS技术进行了详细探讨，并对其相关优化方法进行了分类，从而建立了基础原理与实际改进之间的概念联系。本研究旨在帮助读者更深入地理解该技术及其改进，同时提供一个基于技术结构的新视角。此外，我们总结了由3DGS所支持的多种下游任务，包括动态场景重建、实时定位与建图，并对这些领域中的代表性方法进行了比较评估。最后，我们提出了该技术未来研究方向和潜在应用的展望。本文的整体组织结构如图2所示。

在第1节中，我们简要概述了3DGS的背景和核心原理，强调了回顾相关工作的意义，并列出了本文的研究贡献。第2节详细介绍了3DGS技术，将其分解为三个功能模块，每个模块都附有相应的理论公式，并描述了实验中使用的数据集。在第3节中，我们总结了各种优化方法，旨在加深读者对该技术的理解，并明确不同优化策略的切入点。考虑到3DGS在效率和编辑性方面的显著提升，第4节介绍了在多个下游任务中表现出重大影响的3DGS应用，从而展示了其广泛的应用前景；图3和表1提供了代表性工作的时间线。第5节对典型方法在多个关键任务中的表现进行了比较分析，为研究人员选择合适的方法提供了指导。第6节探讨了3DGS在多个领域的未来研究方向和潜在应用，强调了需要进一步研究的开放性挑战。最后，第7节以本文调研的主要发现和见解作为总结。

3DGS的核心原理在于其对场景重建信息的编码方式。该方法以由结构从运动（SfM）校准的相机拍摄的多视角静态图像和对应的稀疏点云作为输入。这些输入用于生成稀疏点云，进而作为初始化一组3D高斯椭球体的基础。这些高斯椭球体编码了场景的几何结构信息，并通过可微分光栅化过程投影到二维图像平面上，最终使用基于点的渲染技术进行输出。与传统的隐式表示方法不同，3DGS采用了显式的高斯建模方式，这使得其在编辑性和交互性方面具有显著优势。通过将场景的几何结构分解为多个可学习的高斯体，3DGS能够在不牺牲图像质量的前提下，实现对场景的高效重建。此外，3DGS的可微分光栅化机制使其能够进行精确的光线追踪和渲染，而不会受到传统方法中因空间冗余而导致的性能瓶颈。

在优化方面，3DGS提供了多种方法，以应对不同阶段的重建需求。优化过程主要分为几个关键阶段，包括点云生成、高斯体初始化和模型优化。在点云生成阶段，利用SfM技术对输入图像进行校准，提取稀疏点云。这一过程虽然计算密集，但为后续的高斯建模提供了重要的基础。在高斯体初始化阶段，基于稀疏点云构建数百万个高斯椭球体，这些椭球体不仅包含了场景的几何信息，还通过形状、颜色和透明度等属性进行细化。在模型优化阶段，通过使用结合L1损失和D-SSIM的复合损失函数进行随机梯度下降优化，以确保模型在保持高质量的同时，实现对场景的精确重建。此外，通过激活函数对参数范围进行约束，使得优化过程更加可控和高效。在优化过程中，引入了自适应密度控制机制，包括高斯克隆、分裂和修剪等操作，以根据场景重建的状态实现渐进式的密度增加。这一机制不仅提高了重建的精度，还优化了计算资源的使用效率。

动态场景重建是3DGS技术的重要应用之一。该任务的目标是捕捉和表示随时间变化的三维结构，从而生成逼真的数字模型。与传统方法 [100]、[101]、[102]、[103] 相比，3DGS的核心在于利用多个高斯体来编码场景的几何结构。然而，其建模框架在本质上受到静态属性的限制，使得其在准确捕捉时间变化方面存在不足。因此，研究人员正在探索如何通过引入时间维度来扩展3DGS的适用范围。例如，通过将高斯体的属性与时间相关联，可以实现对动态场景的实时重建和更新。此外，利用深度学习模型对动态场景进行预测和建模，可以进一步提高3DGS在动态场景重建中的性能。这些方法不仅提升了重建的实时性，还增强了模型对动态变化的适应能力。

在3DGS的优化过程中，另一个重要方面是重建质量的评估。为了验证不同优化方法的有效性，本文对多种增强技术进行了比较分析。由于不同的方法改进针对不同的任务，并采用特定任务的评估指标，因此无法对所有方法进行统一比较。为此，我们选择了几个具有代表性的领域进行针对性评估，包括静态场景重建、动态场景重建、人体重建以及虚拟现实应用等。在这些领域中，不同的优化方法在提升重建质量方面表现出不同的效果。例如，在静态场景重建中，一些方法通过优化高斯体的密度和形状，显著提高了模型的精度和细节表现。而在动态场景重建中，一些方法则通过引入时间维度和动态调整机制，提高了模型对时间变化的适应能力。此外，在人体重建中，一些方法通过优化高斯体的形状和颜色，提高了模型对复杂人体结构的捕捉能力。在虚拟现实应用中，一些方法则通过优化渲染效率和图像质量，提高了用户在虚拟环境中的沉浸感和交互体验。

为了进一步推动3DGS技术的发展，本文还探讨了其未来的研究方向和潜在应用。尽管当前3DGS技术已经取得了显著进展，但在多个领域仍存在诸多挑战。例如，在动态场景重建方面，如何提高模型对时间变化的适应能力仍然是一个关键问题。在人体重建方面，如何提高模型对复杂人体结构的捕捉精度仍然是一个研究重点。此外，在虚拟现实应用中，如何提高模型的实时性和交互性，使其更好地服务于用户需求，也是一个重要的研究方向。为了应对这些挑战，研究人员正在探索多种新的方法和技术，包括引入更复杂的高斯体模型、优化渲染流程、提高计算效率等。这些方法不仅能够提升3DGS在各个领域的性能，还能够拓展其应用范围，使其更好地服务于实际需求。

3DGS技术的未来发展也涉及与其他技术的融合。例如，结合深度学习和传统计算机视觉技术，可以进一步提升3DGS在复杂场景中的表现。此外，引入更高效的计算架构，如GPU加速和分布式计算，可以显著提高3DGS的计算效率，使其能够处理更大规模的场景数据。同时，通过优化模型的参数设置和优化策略，可以进一步提高3DGS在不同任务中的适应能力。这些融合和技术优化不仅能够提升3DGS的性能，还能够拓展其应用范围，使其更好地服务于实际需求。

在总结本文的研究内容时，我们发现3DGS技术在多个方面都表现出显著的优势。首先，它通过显式的高斯建模方式，使得场景的几何结构更加明确和可控。其次，其可微分光栅化机制显著提高了渲染效率，避免了传统方法中因光线行进和空间冗余导致的性能瓶颈。此外，3DGS在编辑性和交互性方面表现出色，使其能够更好地服务于各种下游任务。通过结合多种优化方法和技术，3DGS在不同任务中的表现得到了显著提升，同时也为研究人员提供了丰富的参考和指导。

本文的研究成果表明，3DGS技术不仅在学术界具有重要地位，也在工业界和实际应用中展现出巨大的潜力。随着计算机视觉和计算机图形学的不断发展，3DGS技术将在更多领域得到应用，为现实世界的数字化和智能化提供强有力的支持。未来，研究人员将继续探索3DGS技术的优化方法和应用方向，以进一步提升其性能和适应能力，使其更好地服务于实际需求。同时，通过与其他技术的融合，3DGS技术将在更多领域得到应用，为现实世界的数字化和智能化提供强有力的支持。