CoSurfGS：基于协作分布式学习的3D表面高斯散射技术，用于大规模场景重建

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：CoSurfGS: 3D Surface Gaussian Splatting with Collaborative Distributed Learning for Large-scale Scene Reconstruction

针对大规模场景重建中3D Gaussian Splatting方法存在的内存、时间和几何细节不足问题，提出CoSurfGS框架，通过Local Model Compression消除冗余高斯体提升效率，结合Model Aggregation Schemes整合多设备知识，实验验证其有效性。

　　

摘要

3D高斯散布（3DGS）在场景重建方面表现出色。然而，大多数现有的基于高斯散布（GS）的表面重建方法主要针对的是规模有限的3D对象或场景。将这些方法直接应用于大规模场景重建会面临诸多挑战，如高内存成本、耗时过长以及几何细节缺失等问题，这使得在实际应用中难以实施。为了克服这些限制，一种自然的解决方案是将学习任务分布在多台协作设备上。然而，协作式分布式学习带来了独特的挑战，包括在资源有限的本地设备上高效训练模型，以及如何在设备间有效整合知识以保持全局一致性和高质量重建结果。为此，我们提出了CoSurfGS这一新型的协作式分布式框架，它能够在保持高效训练和GPU内存利用的同时，实现高质量的大规模表面重建。具体而言，我们提出了两个模块：局部模型压缩（LMC），该模块通过消除冗余的高斯分布来提升每台设备的内存使用效率和训练效果；模型聚合方案（MAS），则通过多台分布式设备之间的协作来提升整体重建质量。在Urban3d、MegaNeRF和BlendedMVS等数据集上的广泛实验表明，我们的方法能够实现快速、可扩展的高保真表面重建和真实感渲染。

3D高斯散布（3DGS）在场景重建方面表现出色。然而，大多数现有的基于高斯散布（GS）的表面重建方法主要针对的是规模有限的3D对象或场景。将这些方法直接应用于大规模场景重建会面临诸多挑战，如高内存成本、耗时过长以及几何细节缺失等问题，这使得在实际应用中难以实施。3D高斯散布（3DGS）在场景重建方面表现出色。然而，大多数现有的基于高斯散布（GS）的表面重建方法主要针对的是规模有限的3D对象或场景。当这些方法被扩展到大规模场景重建时，会遇到高内存消耗、训练时间过长以及几何细节不足等问题，从而难以在实际应用中得到应用。为了克服这些限制，一种自然的解决方案是将学习任务分布在多台协作设备上。然而，协作式分布式学习带来了独特的挑战，包括在资源有限的本地设备上高效训练模型，以及如何在设备间有效整合知识以保持全局一致性和高质量重建结果。为此，我们提出了CoSurfGS这一新型的协作式分布式框架，它能够在保持高效训练和GPU内存利用的同时，实现高质量的大规模表面重建。具体而言，我们提出了两个模块：局部模型压缩（LMC），该模块通过消除冗余的高斯分布来提升每台设备的内存使用效率和训练效果；模型聚合方案（MAS），则通过多台分布式设备之间的协作来提升整体重建质量。在Urban3d、MegaNeRF和BlendedMVS等数据集上的广泛实验表明，我们的方法能够实现快速、可扩展的高保真表面重建和真实感渲染。