深度和语义引导的3D高斯散布技术，结合合成视图进行微调

《IEEE Access》：Depth and Semantic Guided 3D Gaussian Splatting With Synthetic-View Fine-Tuning

　　

摘要：

最近在3D高斯拼接（3DGS）技术方面的进展使得大规模城市重建的实时光真实感渲染成为可能。然而，在约束条件较弱的情况下，重建质量仍然会下降，这可能是由于几何或语义线索不足，或者视角覆盖范围有限所致。这些约束条件较弱的区域不仅会出现密度泄漏、几何变形和语义边界不稳定的问题，还会通过多视图光度耦合将噪声传播到相邻视图，进一步破坏可见表面的稳定性。为了解决这一限制，我们提出了一个两阶段框架，以在约束条件较弱的情况下稳定并增强3DGS重建效果。在第一阶段，采用双重正则化策略，结合深度引导的空域消失损失和语义一致性损失，抑制浮动物体并清晰化类别边界，从而建立几何上稳定且语义上连贯的基础。然而，仅靠第一阶段无法完全消除来自观测不足区域的伪影。在第二阶段，通过合成视图微调协议生成观测不足方向的虚拟帧，增加监督密度并防止噪声传播，同时保持第一阶段建立的几何结构。在MORAI城市场景数据集上的实验表明，与基于CityGaussian的基线方法相比，该框架取得了显著的改进，实现了29.91的峰值信噪比（PSNR）、0.9594的结构相似性指数（SSIM）和0.0783的学习感知图像块相似性（LPIPS）。所提出的框架形成了一个连贯的、考虑约束条件的重建流程，能够提供稳定的几何结构、清晰的语义表达以及改进的稀疏视图鲁棒性，从而实现可扩展的实时城市场景渲染。