通过多视图立体技术和一致性约束实现的可泛化的3D高斯插值方法

《Neurocomputing》：Generalizable 3D Gaussian splatting via multi-view stereo and consistency constraints

多视图立体视觉增强的3D高斯溅射框架通过自适应感知特征聚合模块和深度法线联合监督策略，有效提升复杂场景重建精度与跨场景泛化能力，实验表明在多个基准数据集上显著优于现有方法。

　　近年来，随着计算机视觉技术的快速发展，基于多视角图像的三维（3D）重建已成为该领域的重要研究方向。通过在多个视角之间准确匹配特征，3D重建技术能够从二维图像中估计出场景的几何结构，并被广泛应用于多视角立体匹配（Multi-view Stereo, MVS）、新视角合成（Novel View Synthesis）以及3D场景重建等任务。其中，MVS方法因其在从不同视角拍摄的图像中推断场景几何结构和深度信息方面表现出的强大能力而取得了显著的成功。然而，这些方法在无纹理区域的表现往往较为薄弱，限制了它们在复杂现实场景中的适用性。

与此同时，神经辐射场（NeRF）的引入为复杂场景的3D重建提供了新的可能性。NeRF在建模低纹理表面、非朗伯反射材质以及镜面反射等传统MVS方法难以处理的场景方面表现出色。尽管如此，NeRF在计算效率方面仍然存在明显瓶颈，特别是在实时渲染和大规模场景重建的应用中。为了克服这一问题，近年来出现了3D高斯点云渲染（3D Gaussian Splatting, 3DGS）技术，该技术通过显式表示各向异性3D高斯分布，实现了高质量、实时的渲染效果。然而，3DGS方法对特定场景的点云初始化高度依赖，这不仅限制了其在不同场景之间的泛化能力，也影响了其在大规模场景中的可扩展性。

综上所述，现有的3D重建方法在效率、逼真度和泛化能力方面仍面临诸多挑战。准确地重建未见过的场景，并合成具有高保真度的新视角，依然是一个亟待解决的重要问题。为了解决这些问题，研究人员从多个方向进行了探索，提出了多种方法。其中，基于MVS的方法在场景重建和新视角合成方面取得了显著进展。例如，Pixelsplat通过引入代价体积（Cost Volume）来增强网络对空间关系的理解；MVSplat则通过在三维空间中进行平面扫描，构建代价体积表示，并将估计的多视角一致深度投影到网络中，从而获得更完整的新视角和更精确的几何重建；MVSGaussian提出了一种高效的混合高斯渲染方法，并结合多视角几何一致性聚合策略，提升了模型的泛化能力，并优化了每场景的初始化过程。尽管这些方法在提升3D重建的泛化能力和实时渲染效率方面取得了一定成效，但在实现高度逼真的渲染效果和在复杂现实场景中保持稳健的泛化能力方面仍存在不足。

在本研究中，我们旨在提升多视角几何重建的渲染质量，并增强模型在多样化场景中的泛化能力。为此，我们针对以下关键挑战提出了针对性的解决方案：首先，传统的MVS方法通常仅依赖于图像特征进行深度预测，这种单一的依赖方式容易导致低质量的重建结果和噪声干扰。其次，尽管近期的研究在提升渲染真实感和新视角合成方面取得了一些进展，但如何生成更加精确和紧凑的3D高斯分布以进一步提高渲染质量仍是一个未解的问题。最后，由于3D重建任务本身的复杂性，传统的优化策略在不受约束的情况下容易产生噪声重建结果，尤其是在跨场景泛化时，如何从3D高斯表示中有效提取几何一致的深度和法线信息，以提升渲染性能，仍然是一个关键挑战。

为了解决上述问题，我们进行了深入的分析，并设计了针对性的解决方案。首先，针对MVS方法中深度优化的不足，我们仔细研究了现有方法的局限性。传统方法往往依赖于视图之间的深度预测，这种做法容易忽略部分视图中被遮挡或不可见区域的影响。为此，我们引入了一种自适应感知感知特征聚合（Adaptive Perception-aware Feature Aggregation, APFA）模块。该模块通过局部特征自适应协作（Local Feature Adaptive Collaboration, LFAC）机制增强图像区域的表示能力，并利用注意力感知模块（Attention-Aware Module, AAM）对多视角间的上下文信息进行聚合。通过构建一个融合全局语义感知和局部几何细节的代价体积，我们的方法显著提升了深度估计的可靠性。

其次，深度和法线作为3D几何的两个核心属性，分别描述了物体的空间位置和表面方向。我们引入了一种深度-法线正则化策略，通过在自由空间中消除不必要的噪声干扰，进一步优化3D高斯分布的精度。通过整合几何先验信息，我们能够生成更加紧凑的3D高斯表示，从而大幅提高渲染质量和几何一致性。

为了验证我们提出方法的有效性，我们在多个广泛使用的数据集上进行了全面评估，包括DTU、Real Forward-facing、NeRF Synthetic和Tanks and Temples。实验结果表明，我们的方法在几何重建和新视角合成方面均取得了显著提升，尤其是在渲染质量和跨场景泛化能力方面表现突出。

本研究的主要贡献如下：首先，我们提出了一种基于MVS增强的3DGS框架，通过提升几何感知能力和引入深度与法线监督机制，显著提高了渲染质量和模型的泛化能力。其次，我们设计了APFA模块，该模块通过LFAC与全局AAM的结合，有效地将多视角图像特征融合为几何感知的3D表示，从而实现更加可靠的概率深度估计。最后，我们引入了一种深度-法线正则化策略，通过增强多视角几何一致性，进一步提升了模型在多样化数据集上的泛化能力，并实现了高保真度的渲染图像生成。

本研究的核心目标是通过结合MVS方法和3DGS技术，构建一个能够实现高质量渲染和跨场景泛化的新框架。具体而言，我们首先利用APFA模块进行特征提取，将多视角的特征信息聚合到一个代价体积中，该体积不仅包含了局部几何细节，还融合了全局语义信息。随后，我们采用3D卷积神经网络对代价体积进行正则化处理，以确保深度和法线信息的几何一致性。最终，我们通过优化算法将这些信息转换为3D高斯分布，从而实现高质量的图像渲染和场景重建。

为了验证我们方法的有效性，我们在多个标准数据集上进行了广泛的实验。其中包括DTU数据集，该数据集主要用于评估3D重建的精度；Real Forward-facing数据集，用于测试模型在真实场景中的表现；NeRF Synthetic数据集，用于评估新视角合成的效果；以及Tanks and Temples数据集，该数据集包含多个复杂场景，能够有效检验模型的泛化能力。实验结果表明，我们的方法在多个指标上均优于现有的最先进方法，包括峰值信噪比（PSNR）、结构相似性指数（SSIM）以及感知相似性（LPIPS）。特别是在现实世界中的复杂场景中，我们的方法展现出更强的泛化能力和更高的感知质量，进一步验证了所提出框架的有效性。

此外，为了确保模型的稳定性和一致性，我们还引入了一种基于多视角几何一致性的深度与法线监督策略。通过利用聚合后的点云数据进行优化初始化，我们能够在不引入额外计算负担的情况下，提高深度和法线预测的稳定性。同时，我们设计了一种高斯几何一致性正则化模块，该模块通过强制深度与法线预测之间的协调性，进一步提升了渲染结果的精细度和真实感。这一策略不仅有助于减少渲染中的噪声和失真，还能确保生成的图像在不同视角下保持一致的几何特性。

在本研究中，我们还特别关注了模型在不同场景之间的泛化能力。为了评估这一能力，我们选择了多个具有代表性的数据集，并对模型在这些数据集上的表现进行了系统分析。实验结果表明，我们的方法在跨数据集的测试中依然能够保持较高的渲染质量和几何一致性，这表明我们的框架具有较强的泛化能力。此外，我们还对模型在不同光照条件、不同纹理密度以及不同遮挡程度下的表现进行了分析，进一步验证了其在复杂现实场景中的鲁棒性。

在实际应用中，我们提出的方法可以用于多个领域，包括虚拟现实（VR）、增强现实（AR）、三维建模以及自动驾驶等。这些应用对高精度的3D重建和高质量的新视角合成有较高的要求，而我们的方法能够有效满足这些需求。例如，在虚拟现实和增强现实应用中，高精度的3D重建能够为用户提供更加真实的沉浸式体验；在三维建模领域，高质量的新视角合成可以辅助设计师生成更加逼真的模型；而在自动驾驶领域，精确的3D重建和实时渲染能力有助于提升环境感知和路径规划的准确性。

为了确保方法的可复现性和可扩展性，我们还对模型的训练和优化过程进行了详细说明。首先，我们在DTU数据集上进行了模型的训练，并在该数据集的测试集上评估了其性能。随后，我们对模型在Real Forward-facing、NeRF Synthetic和Tanks and Temples等数据集上的表现进行了进一步验证。在这些数据集中，我们选取了20个相邻的视角作为训练数据，并使用其中的16个视角作为工作视角，以确保模型在不同场景下的适应性。通过这种方式，我们不仅能够验证模型在标准数据集上的性能，还能评估其在现实场景中的泛化能力。

在实验过程中，我们还对模型的训练参数进行了优化，并通过消融实验分析了各个模块对最终性能的影响。实验结果表明，APFA模块在提升模型的深度估计能力和几何一致性方面起到了关键作用，而深度-法线正则化策略则在减少噪声和提升渲染质量方面表现出显著优势。此外，我们还对模型的实时渲染能力进行了测试，结果表明我们的方法能够在保持高质量渲染的同时，实现较高的计算效率，这为实际应用提供了良好的基础。

最后，我们对本研究的未来工作进行了展望。尽管我们提出的框架在多个方面取得了显著进展，但在实际应用中仍存在一些挑战。例如，如何在大规模场景中保持模型的计算效率，如何进一步提升模型在极端条件下的鲁棒性，以及如何将模型扩展到更多类型的3D重建任务，都是值得深入研究的问题。未来，我们计划在这些方向上进行更多的探索，以进一步提升3D重建方法的性能和适用性。

综上所述，本研究提出了一种结合MVS和3DGS的增强框架，通过引入APFA模块和深度-法线正则化策略，显著提升了3D重建的渲染质量和模型的泛化能力。实验结果表明，该方法在多个标准数据集上均优于现有的最先进方法，特别是在复杂现实场景中的表现尤为突出。这一研究成果为3D重建技术的发展提供了新的思路，并为实际应用奠定了坚实的基础。