CAGS：基于上下文感知的高斯散射算法的开源词汇3D场景理解

《Image and Vision Computing》：CAGS: Open-vocabulary 3D scene understanding with context-aware Gaussian splatting

开放词汇3D场景理解中，跨视图粒度不一致问题导致对象分割不一致。本文提出CAGS框架，通过上下文感知的图特征传播减少噪声，掩模中心对比学习平滑SAM分割结果，预计算策略降低训练成本，有效提升3D实例分割精度并减少碎片化错误。

　　在当前人工智能与计算机视觉技术快速发展的背景下，三维场景理解正逐渐成为关键的研究领域。尤其是在机器人技术、增强现实（AR）和虚拟现实（VR）等应用中，系统需要具备对三维空间的准确感知与解释能力，而不仅仅是二维图像层面的理解。然而，传统的三维场景理解方法往往受限于固定的类别定义，难以应对开放词汇（open-vocabulary）下的复杂场景。开放词汇的三维场景理解意味着系统能够通过自然语言描述，灵活地识别和解释三维环境中未预先定义的对象、区域或空间关系。这一能力的实现，对于提升智能系统的适应性和泛化能力至关重要。

在三维场景表示技术中，3D Gaussian Splatting（3DGS）作为一种新兴的表示方法，因其在场景重建、渲染和生成方面的卓越表现而受到广泛关注。3DGS通过将三维场景分解为一系列具有位置和方向的高斯分布，构建出一个连续且显式的三维表示。这种表示方法不仅能够有效捕捉场景的几何结构，还能够保留丰富的视觉信息，如颜色和透明度。然而，尽管3DGS在三维重建方面表现出色，当其与开放词汇框架结合时，却面临一个关键的挑战——跨视角粒度不一致（cross-view granularity inconsistency）。这一问题的根源在于二维分割方法，例如Segment Anything Model（SAM），它们缺乏对三维空间的感知能力，导致在不同视角下对同一物体的分割结果出现不一致。例如，一个“饼干盘”可能在某一视角下被分割为一个整体，而在另一视角下则被分解为多个“饼干”个体。同样，一个“咖啡套装”可能在某一视角下被视为一个统一的整体，而在另一视角下却被拆分为“杯子”、“咖啡”和“勺子”等独立元素。这种粒度不一致不仅影响了模型的泛化能力，也阻碍了对三维场景的全面理解。

为了应对这一挑战，本文提出了一种新的框架——Context-Aware Gaussian Splatting（CAGS）。CAGS的核心思想是通过引入空间上下文信息，增强3DGS在开放词汇场景理解中的表现。该框架主要包含三个关键组成部分：上下文特征传播、掩码感知的对比学习以及用于高效训练的预计算策略。首先，CAGS通过构建局部图结构，实现了在高斯点之间传播上下文特征，从而减少了由于粒度不一致带来的噪声干扰。这一机制使得每个高斯点能够结合其邻近点的空间信息，从而提升对视觉统一对象的特征一致性。其次，CAGS引入了掩码感知的对比学习策略，通过在SAM分割结果的基础上计算特征中心点，并在不同视角之间对这些中心点进行对比监督，进一步减少了分割不一致对特征表示的影响。最后，为了提高在大规模场景下的训练效率，CAGS采用了一种预计算策略，通过在冻结高斯点位置后预先计算邻近关系，避免了训练过程中重复的图计算，从而显著降低了计算成本。

CAGS的提出，不仅解决了跨视角粒度不一致的问题，还提升了3DGS在开放词汇场景理解中的性能。通过引入空间上下文信息，CAGS在多个具有挑战性的数据集上进行了实验验证，包括LERF-OVS、ScanNet、Replica和Matterport3D。实验结果表明，CAGS在3D实例分割任务中取得了显著的性能提升，并有效减少了因粒度不一致导致的碎片化错误。这些结果凸显了空间上下文在实现准确开放词汇三维理解中的关键作用。

在实际应用中，CAGS的贡献在于其为开放词汇三维场景理解提供了一种更高效、更鲁棒的解决方案。传统的三维场景理解方法往往依赖于点云数据，而3DGS作为一种更灵活的表示方法，能够更好地适应复杂场景的重建需求。然而，由于缺乏对空间上下文的建模，这些方法在面对开放词汇任务时存在局限性。CAGS通过在3DGS中引入上下文信息，不仅解决了跨视角粒度不一致的问题，还提升了模型在不同视角下的语义一致性。此外，CAGS的预计算策略使得其在大规模场景中的训练更加高效，从而具备了更强的可扩展性。

从技术实现的角度来看，CAGS的创新之处在于其对空间上下文的建模方式。传统的3DGS方法通常采用孤立的高斯点特征学习，忽略了相邻高斯点之间的空间关系，这在一定程度上导致了特征表示的碎片化。CAGS通过构建局部图结构，使得每个高斯点能够与周围点进行信息交换，从而形成更连贯的特征表示。这一过程不仅有助于减少由于粒度不一致带来的噪声，还增强了模型对三维对象的识别能力。同时，CAGS的掩码感知对比学习策略，通过对SAM分割结果进行处理，确保了不同视角下分割对象的特征一致性。这种方法在保持模型性能的同时，也降低了对高精度分割的依赖，从而提升了模型的鲁棒性。

此外，CAGS的预计算策略在提升训练效率方面具有重要意义。在大规模三维场景中，高斯点的数量可能达到数百万级别，这使得传统的图计算方法在训练过程中面临较高的计算成本。通过在冻结高斯点位置后预先计算邻近关系，CAGS能够在训练时避免重复的图计算，从而显著减少计算开销。这一策略不仅提高了模型的训练效率，还确保了在大规模场景下的性能稳定性。

从应用场景来看，CAGS的提出对于提升智能系统的适应性具有重要价值。在机器人技术中，系统需要在复杂环境中进行导航和任务执行，而开放词汇的三维场景理解能够帮助机器人更准确地识别和理解周围环境中的物体及其关系。在增强现实领域，CAGS能够提升虚拟对象与现实环境的融合效果，使得用户在交互过程中获得更自然的体验。此外，在智能城市、自动驾驶等应用中，CAGS也有助于提升系统的环境感知能力，使其能够更好地应对多样化的场景变化。

CAGS的实验结果进一步验证了其在实际应用中的有效性。在多个具有挑战性的数据集上，CAGS不仅在3D实例分割任务中取得了优异的性能，还显著减少了因粒度不一致导致的碎片化错误。这些数据集涵盖了不同类型的三维场景，包括室内环境、室外场景以及复杂结构的场景。实验结果表明，CAGS在不同视角下的分割一致性得到了显著提升，从而为开放词汇三维场景理解提供了更可靠的基础。

总的来说，CAGS的提出为解决开放词汇三维场景理解中的跨视角粒度不一致问题提供了一种全新的思路。通过引入空间上下文信息，CAGS不仅提升了3DGS在三维重建和语义理解方面的表现，还为大规模场景的高效训练提供了可行的解决方案。未来，随着三维场景理解技术的不断发展，CAGS的创新方法有望在更多实际应用中得到推广和优化，为智能系统的环境感知能力带来新的突破。