将语言嵌入的三维高斯散射技术应用于实际场景

《IEEE Transactions on Visualization and Computer Graphics》：Taking Language Embedded 3D Gaussian Splatting into the Wild

　　

摘要：

最近，在利用大规模互联网照片集进行3D重建方面的进展使得人们能够沉浸式地探索全球的地标和历史遗迹。然而，现有的方法主要集中在视觉外观的重建上，往往忽略了这些3D场景的交互式语义理解（例如，识别特定的建筑部分或场景细节），而这仍然主要局限于浏览静态的文本-图像对。因此，我们能否从实景3D重建技术中汲取灵感，利用不受限制的照片集来创建一种超越单纯视觉外观的沉浸式方法，以实现全面的3D场景理解？为此，我们扩展了语言嵌入的3D高斯扩散（3DGS）技术，并提出了一个从不受限制的照片集中进行开放词汇场景理解的新框架。具体来说，我们首先从与不受限制的照片相同的视角渲染多个外观图像以及重建的辐射场，然后提取多外观CLIP特征和两种类型的语言特征不确定性图——瞬态不确定性和外观不确定性——这些特征来自多外观数据，用于指导后续的优化过程。接下来，我们提出了一个考虑瞬态不确定性的自动编码器、一种多外观语言场的3DGS表示方法以及一种集成后策略，以有效地压缩、学习和融合来自多个外观的语言特征。最后，为了定量评估我们的方法，我们引入了PT-OVS，这是一个用于评估不受限制照片集上开放词汇分割性能的新基准数据集。实验结果表明，我们的方法优于现有方法，能够实现准确的开放词汇分割，并支持诸如使用开放词汇查询进行交互式漫游、建筑风格模式识别和3D场景编辑等应用。请访问我们的项目页面：Project Page。

1 引言

在过去的几十年里，研究人员利用从互联网收集的图像来重建地标和历史遗迹，从而实现了它们的数字探索和导航 [53], [54], [62]。然而，现有的方法主要集中在视觉外观上。在识别特定场景细节或解析语义内容方面，人们仍然主要依赖于静态的文本-图像对，缺乏沉浸式的视觉体验。我们能否从成功的实景3D重建方法中汲取灵感，以实现低成本、细粒度的3D场景语义理解，这些理解来自互联网上的不受限制的照片集？这将帮助用户直观且沉浸式地探索环境，查询感兴趣的特定对象，并超越其几何形状来解释场景。至关重要的是，这将虚拟现实体验从被动的视觉检查转变为积极的、知识驱动的交互，为创建智能的虚拟遗产地提供了一个可扩展的解决方案，而无需耗费大量的人工标注。来自互联网的不受限制的照片集通常包含在不同条件下拍摄的图像——不同的年份、光照环境、相机设备以及视角——并且可能包括穿过场景的行人或车辆等瞬态遮挡物。虽然通过不受限制的照片集理解建筑组件仍处于初级阶段，但最近在实景3D重建技术方面的进展提供了宝贵的见解。