神经辐射场(NeRF)相关研究:Mildenhall, Srinivasan, Tancik, Barron, Ramamoorthi, & Ng (2020); Müller, Evans, Schied, & Keller (2022); Barron, Mildenhall, Verbin, Srinivasan, & Hedman (2022); Barron, Mildenhall, Tancik, Hedman, Martin-Brualla, & Srinivasan (2021) 在重建复杂场景和合成新视图方面取得了令人印象深刻的结果。NeRF的研究领域非常广泛,其中3D对象分割因其能够丰富众多下游任务而备受关注。然而,其原生框架主要关注几何和外观建模,缺乏对场景语义信息的理解,难以满足自动驾驶和机器人交互等应用中对对象级解析的需求。为突破这一限制,研究人员提出了一系列基于NeRF的语义增强方法。一些方法通过引入额外的语义信息来优化密度场和类别概率,另一些方法则利用跨模态对比学习将文本嵌入映射到隐式空间。尽管这些方法能够在有限类别内实现粗粒度分割,但它们严重依赖于3D体素数据标注。此外,稀疏视图渲染导致的表面模糊进一步限制了分割边界的准确性。
与此同时,任意分割模型(SAM)Kirillov, Mintun, Ravi, Mao, Rolland, Gustafson, Xiao, Whitehead, Berg, Lo, Dollár, & Girshick (2023) 由于出色的零样本泛化能力,为2D图像分割提供了一种新的解决方案。该模型将掩码生成和语义分类机制分离,无需微调即可对任何目标类别进行实例分割。然而,它仍然是一个单视图框架,缺乏对3D空间一致性的建模能力。将SAM生成的2D掩码直接投影到3D空间会导致由于视角差异、遮挡和复杂拓扑结构引起的几何模糊,从而导致语义不一致,严重限制了SAM在真实3D场景中的应用。
为了解决上述挑战,近期研究重点关注结合NeRF和SAM的合作分割框架。一些方法尝试将SAM的多视图分割结果逆向渲染到NeRF的隐式场中,并通过加权优化构建3D语义表示。然而,这些方法对初始每视图标注的质量非常敏感,SAM单视图分割中固有的边界模糊问题会通过投影过程传递到3D空间,导致多视图一致性问题。另一条研究路线利用NeRF生成的多视图深度图优化SAM的提示采样策略,但由于动态场景中几何和外观的强耦合,会导致深度估计偏差的累积,进一步加剧语义-几何不对齐。尽管这些相关研究在某种程度上改进了输出,但新视图中的掩码质量仍然不尽如人意。
鉴于此,我们提出了一种新方法,尝试将CLIP(Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, Krueger, & Sutskever (2021))引入到SAM和NeRF的联合框架中,通过融合CLIP学到的特征与SAM模型的特征来提升原始模型的分割能力(Wang, Vasu, Faghri, Vemulapalli, Farajtabar, Mehta, Rastegari, Tuzel, & Pouransari (2024); Yuan, Li, Zhou, Li, Chen, & Loy (2024))。SAM擅长捕捉与分割任务相关的低级空间视觉细节,而CLIP则关注包含整个图像的高级语义视觉信息。我们预期生成的模型能够在表示层面同时整合两种模型的互补优势,从而提高其在广泛下游视觉任务中的实用性。为了更好地实现CLIP和SAM之间的特征融合,我们设计了CLIP2SAM模块。
具体来说,我们首先使用CLIP编码器对输入信息进行编码,以获得相应的图像编码和文本编码。然后在CLIP2SAM模块中进行多尺度跨模态交互进行粗略分割训练。随后,将学习到的语义分割特征输入特征容器中,与SAM编码器生成的特征编码进行融合。融合后的特征由SAM解码器解码,输出最终的2D掩码。最后,利用NeRF模型从不同视角聚合信息的能力,将这些2D掩码聚合到3D空间中。如图1所示,我们的模型仅需一组输入提示即可生成高质量且多视图一致性的3D掩码。由于我们的方法是SAM for NeRF的改进版本,因此可以很好地适应SAM和NeRF的多种下游任务。
我们总结本文的贡献如下:(1) 我们提出了一个结合CLIP和SAM的协作框架,用于3D对象分割,能够更好地融合不同模型的特征,提升分割质量。(2) 我们设计了CLIP2SAM模块,通过跨模态多尺度交互从CLIP学习全局语义信息,并将学习到的特征传递给SAM进行联合分割。