基于CLIP的增强分割技术在神经辐射场中的应用

《Expert Systems with Applications》:CLIP-Enhanced Segmentation for Neural Radiance Fields

【字体: 大 中 小 】 时间:2026年01月07日 来源:Expert Systems with Applications 7.5

编辑推荐:

  NeRF与SAM协同增强的3D语义分割方法,提出CLIP2SAM模块实现跨模态多尺度交互,通过语义特征融合提升分割质量并解决多视角一致性难题。

  
赵冲|侯鹏成|魏星|杨成军|彭建生|毕翔
合肥工业大学本科工程学院工程质量教育中心,合肥,230601

摘要

近期,神经辐射场(NeRF)在3D场景重建方面取得了显著成果,而任意分割模型(SAM)则展现了出色的零样本分割能力。尽管已有尝试将这两种方法结合用于3D分割,但它们仍然存在分割质量差和在复杂场景中多视图一致性不足的问题。为了解决这些问题,我们提出了基于CLIP的NeRF分割增强方法(ES-NeRF),该方法通过利用CLIP强大的语义理解能力来实现特征融合,从而提升分割质量。具体而言,我们设计了CLIP2SAM模块,该模块利用CLIP提取的图像-文本特征进行跨模态多尺度交互,以获取粗略分割的语义特征。这些特征随后与SAM提取的特征对齐,完成特征融合和最终分割。最后,通过NeRF将来自不同视角的掩码聚合起来,从而获得高质量的3D分割结果。大量实验结果验证了该方法的有效性,证明了其优于现有最先进方法。

引言

神经辐射场(NeRF)相关研究:Mildenhall, Srinivasan, Tancik, Barron, Ramamoorthi, & Ng (2020); Müller, Evans, Schied, & Keller (2022); Barron, Mildenhall, Verbin, Srinivasan, & Hedman (2022); Barron, Mildenhall, Tancik, Hedman, Martin-Brualla, & Srinivasan (2021) 在重建复杂场景和合成新视图方面取得了令人印象深刻的结果。NeRF的研究领域非常广泛,其中3D对象分割因其能够丰富众多下游任务而备受关注。然而,其原生框架主要关注几何和外观建模,缺乏对场景语义信息的理解,难以满足自动驾驶和机器人交互等应用中对对象级解析的需求。为突破这一限制,研究人员提出了一系列基于NeRF的语义增强方法。一些方法通过引入额外的语义信息来优化密度场和类别概率,另一些方法则利用跨模态对比学习将文本嵌入映射到隐式空间。尽管这些方法能够在有限类别内实现粗粒度分割,但它们严重依赖于3D体素数据标注。此外,稀疏视图渲染导致的表面模糊进一步限制了分割边界的准确性。
与此同时,任意分割模型(SAM)Kirillov, Mintun, Ravi, Mao, Rolland, Gustafson, Xiao, Whitehead, Berg, Lo, Dollár, & Girshick (2023) 由于出色的零样本泛化能力,为2D图像分割提供了一种新的解决方案。该模型将掩码生成和语义分类机制分离,无需微调即可对任何目标类别进行实例分割。然而,它仍然是一个单视图框架,缺乏对3D空间一致性的建模能力。将SAM生成的2D掩码直接投影到3D空间会导致由于视角差异、遮挡和复杂拓扑结构引起的几何模糊,从而导致语义不一致,严重限制了SAM在真实3D场景中的应用。
为了解决上述挑战,近期研究重点关注结合NeRF和SAM的合作分割框架。一些方法尝试将SAM的多视图分割结果逆向渲染到NeRF的隐式场中,并通过加权优化构建3D语义表示。然而,这些方法对初始每视图标注的质量非常敏感,SAM单视图分割中固有的边界模糊问题会通过投影过程传递到3D空间,导致多视图一致性问题。另一条研究路线利用NeRF生成的多视图深度图优化SAM的提示采样策略,但由于动态场景中几何和外观的强耦合,会导致深度估计偏差的累积,进一步加剧语义-几何不对齐。尽管这些相关研究在某种程度上改进了输出,但新视图中的掩码质量仍然不尽如人意。
鉴于此,我们提出了一种新方法,尝试将CLIP(Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, Krueger, & Sutskever (2021))引入到SAM和NeRF的联合框架中,通过融合CLIP学到的特征与SAM模型的特征来提升原始模型的分割能力(Wang, Vasu, Faghri, Vemulapalli, Farajtabar, Mehta, Rastegari, Tuzel, & Pouransari (2024); Yuan, Li, Zhou, Li, Chen, & Loy (2024))。SAM擅长捕捉与分割任务相关的低级空间视觉细节,而CLIP则关注包含整个图像的高级语义视觉信息。我们预期生成的模型能够在表示层面同时整合两种模型的互补优势,从而提高其在广泛下游视觉任务中的实用性。为了更好地实现CLIP和SAM之间的特征融合,我们设计了CLIP2SAM模块。
具体来说,我们首先使用CLIP编码器对输入信息进行编码,以获得相应的图像编码和文本编码。然后在CLIP2SAM模块中进行多尺度跨模态交互进行粗略分割训练。随后,将学习到的语义分割特征输入特征容器中,与SAM编码器生成的特征编码进行融合。融合后的特征由SAM解码器解码,输出最终的2D掩码。最后,利用NeRF模型从不同视角聚合信息的能力,将这些2D掩码聚合到3D空间中。如图1所示,我们的模型仅需一组输入提示即可生成高质量且多视图一致性的3D掩码。由于我们的方法是SAM for NeRF的改进版本,因此可以很好地适应SAM和NeRF的多种下游任务。
我们总结本文的贡献如下:(1) 我们提出了一个结合CLIP和SAM的协作框架,用于3D对象分割,能够更好地融合不同模型的特征,提升分割质量。(2) 我们设计了CLIP2SAM模块,通过跨模态多尺度交互从CLIP学习全局语义信息,并将学习到的特征传递给SAM进行联合分割。

部分摘录

2D分割

自FCN(Long, Shelhamer, & Darrell, 2015)提出以来,2D图像分割研究取得了快速发展。该领域包括语义分割(Guo, Lu, Hou, Liu, Cheng, & Hu (2022); Chen, Papandreou, Kokkinos, Murphy, Yuille, 2017, Chen, Papandreou, Kokkinos, Murphy, Yuille; Chen, Papandreou, Schroff, & Adam (2017))、实例分割(He, Gkioxari, Dollár, & Girshick (2017); Tian, Shen, & Chen (2020); Wang, Kong, Shen, Jiang, & Li (2020); Wang, Zhang)等子领域。

方法

首先在3.1节回顾了我们提出方法中的几个基础模型,然后在3.2节和3.3节详细描述了我们的方法。

数据集

我们在包含合成和真实世界场景的数据集上评估了我们的性能。通过将2D图像上的掩码与真实掩码进行比较来定量评估结果。我们使用了四个数据集:(1) LLFF数据集:LLFF首次在Mildenhall, Srinivasan, Ortiz-Cayon, Kalantari, Ramamoorthi, Ng, & Kar (2019)的研究中使用,该数据集包含六个正面视图场景,每个场景有20-62张图像。(2) SPIn-NeRF数据集:该数据集包含10个真实世界场景

结论

本文提出了一种新框架,利用CLIP强大的语义理解能力来增强神经辐射场(NeRF)中的3D分割。提出的CLIP2SAM模块利用CLIP的稳健语义理解能力提升SAM的语义分割性能,同时充分利用NeRF聚合多视图信息的能力,成功将2D语义分割扩展到3D领域。通过广泛的定量和定性评估

CRediT作者贡献声明

赵冲:概念化、方法论、软件设计。侯鹏成:概念化、方法论。魏星:方法论、验证。杨成军:验证、调查、可视化。彭建生:撰写——初稿。毕翔:撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号