《Pattern Recognition》:SNOP-GS: Self-refining Novel Object Pose via 3D Gaussian Splatting
编辑推荐:
本文提出基于3D高斯分流形的自优化新颖物体姿态估计方法SNOP-GS,通过三个阶段实现粗到精的姿态预测。首先改进3D高斯分流形模型,将隐式特征注入高斯体;其次设计2D-3D匹配网络建立像素与高斯中心的对应关系,计算初始姿态;最终通过姿态残差估计网络优化初始姿态。实验表明该方法在低纹理物体场景中性能显著优于现有CAD模型无关方法。
Tao Tan|Hao Hu|Qiulei Dong
中国北京,中科院大学人工智能学院,邮编100080
摘要
在计算机视觉领域,针对训练过程中未见过的测试对象进行的新颖物体姿态估计方法受到了广泛关注。现有研究通常首先利用结构从运动(Structure from Motion, SfM)技术从一组参考图像重建物体点云,然后通过局部特征匹配建立2D-3D对应关系来估计物体姿态。然而,当处理低纹理物体时,这些方法的性能会显著下降,因为低纹理区域的局部特征容易导致匹配错误。我们提出了一种基于3D高斯散布(3D Gaussian Splatting)的自精炼新颖物体姿态估计方法,称为SNOP-GS,该方法采用从粗到细的姿态预测方式。该方法包括三个阶段:首先,引入了一种改进的3D高斯散布算法,用于从参考图像集进行物体建模,每个3D高斯点不仅包含标准的高斯元素,还包含从参考图像中学习到的潜在特征;其次,利用这些带有潜在特征的3D高斯点构建2D-3D匹配网络,以确定查询图像中对应于每个3D高斯中心的像素,从而得到初始物体姿态;最后,通过姿态残差估计网络预测初始姿态与真实物体姿态之间的差异,从而得到精炼后的物体姿态。在三个公开数据集上的实验结果表明,我们的方法优于现有的最先进方法。
引言
新颖物体姿态估计的目标是从单张图像中预测训练过程中未见过的物体的6D姿态,这是计算机视觉中的一个具有挑战性的课题。根据是否使用物体CAD模型,现有的新颖物体姿态估计方法可以分为两类:基于CAD模型的方法[1]、[2]、[3]和无需CAD模型的方法[4]、[5]、[6]。由于为每个物体实例获取高质量的CAD模型既困难又耗时,近年来无需CAD模型的方法(仅需一组参考图像和相应的物体姿态标签)受到了越来越多的关注。
典型的无需CAD模型的方法[4]、[5]首先利用结构从运动(SfM)技术从给定的参考图像(已知物体姿态)重建物体点云,然后使用局部特征匹配技术建立查询图像像素与3D点之间的对应关系,最后通过基于RANSAC的PnP算法计算物体姿态。这些方法在处理高纹理物体时确实表现良好。然而,由于局部特征匹配技术[7]、[8]通常依赖于物体纹理,它们在处理低纹理物体时的性能较差。此外,虽然有一些针对低纹理物体的姿态精炼方法[9]、[10]、[11],但这些方法通常需要物体CAD模型,并且主要针对已知物体姿态的估计任务设计。
为了解决上述无需CAD模型的新颖物体姿态估计中的低纹理问题,本文提出了一种基于3D高斯散布的自精炼新颖物体姿态估计方法SNOP-GS,该方法能够从输入的RGB图像中以从粗到细的方式预测物体姿态。该方法包含三个阶段:第一阶段借鉴了3D高斯散布[12]、[13]、[14]在3D表示方面的成功经验,引入了一种改进的3D高斯散布算法进行物体建模;第二阶段设计了一个2D-3D匹配网络,利用查询图像的局部特征和3D高斯的潜在特征来建立查询图像像素与3D高斯中心之间的对应关系;第三阶段利用查询图像的特征图和上述3D高斯点生成的渲染特征图,预测初始姿态与真实姿态之间的残差,从而对物体姿态进行精炼。
总结来说,本文的主要贡献包括:
1. 我们提出了一种改进的3D高斯散布算法用于物体建模,并设计了一个2D-3D匹配网络来计算2D像素与3D高斯中心之间的对应关系,从而实现了一种粗略的姿态估计方法(如表7中的OURS所示),其姿态估计精度可与现有最先进方法相媲美,但推理速度更快(如第4.6节所示)。
2. 我们提出了一种姿态残差估计网络,用于预测初始姿态与真实姿态之间的差异。该网络不仅可以与上述粗略姿态估计方法结合使用,还可以与其他现有的姿态估计方法结合使用,进一步提高它们的精度(如第4.4节所示)。
3. 通过整合这些组件,我们提出了SNOP-GS方法,实现了从粗到细的姿态预测。其优越性已通过第4节中的实验结果得到验证。
相关研究
相关工作
在本节中,我们分别回顾了基于CAD模型和无需CAD模型的新颖物体姿态估计的现有方法。
方法论
在本节中,我们提出了SNOP-GS方法用于新颖物体姿态估计,该方法包括三个阶段:使用高斯散布进行物体建模,通过2D-3D匹配网络进行初始姿态估计,以及通过姿态残差估计网络进行姿态精炼。首先介绍了该方法的架构,然后详细描述了这三个阶段。
实验
在本节中,我们首先描述了数据集、评估指标和实现细节,然后报告了比较结果,最后对所提方法的关键元素进行了全面评估。
结论
在本文中,我们提出了一种基于3D高斯散布的自精炼新颖物体姿态估计方法SNOP-GS,该方法可以从单张RGB图像中以从粗到细的方式预测物体姿态。该方法包括三个阶段:使用高斯散布进行物体建模,通过2D-3D匹配网络进行初始姿态估计,以及通过姿态残差估计网络进行姿态精炼。在第一阶段,我们引入了一种改进的3D高斯散布算法进行物体建模,每个3D高斯点除了包含标准的高斯元素外,还包含了从参考图像中学习到的潜在特征。
作者贡献声明
Tao Tan:撰写——审稿与编辑、撰写——初稿、可视化、验证、软件开发、方法论设计、数据分析、概念化。Hao Hu:撰写——审稿与编辑、验证、项目管理、方法论设计、数据分析、概念化。Qiulei Dong:撰写——审稿与编辑、监督、资源协调、项目管理、资金筹集、数据分析、概念化。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究工作。
致谢
本研究得到了国家自然科学基金(项目编号62376269、61991423、U1805264)和北京市科技计划(项目编号Z211100011021004)的支持。