多层次特征融合与几何表示在无监督点云配准中的应用

《Neurocomputing》:Multi-level feature fusion and geometric representation for unsupervised point cloud registration

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  多级邻域特征融合与三角形几何约束的未监督点云配准方法MFGRNet,通过多尺度邻域特征融合和Transformer编码器捕捉全局上下文,结合三角形几何约束增强配准精度和鲁棒性,在合成与真实数据集上显著优于现有方法。

  
林子丹|江明峰|吴子健|宋颖|吴群|马汉杰|蒲贵阳
浙江科技学院计算机科学与技术学院,中国杭州310018

摘要

无监督点云配准作为一种有前景的方法,已经出现,旨在消除对劳动密集型手动注释的依赖。尽管无监督方法具有优势,但在区分性特征提取和鲁棒对应关系建立方面仍面临持续挑战,而这些对于在不同条件下实现准确对齐至关重要。在重叠度低或噪声干扰严重的场景中,这些挑战尤为突出,因此它们成为验证配准性能的有效基准。为了解决这一问题,我们提出了MFGRNet,这是一种新颖的无监督点云配准框架,它结合了多级邻域特征融合网络(MNFF)和基于三角形的表示学习模块(TRLM),以有效提取和学习重叠区域特征。该框架利用MNFF在多个空间尺度上融合跨级别的局部邻域特征,确保了多粒度特征信息的全面利用。通过引入Transformer编码器,它捕捉了局部结构与全局上下文之间的复杂关系,从而显著提高了特征的可区分性和对应关系的可靠性。此外,TRLM引入了变换不变的几何三角形嵌入,以改善全局结构表示,并增强了配对点云之间的相关性,最终提高了配准精度。在合成数据和真实世界基准上的广泛实验表明,MFGRNet在配准精度、鲁棒性和泛化能力方面超越了现有的最先进方法,表现出更优越的定性和定量性能。

引言

点云配准是3D计算机视觉中的一个基本任务,在自动驾驶[6]、机器人导航[17]和增强现实[4]等关键技术领域发挥着重要作用。点云配准的主要目标是估计一个最优的刚性变换,以实现部分重叠点云之间的精确配准。早期研究提出了各种传统方法[2]、[11]、[42],这些方法主要依赖于手动特征提取和显式优化技术,如基于几何特征或描述符的匹配方法。这些方法在规则场景中表现优异,但在具有大量噪声和遮挡的复杂非结构化环境中的配准精度和鲁棒性受到显著限制。
随着深度学习技术的快速发展,研究人员提出了许多基于学习的点云配准方法[9]、[12]、[16]、[28]、[40]。这些方法利用大规模训练数据在配准过程中实现自动化和高效优化。这些主流深度学习方法的成功主要源于监督学习范式,即在带有真实变换标注的大规模数据集上训练模型。然而,在实践中,标注的对齐3D扫描数据往往很少,且由于点云的高度不规则性,手动注释既耗时又费力。虽然使用合成数据进行训练可以缓解真实世界数据有限的问题,但这种方法仍容易受到领域偏见的影响。为了解决这些挑战,研究人员提出了无监督点云配准方法[20]、[22]、[27]、[29]、[35]、[36],并在这一方向上取得了有希望的进展。尽管现有的无监督点云配准方法有效,但它们仍存在一些限制,阻碍了其性能。首先,现有方法通常依赖单级邻域搜索来提取点云特征。当点云的局部形状高度相似时,特征不够具有区分性,这可能导致大量错误匹配,如图1所示。其次,这些方法往往未能纳入点云中固有的几何约束,限制了它们有效捕捉全局和局部结构关系的能力。因此,这些问题导致了异常对应关系的存在,最终影响了配准过程的准确性和稳定性。为了解决上述问题,我们提出了一个名为MFGRNet的新颖无监督点云配准框架。MFGRNet基于两个创新模块:多级邻域特征融合网络(MNFF)和基于三角形的表示学习模块(TRLM)。MNFF通过跨级别的邻域构建、基于注意力的特征加权以及特征融合来提取多级局部邻域信息。这种架构能够同时捕捉详细的几何细节和整体结构模式,有效减少了单接收场特征提取的缺点,并在几何相似的局部区域表现出更好的区分性。TRLM通过嵌入从三角形基本关系中得出的变换不变的几何约束,进一步增强了特征表示。与多级邻域特征融合后,它生成了几何上一致的表示,显著提高了配准精度和收敛稳定性。
我们的贡献可以总结如下:
  • 提出了MNFF,用于提取和整合不同级别的局部邻域信息,通过Transformer编码器平衡局部和全局特征之间的相互关系,从而增强特征表示。
  • 引入了TRLM,它通过几何描述符提取三角形边长关系的约束,并将其与多级邻域特征融合。这种方法通过学习更具区分性的特征表示来提高对应点的匹配精度。
  • 提出了一种新颖的点云配准网络模型,利用网络结构来提高特征区分性并增强对噪声和异常值的鲁棒性。实验结果表明,所提出的网络在多个基准数据集上的性能优于现有的点云配准方法。
  • 部分内容

    传统配准方法

    作为一种经典的点云配准方法,迭代最近点(ICP)算法[2]通过最小化点对点对应误差来迭代估计空间变换。为了提高鲁棒性,一些ICP变体扩展了对应标准,例如点对平面约束[21]和广义平面到平面度量[26]。尽管有这些改进,基于ICP的方法仍然严重依赖于有利的初始对齐,并且容易收敛到局部最小值。

    概述

    如图2所示,我们的方法MFGRNet由五个主要组件组成:MNFF、几何描述符、TRLM、相似性矩阵生成器和内点估计。在我们的框架中,我们首先提出MNFF来提取丰富的局部几何特征。MNFF通过在多个邻域尺度上聚合信息来构建跨级别的特征表示,有效克服了单接收场的限制。

    数据集

    ModelNet40。ModelNet40由来自12,311个CAD模型的点云组成,涵盖了40个不同的类别。我们从每个点云中抽取了1536个点,并对每个轴应用了随机旋转(范围从0到45度)和随机平移(范围从-0.5到0.5),以生成配对点云。为了模拟部分重叠,我们从每个点云中随机选取了点并采样了它们最近的1024个邻居。最后,所有点云被混合并重新排序。

    结论

    在本文中,我们提出了MFGRNet,这是一种端到端无监督点云特征融合方法,旨在通过提取和融合多级邻域信息来提高配准精度。我们的方法通过构建邻域、执行多级特征提取和融合以及集成注意力机制来有效捕捉细节和全局结构特征,从而实现了这一点。

    CRediT作者贡献声明

    林子丹:撰写——原始草稿、软件、方法论、形式分析。江明峰:撰写——审阅与编辑、监督、调查、资金获取。吴子健:撰写——原始草稿、验证、调查、形式分析。宋颖:方法论、调查、形式分析、数据管理。吴群:验证、方法论、调查、数据管理。马汉杰:撰写——审阅与编辑、可视化、方法论、数据管理。蒲贵阳:验证,

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

    致谢

    本工作得到了浙江省重点研发计划(2023C01041)、国家自然科学基金(62272415和62101497)、浙江省高层次人才专项支持计划(2023R5216)以及宁夏省重点研发计划(2023BEG02065)的支持。
    林子丹于2023年在浙江科技学院获得计算机科学与技术学士学位。他目前是浙江科技学院计算机科学与技术学院的博士候选人,主要研究兴趣在于点云重建。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号