DGNNF:用于3D物体检测的动态图神经网络融合技术

《Pattern Recognition》:DGNNF: Dynamic Graph Neural Network Fusion for 3D object detection

【字体: 大 中 小 】 时间:2026年04月15日 来源:Pattern Recognition 7.6

编辑推荐:

  多模态3D目标检测面临跨模态特征学习不足、背景干扰和点云拓扑不规则三大挑战,本文提出动态图神经网络融合框架DGNNF,通过双域注意力机制抑制背景噪声,动态图回归模块增强几何推理,实现高效实时检测,在KITTI和nuScenes数据集上达到最优性能。

  
周志成|余天野|陈金峰|梁静
电子科技大学信息与通信工程学院,中国成都,611731

摘要

从点云和图像中进行的多模态3D对象检测在有效的跨模态特征学习和鲁棒的几何推理方面仍面临根本性挑战。现有方法通常存在语义交互浅层的问题,即类别先验仅限于粗略的区域提议,而没有深入整合到特征学习中。这一限制,加上点云本身的稀疏性,增加了提取目标特征的难度。为了解决这些挑战,我们提出了一个动态图神经网络融合(DGNNF)框架,该框架利用图像先验来指导几何推理,加强2D语义特征和3D几何结构之间的协调。我们设计了一种双域注意力机制,通过增强语义和几何特征来抑制背景杂乱。此外,我们还开发了一个基于显著性感知的动态图回归模块,以动态聚合邻域特征并捕捉长距离依赖关系。在KITTI基准测试和nuScenes恶劣天气子集(夜间、雨天和复合场景)上的广泛实验表明,DGNNF仅使用210万个参数和每帧4.8毫秒的推理时间就实现了最先进的性能,凸显了其在具有挑战性的真实世界条件下的实时自动驾驶潜力。

引言

自动驾驶系统需要精确理解3D环境,以执行诸如运动预测[1]和轨迹规划[2]等关键安全任务。3D对象检测可以估计对象距离、物理尺寸和朝向,为这些下游任务提供了基础[3],[4]。在各种传感器配置中,激光雷达和摄像头的融合已成为主流方法,因为激光雷达提供了厘米级的深度精度,而摄像头则提供了密集的纹理和语义信息[5],[6]。尽管在多模态3D检测方面取得了显著进展,现有方法仍面临三个相互关联的挑战:
1. 跨模态交互浅层。许多现有方法没有充分利用跨模态语义信息[4]。基于视锥体的方法[7]仅使用2D检测器进行提议生成,之后丢弃类别先验。最近的基于BEV的方法,包括BEVHeight[8]及其扩展版本BEVHeight++[9],将图像特征提升到鸟瞰图中以改进深度估计,但其跨模态交互仍然是空间驱动的,而不是语义引导的。像VirConv[10]这样的深度融合方法通过虚拟点生成改进了特征级对齐,但仍然没有在整个特征学习过程中注入特定于类别的先验,限制了模型利用语义-几何依赖性的能力[11]。
2. 背景杂乱污染。鉴于点云本身的稀疏性[12],[13],有效的前景-背景分离仍然具有挑战性。视锥体区域可能只包含30%–50%的前景点[7]。最近的方法从不同角度解决了这个问题:ContrastAlign[14]采用对比学习进行跨模态对齐,而RoboFusion[15]通过基于SAM的自适应融合来处理传感器退化。然而,这些方法缺乏明确的机制来共同建模语义和几何显著性以抑制背景[12]。
3. 不规则的点云拓扑。点云本质上是非结构化的且分布不均匀的,这给特征聚合带来了挑战[13],[16]。基于图的方法,如GraphAlign[17]和GraphAlign++[18],通过图匹配进行局部几何结构建模以实现跨模态对齐。TED[19]提出了变换等变的表示方法以实现鲁棒检测。然而,这些方法基于空间邻近性构建静态图,忽略了在几何上相距较远但在语义上相关的点之间的语义关系[20],[21]。
这些挑战是相互关联的:浅层融合限制了语义引导,从而阻碍了背景抑制,而不规则的拓扑进一步加剧了特征污染。打破这一循环需要一个统一的框架,该框架能够同时实现深度语义嵌入、鲁棒的注意力过滤和自适应的拓扑推理。
为此,我们提出了动态图神经网络融合框架(DGNNF)。与将跨模态融合视为预处理步骤的现有方法不同,DGNNF在整个过程中将语义类别信息作为基本特征维度注入。与专注于高度感知深度估计的BEVHeight++[9]相比,我们的方法强调基于类别的几何推理。与使用静态图匹配的GraphAlign++[18]不同,DGNNF在学习到的特征空间中动态更新图拓扑。此外,虽然ContrastAlign[14]依赖对比学习进行对齐,但我们的双域注意力机制明确强制了语义可区分性和几何一致性,以抑制背景。
我们在KITTI基准测试[22]上进行了广泛实验,并在nuScenes恶劣天气子集(夜间、雨天和复合场景)上评估了其鲁棒性。我们的方法实现了63.40%的3D mAP和0.649的CDS,同时保持了实时能力(每帧4.8毫秒的延迟)。贡献总结如下:
  • •
    一个统一的框架DGNNF,通过分层语义注入将2D语义丰富性与3D几何精度相结合,提高了模型区分复杂类别的能力。
  • •
    一个双域注意力机制,通过共同强制语义可区分性和几何一致性来抑制背景杂乱,从而在复杂环境中实现可靠的检测。
  • •
    基于Weighted EdgeConv的显著性感知动态图回归,在学习到的特征空间中动态聚合特征,捕捉细粒度几何细节以实现精确的3D定位。
本文的其余部分组织如下。第2节回顾相关工作。第3节介绍DGNNF框架。第4节报告实验结果。最后,第5节总结本文。

部分摘录

相关工作

3D对象检测已成为模式识别中的一个基本主题[5],[12]。我们回顾了三种相关范式:单模态检测、多模态融合和基于图的点云学习。

方法论

如图1所示,所提出的流程专门设计用于解决基于视锥体的3D检测中的两个根本性挑战:(1)视锥体区域内的背景杂乱干扰,以及(2)阻碍传统卷积操作的点云拓扑的不规则性。该框架包括三个级联阶段:图像引导的视锥体生成(第3.1节)、双域注意力特征增强(第3.2节)和显著性感知动态

实验

在本节中,我们展示了全面的实验来验证所提出的DGNNF框架的有效性。首先介绍实验设置,包括数据集、评估指标和实现细节。随后,我们将我们的方法与最先进的方法进行比较,并进行广泛的消融研究,以分析每个提出的组件的贡献。

结论

在本文中,我们提出了DGNNF,这是一个轻量级但有效的框架,旨在弥合多模态3D对象检测中的语义差距。至关重要的是,DGNNF不仅仅是一系列孤立模块的集合,而是一个统一的设计,其中语义嵌入、双域注意力和动态图回归协同工作以同时解决多个挑战。通过将范式从浅层区域提议生成转变为分层语义注入,我们的方法

CRediT作者贡献声明

周志成:写作 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,软件,项目管理,方法论,调查,形式分析,数据策划,概念化。余天野:写作 – 审稿与编辑,可视化,验证,软件,数据策划。陈金峰:写作 – 审稿与编辑,可视化,验证,软件,数据策划。梁静:写作 – 审稿与编辑,监督,资源管理,项目管理,方法论,

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢

这项工作部分得到了国家自然科学基金(项目编号62471118)和高等教育学科创新项目(项目编号B17008)的支持。
周志成出生于中国重庆。他于2019年获得中国电子科技大学成都校区的学士学位。他正在中国电子科技大学成都校区的信息与通信工程学院攻读硕士和博士学位。他的研究兴趣包括数据融合、目标认知和机器学习。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号