自动驾驶系统需要精确理解3D环境,以执行诸如运动预测[1]和轨迹规划[2]等关键安全任务。3D对象检测可以估计对象距离、物理尺寸和朝向,为这些下游任务提供了基础[3],[4]。在各种传感器配置中,激光雷达和摄像头的融合已成为主流方法,因为激光雷达提供了厘米级的深度精度,而摄像头则提供了密集的纹理和语义信息[5],[6]。尽管在多模态3D检测方面取得了显著进展,现有方法仍面临三个相互关联的挑战:
1. 跨模态交互浅层。许多现有方法没有充分利用跨模态语义信息[4]。基于视锥体的方法[7]仅使用2D检测器进行提议生成,之后丢弃类别先验。最近的基于BEV的方法,包括BEVHeight[8]及其扩展版本BEVHeight++[9],将图像特征提升到鸟瞰图中以改进深度估计,但其跨模态交互仍然是空间驱动的,而不是语义引导的。像VirConv[10]这样的深度融合方法通过虚拟点生成改进了特征级对齐,但仍然没有在整个特征学习过程中注入特定于类别的先验,限制了模型利用语义-几何依赖性的能力[11]。
2. 背景杂乱污染。鉴于点云本身的稀疏性[12],[13],有效的前景-背景分离仍然具有挑战性。视锥体区域可能只包含30%–50%的前景点[7]。最近的方法从不同角度解决了这个问题:ContrastAlign[14]采用对比学习进行跨模态对齐,而RoboFusion[15]通过基于SAM的自适应融合来处理传感器退化。然而,这些方法缺乏明确的机制来共同建模语义和几何显著性以抑制背景[12]。
3. 不规则的点云拓扑。点云本质上是非结构化的且分布不均匀的,这给特征聚合带来了挑战[13],[16]。基于图的方法,如GraphAlign[17]和GraphAlign++[18],通过图匹配进行局部几何结构建模以实现跨模态对齐。TED[19]提出了变换等变的表示方法以实现鲁棒检测。然而,这些方法基于空间邻近性构建静态图,忽略了在几何上相距较远但在语义上相关的点之间的语义关系[20],[21]。
这些挑战是相互关联的:浅层融合限制了语义引导,从而阻碍了背景抑制,而不规则的拓扑进一步加剧了特征污染。打破这一循环需要一个统一的框架,该框架能够同时实现深度语义嵌入、鲁棒的注意力过滤和自适应的拓扑推理。
为此,我们提出了动态图神经网络融合框架(DGNNF)。与将跨模态融合视为预处理步骤的现有方法不同,DGNNF在整个过程中将语义类别信息作为基本特征维度注入。与专注于高度感知深度估计的BEVHeight++[9]相比,我们的方法强调基于类别的几何推理。与使用静态图匹配的GraphAlign++[18]不同,DGNNF在学习到的特征空间中动态更新图拓扑。此外,虽然ContrastAlign[14]依赖对比学习进行对齐,但我们的双域注意力机制明确强制了语义可区分性和几何一致性,以抑制背景。
我们在KITTI基准测试[22]上进行了广泛实验,并在nuScenes恶劣天气子集(夜间、雨天和复合场景)上评估了其鲁棒性。我们的方法实现了63.40%的3D mAP和0.649的CDS,同时保持了实时能力(每帧4.8毫秒的延迟)。贡献总结如下:
- •
一个统一的框架DGNNF,通过分层语义注入将2D语义丰富性与3D几何精度相结合,提高了模型区分复杂类别的能力。
- •
一个双域注意力机制,通过共同强制语义可区分性和几何一致性来抑制背景杂乱,从而在复杂环境中实现可靠的检测。
- •
基于Weighted EdgeConv的显著性感知动态图回归,在学习到的特征空间中动态聚合特征,捕捉细粒度几何细节以实现精确的3D定位。
本文的其余部分组织如下。第2节回顾相关工作。第3节介绍DGNNF框架。第4节报告实验结果。最后,第5节总结本文。