基于深度感知的稀疏查询技术,用于高效的多视图BEV(Bird's-Eye View,鸟瞰图)感知
《Neurocomputing》:Depth-aware sparse queries for efficient multi-view BEV perception
【字体:
大
中
小
】
时间:2026年04月08日
来源:Neurocomputing 6.5
编辑推荐:
多视角3D目标检测中,现有稀疏查询方法在融合2D检测先验时面临深度估计不准确、误差传播和计算效率问题。本文提出DASQ框架,通过融合概率与回归深度估计提升精度,设计动态自适应查询生成机制优化3D先验初始化,采用注意力机制有效整合2D信息,并开发轻量化DG-Net骨干网络。实验表明DASQ在nuScenes数据集上mAP提升3.2%,Jetson AGX Orin平台推理速度达10.1FPS。
吴彦东|胡川|陈志格|曹学文|王琦|唐晓琳
中国重庆市重庆大学机械与车辆工程学院先进设备机械传动国家重点实验室,400044
摘要
鸟瞰视图(BEV)范式已成为自动驾驶中多视图3D对象检测的基础框架。然而,当前的基于稀疏查询的方法仍然难以有效整合2D先验信息,面临诸如效率低下的骨干网络、深度估计不准确、查询初始化不可靠以及2D检测误差传播等持续挑战。为了解决这些问题,我们提出了深度感知稀疏查询(DASQ)框架。在高效骨干网络的支持下,DASQ首先融合概率深度估计和回归深度估计以提高深度精度,然后将过滤后的2D检测结果转换为3D先验查询,并通过注意力机制将其整合到全局BEV表示中。这种方法显著提升了BEV感知的准确性和推理效率。在nuScenes基准测试中,DASQ的mAP提高了3.2%,同时在NVIDIA Jetson AGX Orin平台上实现了10.1 FPS的实时推理,展示了其在实际自动驾驶应用中的强大潜力。
引言
随着自动驾驶技术的快速发展,3D对象感知已成为环境感知系统的关键组成部分。其核心价值在于准确捕捉车辆和行人等交通参与者的物理尺寸、空间位置和方向角度,从而为后续的决策和规划模块提供可靠的感知基础[1]、[2]。
近年来,得益于计算能力的提升和深度网络架构的发展,3D对象检测已经朝着更高效的表示范式发展。其中,基于稀疏查询的BEV方法因其灵活的空间建模能力而成为主流技术路线。通过在3D空间中初始化可学习的查询,并通过交叉注意力机制聚合多视图特征,这些方法有效地对齐了来自不同视角的视觉信息,大大简化了空间几何和时间线索的建模。
在这种背景下,利用2D检测先验来辅助3D查询初始化已成为一个活跃的研究方向。引入2D先验可以提供更丰富的语义和几何线索,从而提高3D检测器的收敛速度和定位精度。然而,现有方法在有效整合2D信息方面仍面临显著挑战:一方面,2D检测器的定位噪声可能会传播到3D空间,引入误差;另一方面,复杂的融合设计往往导致计算成本增加,影响了稀疏查询范式的效率和简洁性。为了解决这些问题,本文提出了DASQ这一新型多视图3D对象检测框架。
尽管基于稀疏查询的方法在3D对象检测方面显示出巨大潜力,但其实际应用仍面临三大挑战。首先,作为BEV编码流程中多视图特征提取核心组件的骨干网络设计,对整个系统性能有着关键影响。当前方法主要依赖于针对2D优化的网络(例如ResNet [3]、VoVNet [4])或计算需求较高的模型(例如ViT [5])。这些架构在适应BEV感知时往往难以平衡效率和性能。虽然增加网络深度和宽度可以提高表示能力,但不可避免地会导致模型复杂性和推理延迟显著增加。特别是在并行处理多个摄像头输入的多视图BEV框架中,计算成本远超传统的单目2D感知。因此,开发能够更好平衡参数数量和推理速度的轻量级网络架构对于实际系统的实时BEV感知至关重要。
大多数现有的骨干网络都是为2D检测设计的,这便于将2D检测作为辅助任务整合到3D对象检测中。然而,这种整合面临一个根本难题:图像本身缺乏深度信息。正如Shu等人[6]所展示的,用LiDAR真实值替换预测深度可以显著提高3D检测的准确性,突显了深度估计的关键作用。当前方法通常单独采用概率深度估计或回归深度估计[7]、[8]、[9]、[10]、[11],缺乏有效的融合机制。这导致2D到3D转换的几何基础薄弱。因此,我们专注于开发结合不同深度估计范式优势的新方法,以提高几何感知的可靠性。
基于2D先验的当前查询初始化方法在将2D检测线索整合到3D表示时存在几个限制。2D检测的定位误差可能会直接传播到3D推理阶段,影响可靠性;同时,查询生成过程缺乏对场景复杂性的适应性,经常产生冗余查询,降低计算效率。此外,2D到3D转换存在显著的误差累积——深度估计和相机投影的误差会在处理过程中累积放大,最终降低3D检测性能。这些限制促使我们研究高效的2D信息编码及其有效整合到3D表示中,同时不大幅增加查询数量,从而在保持计算效率的同时提高感知性能。
为了解决这些挑战,我们提出了DASQ这一新型框架,它优化了稀疏查询生成,并结合了轻量级骨干网络以实现实时、高性能的BEV感知。我们的主要贡献包括:
1.注意力引导的深度融合(AGDF)模块通过融合概率深度估计和回归深度预测来减轻深度不确定性,显著提高深度估计精度。
2.动态自适应先验查询(DAPQ)模块通过整合过滤后的2D检测结果、相机参数和基于AGDF的深度信息,生成具有几何感知的3D先验查询,从而提高查询初始化的质量和场景适应性。
3.注意力优先融合(APF)模块通过注意力机制将经过深度细化的2D信息整合到全局3D查询中,抑制2D检测的误差传播,并以最小的开销改进BEV表示。
4.为了实现多视图图像的实时处理,我们基于DG-C2f [12]开发了DG-Net骨干网络,它在速度和准确性之间取得了平衡,便于高效部署。
本文的其余部分组织如下。第2节介绍了3D对象检测和相关工作的基础知识。第3节详细介绍了提出的DASQ框架及其关键组件。第4节展示了实验结果,包括与现有方法的比较分析以及处理器在环验证。最后,第5节总结了本文并讨论了潜在的未来工作。
部分摘录
3D对象检测
当前的3D对象检测方法大致可以分为多模态融合方法[13]、[14](利用LiDAR和雷达等互补传感器以及仅依赖相机输入的视觉方法)。代表性的多模态工作包括BEVFusion [15],它在鸟瞰视图空间中统一了相机和LiDAR特征。DGFusion [16]方法提出了基于双引导范式的多模态融合框架,实现了
提出的方法
在本节中,我们介绍了提出的DASQ框架,该框架使用预测的深度将2D检测结果转换为3D空间,并通过注意力机制逐步将2D先验信息与全局3D查询整合。我们首先概述了整体架构(第3.1节),然后描述了混合深度生成模块AGDF(第3.2节)和3D先验查询编码器(第3.3节)。接着详细介绍了基于注意力的2D先验融合模块APF(第
数据集和指标
nuScenes数据集[46]是一个大规模的多模态基准数据集,专为自动驾驶场景中的感知任务设计。它包含1000个驾驶场景,每个场景持续20秒。数据收集系统包括六个环绕视图相机、一个LiDAR传感器和五个毫米波雷达。关键帧的标注频率为2 Hz(每0.5秒),生成了大约140万个3D边界框。这些标注涵盖了10种常见的交通参与者类别:汽车、结论
本研究提出了DASQ,这是一个基于稀疏查询的BEV感知框架,系统地解决了包括深度利用不足、2D到3D转换过程中的投影误差以及计算资源瓶颈等关键挑战。在nuScenes数据集上的实验结果表明,与现有的主流方法相比,所提出的方法具有更高的检测精度,同时保持了在嵌入式平台上的实时推理能力。
尽管
CRediT作者贡献声明
吴彦东:撰写——原始草稿、验证、方法论、形式分析、概念化。胡川:资源、项目管理。陈志格:软件、数据管理。曹学文:可视化。王琦:调查。唐晓琳:撰写——审阅与编辑、监督、调查。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。
致谢
本工作部分得到了重庆市自然科学基金(授权号CSTB2023NSCQ-JQX0003)、中央高校基本科研业务费(编号2024IAIS-ZD007)和机械传动国家重点实验室(编号SKLMT-ZZKT-2024R04)的支持。
吴彦东于2023年在中国合肥工业大学获得车辆工程学士学位。他目前在中国重庆大学机械与车辆工程学院攻读博士学位,师从唐晓琳教授。他的研究兴趣包括对象检测和自动驾驶车辆的运动预测。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号