前景引导的双分支学习:面向稀疏 4D 雷达的 3D 目标检测

《Neural Networks》:Foreground Guided Dual Branch Learning for Sparse 4D Radar 3D Object Detection

【字体: 大 中 小 】 时间:2026年09月26日 来源:Neural Networks 7.2

编辑推荐:

   摘要4D 成像雷达提供了长距离感知和多普勒速度测量能力,同时在夜间场景和雨雪雾等恶劣天气条件下保持了强大的鲁棒性。这些优势使其成为自动驾驶 3D 感知中一种有前途的传感器。然而,由于雷达成像机制,4D 雷达点云通常高度稀疏且分布不均匀,并且经常受到背景杂波和孤立噪声点的污染。

  

摘要

4D 成像雷达提供了长距离感知和多普勒速度测量能力,同时在夜间场景和雨雪雾等恶劣天气条件下保持了强大的鲁棒性。这些优势使其成为自动驾驶 3D 感知中一种有前途的传感器。然而,由于雷达成像机制,4D 雷达点云通常高度稀疏且分布不均匀,并且经常受到背景杂波和孤立噪声点的污染。因此,真实物体仅由少数有效点表示,并很容易被复杂的背景响应所淹没。现有方法主要关注全局特征增强或局部去噪,而对点级前景特征的显式建模关注不足。为了解决这些问题,本文提出了一种用于稀疏 4D 雷达场景中 3D 目标检测的前景引导双分支学习框架。具体来说,一种基于可微学习的查询生成器联合建模局部密度和运动一致性,以估计点级前景重要性并生成前景感知线索。然后,一种前景引导门控跨分支融合机制将辅助信息选择性地注入潜在目标区域,从而增强目标响应并抑制背景干扰。最后,在提案阶段,结合圆柱几何约束和前景优先关键点选择策略来提高局部特征表示。在 VoD 和 TJ4DRadSet 上的实验结果表明,所提出的纯雷达方法取得了具有竞争力的性能,甚至可与几种雷达 - 相机融合方法相媲美,同时保持了检测精度和推理效率之间的良好平衡。

引言

3D 目标检测是自动驾驶感知的核心任务,其结果直接影响后续的路径规划和安全关键决策。与相机等光学传感器相比,毫米波雷达对光照变化和恶劣天气条件更具鲁棒性,非常适合长距离感知,使其在复杂的交通环境中具有很高的价值 (Dong, Xu, Lyu, Zhao, Zheng, 2026, Li, Luo, Yang, 2023, Li, Li, Gao, Gao, Wu, Liu, 2025b, Wang, Ren, Zhu, Huang, Gu, Niu, 2026)。近年来,4D 成像雷达通过结合高度信息和径向速度测量扩展了传统雷达。它可以感知物体的 3D 空间位置和运动状态,从而为动态场景理解提供更丰富的感知线索 (Liu et al., 2023c)。
与传统激光雷达相比,4D 雷达为自动驾驶感知提供了互补的优势。如图 1 所示,它为运动感知提供了多普勒速度测量,支持长距离感知,并且对不利的光照和天气条件不那么敏感。凭借这些特性,4D 雷达已成为自动驾驶 3D 感知的重要研究方向 (Lin, Liu, Xia, Wang, Wang, Qi, Dong, Dong, Zhang, Zhu, 2024, Zheng, Li, Tan, Yang, Chen, Huang, Bai, Zhu, Ma, 2023)。
然而,直接将 4D 雷达应用于 3D 目标检测仍然具有挑战性。由于雷达成像机制的固有局限性,4D 雷达点云通常高度稀疏且分布不均匀,并且经常伴随着背景杂波和孤立噪声点 (Bi, Weng, Tong, Fan, Eichberge, 2025a, Zhong, Xiang, Xu, Fu, Xu, Wang, Yang, Pu, Liu, 2025)。这个问题在长距离和小目标场景中变得更加严重,物体可能只包含少数几个有效点,而背景区域可能包含大量无关的反射。因此,检测模型需要从极其有限的目标点中恢复判别性表示,同时抑制复杂背景的干扰 (Musiat et al., 2024)。
现有研究主要关注全局特征增强、局部去噪或提案细化,而对点级前景特征的显式建模关注相对不足 (Chen, Zhang, Wang, Wang, Zhao, 2023, Li, Zhou, Chen, Yu, Du, Zou, 2025a)。大多数现有方法将雷达点云编码为统一的整体,缺乏区分前景和背景点的早期阶段机制。因此,在特征构建期间,与目标相关的响应很难突出,特别是在稀疏和杂波的雷达场景中。
前景建模已在图像分割等领域得到广泛探索,其中与物体相关的区域被明确地与无关背景区分开来,以提高特征判别力 (Lei, Wu, Lv, Wang, 2025, Zhang, Deng, Wang, Du, Liu, Li, Ye, 2025)。对于 4D 雷达点云,微弱的前景响应和复杂的背景杂波之间的不平衡自然引发了对显式前景建模的需求。通过预先识别高价值点,可以更有效地抑制无关干扰 (Zhang et al., 2024)。
为了解决上述问题,本文将前景背景区分机制引入 4D 雷达 3D 目标检测,并提出了一种用于稀疏雷达场景的前景引导双分支学习框架。所提出的方法从原始雷达点云中挖掘点级前景线索,并使用它们指导跨分支特征融合和提案级关键点细化。通过这种方式,所提出的框架形成了一个从点级前景选择到特征级选择性融合,再到提案级几何约束的统一优化流程。
主要贡献总结如下:
  • •
    我们提出了一种用于 4D 雷达 3D 目标检测的前景引导双分支学习框架。通过将显式的前景背景区分引入检测流程,所提出的框架提高了稀疏雷达场景中的目标表示。
  • •
    我们设计了一种基于可微学习的查询生成器和一种前景引导门控跨分支融合模块。前者通过建模局部密度和运动一致性生成前景线索,而后者指导跨分支特征交互以关注潜在目标区域。
  • •
    在提案阶段,我们引入了一种基于圆柱几何约束的前景优先关键点选择策略。该策略增强了与目标相关区域的表示,并减少了来自背景杂波和噪声点的干扰。
  • •
    在 VoD 和 TJ4DRadSet 上的实验表明,所提出的纯雷达方法在与基于雷达的以及几种雷达 - 相机融合方法相比时取得了具有竞争力的准确率,同时保持了实时效率。

章节片段

基于相机的 3D 目标检测

基于相机的 3D 目标检测是自动驾驶感知的一个重要研究方向。由于相机提供丰富的纹理和语义信息,早期方法试图从单目图像中估计 3D 边界框 (Chen et al., 2016)。随着多视角感知的发展,研究逐渐从显式几何方法转向基于鸟瞰图 (BEV) 表示的方法。例如,LSS (Philion and Fidler, 2020) 投影多视图

概述

为了解决 4D 雷达点云检测中稀疏目标点和背景杂波干扰的挑战,我们提出了一种前景引导双分支学习框架 (FGDBL)。如图 2 所示,所提出的框架由五个主要组件组成:主分支雷达点云表示模块、辅助分支基于可微学习的查询生成器 (DLQG)、前景引导门控跨分支融合模块 (FGGCBF)、圆柱去噪

数据集

nuScenes 数据集 (Caesar et al., 2020) 是自动驾驶感知中广泛使用的毫米波雷达基准。然而,其雷达点云缺乏 4D 成像雷达提供的高度信息。为了评估所提出的方法,我们在两个公开的 4D 雷达 3D 目标检测数据集上进行了实验,即 View of Delft (VoD) (Palffy et al., 2022) 和 TJ4DRadSet (Zheng et al., 2022)。VoD 数据集包含三类物体,包括汽车、行人,

结论

本文解决了稀疏 4D 雷达点云中物体响应容易被背景杂波干扰的问题,并提出了一种前景引导双分支学习框架,称为 FGDBL。所提出的框架通过 DLQG 生成点级前景线索,并通过 FGGCBF 将辅助前景信息选择性地注入主分支特征。同时,CDA 进一步约束了提案阶段的关键点选择。通过这种方式,一个相对完整的

CRediT 作者贡献声明

Yuanhang Wang: 写作 – 原稿、可视化、验证、方法论、调查、正式分析、数据整理、概念化。 Yonghua Zhou: 写作 – 审阅与编辑、监督、资源、调查、资助获取。 Yongnan Zhang: 写作 – 审阅与编辑、资助获取、概念化。 Yiduo Mei: 写作 – 审阅与编辑、监督、调查。

利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系可能影响本文中报告的工作。

致谢

本工作部分得到了中国国家自然科学基金(资助号 62373037)、中国国家自然科学基金(资助号 62203021)以及中央高校基础研究基金(资助号 2024YJS185)的支持。
Yuanhang Wang|Yonghua Zhou|Yongnan Zhang|Yiduo Mei
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号