自动驾驶中用于全天候感知的4D雷达与摄像头高效融合技术

《IEEE Open Journal of Intelligent Transportation Systems》：Robust Fusion of 4D Radar and Camera for All-Weather Perception in Autonomous Driving

　　

摘要：

在自动驾驶领域，尤其是在恶劣天气条件下实现可靠的感知仍然是一项重大挑战。虽然4D成像雷达相比激光雷达更具成本优势且更能抵御天气影响，但其数据本身存在噪声问题。这类噪声不仅会破坏单帧数据的感知效果，还会随时间延续，从而导致雷达与摄像头融合方法缺乏时间上的可靠性。为解决这些问题，本文提出了RFusion4D，这是一种针对4D雷达和摄像头的新型、强大的特征级融合框架，旨在确保在各种天气条件下的优异性能。RFusion4D采用了双重策略，通过基于物理原理的先验信息对学习过程进行约束。首先，不同于传统的几何级过滤方法，该框架引入了一个信号可靠性学习模块，可直接作用于4D雷达的射频域。该模块通过分析信号的空间、频谱和时间特性来有效去除数据中的噪声，并为每个点生成可靠性评分。其次，还设计了一种具有置信度感知的时间编码器，利用历史数据提升检测的稳定性。所学得的信号置信度评分可在时间融合过程中起到注意力引导的作用，使模型能够优先处理更可靠的 historical信息，同时降低噪声的影响。研究团队还收集了包含雨天和雾天等复杂高速驾驶场景的专用数据集用于测试。大量实验表明，RFusion4D的性能显著优于传统方法，其检测精度提升了10.44%，时间可靠性提升了44.59%，充分证明了其在全天候自动驾驶感知任务中的有效性与可靠性。