面向三维交通场景的多模态4D成像雷达数据集构建方法

《Sensors》：Construction Method of Multimodal 4D Imaging Radar Dataset for Three-Dimensional Traffic Scenes

　　

最新一代的4D成像雷达（4D imaging radar）凭借其提供目标高度数据和密集点云的能力，在自动驾驶环境感知中展现出巨大潜力。本研究提出了一种面向三维交通场景的多模态4D成像雷达数据集的完整构建方法。阐述了数据采集车的软硬件配置，提出了多传感器协同、参数标定、时间戳同步和空间基准同步等方法，并设计了八种典型的三维交通场景，如雨天环境、密集异构目标、封闭隧道、多车高速切入、多层立体结构及边缘工况复现。此外，研究人员提出了一种针对高清相机-激光雷达（LiDAR，Light Detection and Ranging）-4D成像雷达协同系统采集的高分辨率图像和点云数据的逐帧处理方法。提出了一种基于大模型的多类型目标3D标注方法，生成了时空序列优化的四维标注序列，最终构建了一个完整且高质量的面向三维交通场景的多模态4D成像雷达数据集。结果表明，所构建的数据集能够实现时间戳和空间坐标系的同步。大模型能够对四种预定义目标类型实现高精度3D标注。该数据集包含11,400帧来自高清相机、激光雷达和4D成像雷达的数据，共有131,642个标签。本研究将为4D成像雷达感知算法的训练与验证、复杂场景下的车辆决策与规划以及多传感器融合技术提供可靠的基础支撑。

自动驾驶技术正快速迭代，构建精确且鲁棒的环境感知系统是实现高级别自动驾驶的核心。目前主流方案依赖高清相机与激光雷达等多传感器融合技术，但在雨雪雾等恶劣天气或光照突变环境下，激光束易被大气悬浮粒子散射或吸收，导致探测距离缩短、点云稀疏甚至传感器失效，成为制约自动驾驶安全部署的挑战。毫米波雷达具备环境适应性强及测速优势，但传统3D毫米波雷达分辨率低且缺乏高度信息。新一代4D成像雷达增加了俯仰角测量维度，能生成包含精确速度信息的3D点云，具有高鲁棒性和低成本优势。为发挥4D成像雷达潜力，需大规模、多样化且高质量的公开数据集。现有数据集多采用低分辨率雷达，或缺乏恶劣天气、高速、隧道等综合场景覆盖，标注规模与连续性不足。为此，研究人员以高分辨率4D成像雷达为主传感器，结合高清相机和激光雷达，开展了面向三维交通场景的多模态数据集构建研究。研究成功构建了完整且高质量的多模态4D成像雷达数据集，实现了时间戳和空间坐标系同步，并通过大模型实现了高精度3D标注。该研究为复杂场景下的感知算法训练与验证、车辆决策规划及多传感器融合提供了可靠基础支撑，其成果发表在《Sensors》期刊上，具有重要的学术与工程价值。

研究人员为开展研究用到的主要关键技术方法如下：基于改装的纯电动汽车搭建数据采集系统，集成高清相机、激光雷达和4D成像雷达。核心技术包括：基于组合惯性导航GNSS（Global Navigation Satellite System，全球导航卫星系统）的高精度时钟同步机制与精密时间协议（PTP）实现时间戳微秒级同步；利用棋盘格与矩阵计算完成传感器内外参标定及空间基准同步。样本队列来源为2025年6月至7月在中国上海采集的三维交通场景数据。数据处理采用卡尔曼滤波进行预处理，提出距离感知动态邻域策略进行点云特征增强，利用扩展卡尔曼滤波进行目标状态估计。采用基于CenterPoint预训练的3D检测模型结合人工校验生成四维标注序列。

研究结果部分的具体内容如下：
数据采集方案：研究人员配置了搭载4D成像雷达、高清相机、激光雷达及组合惯性导航系统的数据采集车。4D成像雷达采用英飞凌28 nm芯片，探测距离达400 m。该方案能够同步激活所有传感器驱动，实时采集和存储多模态原始点云数据。

多传感器同步与标定：通过采用基于组合惯性导航GNSS的高精度时钟同步机制，利用精密时间协议实现主从节点时间同步。系统以10 Hz为基础采集频率统一时间线，将各传感器数据对齐，使时间戳误差保持在微秒级。在空间参考同步方面，通过求解内参矩阵K、外参旋转矩阵R及平移向量T，利用R_T 4×4转换矩阵将4D成像雷达与激光雷达点云投影至图像平面，实现像素级对齐与多模态数据融合。

面向4D成像雷达性能的场景库设计：分析了速度、俯仰角、视场角等4D成像雷达核心性能指标。设计了八个典型的三维交通场景，包括雨天环境、密集异构目标、封闭隧道、多车高速切入、多层立体结构等。数据采集于中国上海进行，涵盖五个城市复杂场景和三个高速场景，并根据复杂度设定了2至5分钟的分级记录时长。

4D成像雷达点云数据处理方法：
在数据处理流水线中，采用卡尔曼滤波进行数据预处理，设置基于6 dB信噪比（SNR，Signal-to-Noise Ratio）的动态滤波阈值以滤除雨天杂波。为解决点云稀疏问题，提出距离感知动态邻域策略进行点云特征增强，通过动态调整邻域搜索半径改善远距离目标特征提取失真问题。在目标检测与跟踪中，利用多普勒速度区分动静点，结合扩展卡尔曼滤波估计目标状态并剔除虚假轨迹。
在激光雷达点云数据转换与验证方面，将原始数据标准化为PCD格式，并基于Open3D验证数据完整性。在4D成像雷达点云数据处理中，解析十维点云信息并逐帧渲染，通过将4D成像雷达点云转换至激光雷达坐标系，实现了精确的时空对齐。在数据保真度与感知潜力的定量评估中，通过分析11,400帧序列，得出平均动态点比例为40.06%，每帧平均检测3.45个动态目标，证明预处理有效保留了运动信息。

基于预训练3D检测模型的4D成像雷达点云数据标注：
在自动标注与轨迹优化中，利用基于CenterPoint预训练的3D检测模型生成初始边界框。提出基于自适应迭代控制的3D目标标注方法，结合点云配准置信度与目标运动约束，引入自适应迭代终止策略，有效改善了边界框不匹配和时序抖动问题，输出了时空一致的四维标注序列。
在人工验证环节，通过全序列审核、一致性验证（采用交并比IoU > 0.7）及标注效率指标（平均中心平移误差ACE与平均旋转误差ARE）评估，完成了11,400帧关键帧的精细标注，共生成131,642个高精度标签。
在基线实验中，利用PointPillars作为基线进行4D成像雷达检测实验，结果表明该模型能有效提取空间特征完成车辆3D定位，验证了数据集用于3D目标检测研究的可行性。

总结讨论部分，研究结论指出，本研究详细介绍了面向三维交通场景的多模态4D成像雷达数据集的构建技术，形成了包含数据采集车配置、多传感器协同机制、软硬件平台搭建、典型交通场景设计、点云数据处理与验证以及基于大模型3D标注的完整技术流水线。该研究为学术界和工业界提供了关键数据支持，将促进面向4D成像雷达特性的新型感知算法研究以及多模态深度感知融合技术发展。未来研究将扩大数据集规模与多样性，补充恶劣天气和极端光照条件下的数据，并优化4D成像雷达感知模型，以提供全气候、高可靠性自动驾驶感知系统基准。