《IEEE Data Descriptions》:Descriptor: Infrastructure Perception and Control: Multi-Sensor Object Tracking Dataset (IPC-MSOT)
编辑推荐:
为破解路口死伤占比高、单传感器盲区大、轨迹级信号控制缺真值等难题,NREL团队联合科罗拉多泉市在3类路口部署雷达+激光雷达+摄像头,构建IPC-MSOT数据集,首次给出10 Hz预标定、预分类、时空对齐的物体级轨迹,可直接喂给late-stage fusion算法,显著降低SMART项目车路协同感知验证门槛。
当自动驾驶汽车驶近城市路口,它最怕什么?——突然蹿出的行人、横向闯红的货车、以及被大型SUV遮挡的自行车。美国每年约1/4交通死亡和1/2受伤发生在路口,单辆车“眼睛”再强,也难逃周边遮挡与感知盲区。把“眼睛”搬到天空,利用路侧传感器提供上帝视角,成为CAVs(Connected and Automated Vehicles)时代的共识,但业内却长期缺少一份“真值完备、跨传感器、轨迹级”的开放数据,导致研究者无法公平比较late-stage sensor fusion算法,交通工程师也难以为基于轨迹的信号控制(trajectory-based signal control)找到训练样本。
为填上这块“数据洼地”,美国能源部下属国家可再生能源实验室(NREL)与科罗拉多泉市在美国交通部SMART Grant资助下,于2024年启动“基础设施感知与控制”计划,系统采集并发布Infrastructure Perception and Control-Multi-Sensor Object Tracking(IPC-MSOT)数据集。作者Faizan Mir等选择高速、城区、乡村三类典型路口,动用移动实验车+杆件共布设4台Econolite EVO雷达、2台Ouster OS1-64激光雷达及1台Axis摄像头,全部升至6–9 m高度以模仿真实信号杆视角;通过车载30英尺升降桅杆、NTP时间服务器与边缘计算盒,实现10 Hz时空同步采集,累计获取超380万条预检测、预分类、已标定的物体轨迹,并附2D旋转平移参数,方便用户把多传感器数据一键映射到统一世界坐标系。
关键结论一目了然:
与仅提供原始点云或图像的既有数据集不同,IPC-MSOT直接给出结构化object list,包含PositionX/Y、SpeedX/Y、HeadingDeg等通用字段,以及TrackQuality、PredictionFlag等传感器专属置信度,可直接用于训练轨迹级融合模型。
通过在高-speed路口对角增设杆件雷达,研究者证实EVO雷达275 m探测距离与110°FOV可显著弥补OS1激光雷达45 m量程短板,而360°旋转OS1又以0.1 m级精度捕获非机动车与行人,使“雷达-激光雷达-摄像头”形成互补感知圈。
经2D刚体变换统一坐标后,重叠车道内物体轨迹平均误差<0.3 m,TrackQuality≥50%的轨迹占比>92%,证明现场外参自标定方法可支撑实时融合。
数据集已用于验证IPC框架下的cooperative perception engine,在N.Powers & Palmer Park Blvd等路口将延迟控制在100 ms内,为后续eco-approach/departure优化、curbside space分配等应用提供毫秒级真值。
该成果以数据论文形式发表于《IEEE Data Descriptions》,一次性把“感知-控制”链条的基准数据、校准参数与验证动画全部开源,意味着全球研究者可在同一起跑线上测试late-stage fusion、trajectory-based control及V2X消息压缩算法,而无需重复昂贵的路口布设。对正冲刺L4自动驾驶与智能信号控制的产业界而言,IPC-MSOT如同提供了一把“路口真值标尺”,将显著缩短算法迭代周期,降低实景测试成本,并有望直接转化为减少路口死伤的技术方案。
主要关键技术速览(≤250字)
依托NREL的IPC移动实验室,在3类路口布设EVO雷达、OS1-64激光雷达与Axis摄像头,通过30英尺升降桅杆模拟信号杆高度;利用NTP服务器实现10 Hz跨传感器时钟同步;借助InnoSenT API、Outsight SHIFT与Axis Analytics进行边缘侧实时检测与跟踪;采用2D刚体变换(旋转θ+平移T)将多传感器数据映射至统一世界坐标系(z=0地面),并输出带ObjectId、PositionX/Y、SpeedX/Y、HeadingDeg、TrackQuality、PredictionFlag等字段的CSV轨迹文件,附transformation2d_parameters.csv供用户直接重投影。
研究结果
数据集概述
IPC-MSOT涵盖2024-06-24、2024-08-21、2024-10-30、2024-11-22与2024-12-20五个采集日,分高速、城区、乡村三处路口,共释放约3.8×10^6条轨迹。每条轨迹含时间戳、类别(Car/Big-Truck/Person/Two-Wheeler等)、3D位置与速度、长宽高、体积及置信度。
传感器性能比较
通过对比同时间段雷达与激光雷达的object count,作者发现:EVO雷达在275 m范围内对Big-Truck与Small-Truck细分能力优于OS1,但把自行车与行人合并为Non-Motorized;OS1虽最大量程45 m,却可细分为Two-Wheeler与Person,且点云密度高,适合近距精确停车线检测。
时空标定质量
图10显示,经2D旋转平移后,多传感器在重叠车道内的轨迹高度重合;样本动画sample_animation.avi亦证实时序对齐误差<100 ms,满足CAVs实时决策需求。
置信度与可用性
雷达TrackQuality≥50%的轨迹占92%以上;激光雷达PredictionFlag=False的纯检测点占87%,表明预测填充比例受控,可方便地在融合阶段剔除外推点。
研究结论与讨论
IPC-MSOT首次把“路侧多传感器+预标定+轨迹级真值”打包开源,其意义不止于数据量:
为late-stage sensor fusion提供可直接喂入的CSV真值,避免重复耗时的点云标注;
通过高速/城区/乡村三种交通密度,验证雷达-激光雷达-摄像头互补性,为后续传感器选型与布设提供成本-性能权衡依据;
附带的2D变换参数与置信度字段,使用户可快速重投影、按需过滤低质量轨迹,降低算法开发门槛;
数据已支持IPC框架下的cooperative perception及trajectory-based signal control原型,初步实现100 ms级延迟,为SMART项目后续eco-approach、curbside optimization等应用奠定真值基础。
随着CAVs规模落地,路口将成为“车路协同”最核心战场。IPC-MSOT提供的这把“真值标尺”不仅能让研究者公平比较融合算法,还能让城市管理者提前评估不同感知配置对安全与效率的增益,从而用数据驱动的方式,把路口从“事故黑点”升级为“协同节点”。