《Robotics and Autonomous Systems》：Achieving Level-4 autonomy in urban intersections through EKF-based multi-modal fusion enhanced by dual-attention PPO
编辑推荐：
自主车辆在复杂城市交叉口需融合多模态传感器数据与V2X通信，本文提出基于EKF的RSU多源融合架构与双注意力PPO决策模型，通过PC5侧链实现置信加权消息聚合，显著提升决策准确性（97.4%）、通信可靠性（15%-20%增强）及策略收敛速度（2.3倍）。并建立决策精度与SAE自动驾驶等级的量化映射关系。
作者：Daud Khan, Sawera Aslam, Sudeb Mondal, KyungHi Chang
韩国仁川仁荷大学电气与计算机工程系，22212
摘要
自动驾驶车辆需要具备强大且具有情境感知能力的决策能力，以便在复杂的城市交叉路口安全通行。为应对感知不确定性、通信延迟和多智能体交互等挑战，本文提出了一种新颖的框架，该框架结合了多模态传感器融合、基于置信度的V2X消息聚合和双注意力强化学习。在该系统中，路边单元（RSU）利用扩展卡尔曼滤波器（EKF）通过5G NR PC5侧链路整合激光雷达（LiDAR）和摄像头数据与协作感知消息（CAM）、集体感知消息（CPM）以及去中心化环境通知消息（DENM），生成具有置信度权重的统一环境表示。该融合状态定期广播给车辆，每个车载单元应用双注意力模块提取显著的时间和空间特征以进行策略学习。双注意力PPO（DA-PPO）智能体利用这些丰富的上下文信息优化交叉路口的变道、避碰和交通流管理。使用V2AIX数据集进行的仿真结果表明，与基线A2C（PC5接口）和PPO模型相比，所提出的DA-PPO模型的决策准确率高达97.4%，数据包传输可靠性提高了15%–20%，策略收敛速度提高了2.3倍。此外，引入了基于决策准确度的自主性子级别分类，以便在评估的交叉路口场景中参照SAE自主性等级来衡量决策性能。总体而言，所提出的方法为下一代智能交通系统实现了可扩展、可解释且具备通信意识的自主性。
引言
智能交通系统（ITS）的快速发展正在重塑城市交通模式，其中自动驾驶车辆（AVs）处于这一变革的前沿[1][2]。然而，由于交通密度高、遮挡物多、布局动态以及道路使用者行为不可预测，城市交叉路口仍然具有特殊挑战，这暴露了以车辆为中心的感知和孤立的车载智能的局限性[3][4][5]。为了解决这些问题，近期研究强调将多模态传感器融合与车辆间（V2V）和车辆与基础设施（V2I）通信相结合。利用超可靠、低延迟的5G NR PC5侧链路，车辆能够扩展感知范围，减少盲点，并实时协调行驶动作[6][7][8][9]。路边智能和标准化消息交换进一步增强了协同感知和安全性[10][11][12]。本研究考虑了一个典型的交叉路口场景，其中每辆车都配备了激光雷达和摄像头传感器，同时交换欧洲电信标准协会（ETSI）制定的ITS消息，如协作感知消息（CAM）、集体感知消息（CPM）和去中心化环境通知消息（DENM）。路边单元（RSU）作为协同融合中心，汇总附近车辆的传感器数据和V2X消息，并应用扩展卡尔曼滤波器（EKF）生成统一且抗噪声的情境地图[13][14]。该地图通过PC5侧链路定期广播，即使在有遮挡的情况下也能保持集体情境感知。在车辆端，强化学习（RL）框架实现了协同决策，优化了感知和通信效率[15][16][17]。先前的研究已经展示了RSU辅助的V2I融合与RL相结合的优势，但在实现可扩展性、实时操作和安全消息处理方面仍存在挑战[18][19]。
为克服这些挑战，本文提出了一种以RSU为中心的协同框架，该框架在基础设施层面结合了基于EKF的融合技术，在车辆层面采用了双注意力近端策略优化（DA-PPO）模型。时间注意力关注关键的历史事件，而空间注意力关注具有影响力的智能体，从而实现精确且具有情境感知能力的决策，用于智能变道、避碰和交通流管理。该设计符合多传感器融合、深度强化学习和6G支持的V2X系统的最新进展[20][21][22]。此外，它还结合了语义资源分配、分布式集成感知与通信（ISAC）概念以及ETSI/SAE规范，以确保部署的真实性[23][24][25]。总体而言，所提出的框架建立了协同感知精度与基于决策的自主性等级之间的可解释联系，将汽车工程师协会（SAE）的3-4级自主性分类细化为可测量的决策准确度子级别[26][27][28]（见图1）。
本文的主要贡献总结如下：
- •
以RSU为中心的传感器和消息融合：
基于EKF的集中式RSU架构，通过PC5侧链路融合异构的激光雷达、摄像头和V2X消息流（CAM、CPM、DENM），提供同步且全局一致的环境感知。 - •
双注意力强化学习：
在车载单元（OBU）部署DA-PPO模型，从融合数据中提取显著的时间空间特征，使车辆能够通过本地行动和V2V通信执行实时协同决策。 - •
端到端框架验证：
从RSU的数据收集和融合到车辆端的分布式决策的完整流程，在代表性的交叉路口用例中进行了验证：智能变道、避碰和交通流管理。 - •
基于决策准确度的自主性子级别：
一种以决策准确度为量化标准的分类框架，用于组织交叉路口驾驶场景的自主性子级别，提供了可解释且特定于场景的自主性进展基准。
本文的其余部分安排如下：第2节回顾了多模态融合、协同感知和基于学习的决策相关研究。第3节介绍了提出的RSU辅助的多模态融合架构、DA-PPO模型和基于决策准确度的自主性分类。第4节描述了用于评估的仿真设置、数据集和交叉路口场景。第5节讨论了仿真结果，包括决策准确度、数据包传输可靠性和自主性子级别分类。最后，第6节总结了本文并展望了未来的研究方向。
相关研究
自动驾驶越来越多地利用协同感知和多模态传感器融合来提升感知能力和决策质量。早期研究表明，激光雷达-摄像头-雷达融合可以提高感知范围，但在实时对齐和带宽限制方面存在问题[1]。通过V2X，特别是V2V/V2I通信，车辆可以共享超出视线范围的环境数据，但延迟、可靠性和可扩展性融合仍是一个未解决的问题[2]。例如V2AIX数据集用于评估基于RSU的融合性能
提出的多模态融合与自动驾驶决策模型
本节介绍了适用于复杂交叉路口场景的自动驾驶车辆的RSU辅助多模态传感器融合和决策框架。该架构结合了摄像头和激光雷达感知以及基于PC5的V2X消息融合和注意力驱动的强化学习。
仿真框架与数据集整合
本研究利用V2AIX数据集模拟真实的交叉路口场景以进行自动驾驶决策。该数据集包含同步的ROS包文件，包含多模态感知和符合ETSI ITS标准的标准化V2X消息[29]。数据包括高分辨率的激光雷达点云和立体摄像头图像，车辆的感知范围为125米，路边单元（RSU）的感知范围为300米。两种传感器的数据采集频率均为10 Hz。不同用例下的数据包传输比率（PDR）分析
图7(a)–(c)展示了三种自动驾驶用例（避碰、交通流管理和智能变道）在不同RSU与车辆距离下的PDR性能。PDR衡量决策阶段之前车辆决策模块成功接收到的融合状态更新的比例，是协作感知中数据可靠性的指标。较低的PDR表示情境信息缺失或延迟。结论
本研究通过结合基于EKF的多模态传感器融合、基于置信度的PC5侧链路消息聚合和双注意力PPO学习模型，为城市交叉路口的自动驾驶提出了一个具有韧性和可扩展性的决策框架。所提出的架构使每辆车的车载单元（OBU）能够动态解释复杂的融合状态，强调关键的时间空间线索，从而提高安全性和协调性。使用V2AIX数据集进行的仿真结果表明...CRediT作者贡献声明
Daud Khan：撰写——原始草稿、可视化、软件开发、资源准备、方法论设计、概念构思。Sawera Aslam：撰写——审稿与编辑、可视化、资源准备、方法论设计、形式分析。Sudeb Mondal：撰写——审稿与编辑、可视化、资源准备、形式分析。KyungHi Chang：监督、技术领导、项目管理、资金获取、概念构思。利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。
