面向混合交通协同匝道汇入的事件触发固定图强化学习方法

《Systems》：Event-Triggered Pinning Control for Cooperative Ramp Merging in Mixed Traffic via Graph Reinforcement Learning

　　

摘要

本文提出了一种事件触发固定图强化学习（EPGRL），用于网联自动驾驶车辆（CAVs）与人工驾驶车辆混合交通环境下的协同匝道汇入。EPGRL 将车辆间的交互表示为时变有向图，并使用具有时间更新机制的双流图编码器来捕获动态变化的交通耦合关系。当面向稳定性的代理指标表明收缩性丧失时，基于李雅普诺夫的触发器会激活协同，同时拓扑感知固定机制将控制权分配给具有影响力的 CAVs。PPO 策略生成纵向和横向动作，这些动作随后经过安全屏蔽进行过滤。涵盖不同交通需求和 CAV 渗透率的 SUMO 实验表明，与无控制、基于基础设施以及基于学习的基线相比，EPGRL 优化了行驶时间、燃油消耗、CO 排放量以及系统级碰撞时间。事件时间和空间分析描述了协同更新的分布情况，而在典型设置下，控制更新减少率介于 73.1% 至 79.8% 之间。消融实验进一步表明，图建模、感知不稳定性的触发机制以及固定选择策略均做出了互补性贡献。这些结果表明，选择性、状态相关的协同机制能够在模拟的混合交通汇入场景中平衡流动性、安全性、能源消耗和通信成本。