RoC-GRL：一种用于混合交通无信号交叉路口的通行权通信图强化学习多智能体决策方法

《Expert Systems with Applications》：RoC-GRL: A Right-of-Way Communication Graph Reinforcement Learning Multi-Agent Decision-Making Method for Mixed-Traffic Unsignalized Intersection

　　

• 针对混合交通无信号交叉口提出了一种RoC-GRL框架。
• 局部让行图与全局通信图对冲突和CAV协作进行建模。
• 顺序图学习融合了路权约束与协作上下文。
• 探索边界在TTC和让行冲突条件下抑制高风险动作。
• CARLA实验结果表明效率、安全性和训练稳定性均得到提升。

引言

随着物联网技术的广泛应用，自动驾驶正快速向高连接性、协作感知和协作决策方向发展（Sharma & Kaushik, 2019）。依托车联网通信与高度自动驾驶能力，网联自动驾驶车辆可以显著提升交通效率并增强驾驶安全（Van Brummelen, O'Brien, Gruyer, & Najjaran, 2018）。在可预见的较长时期内，随着网联车辆的渗透率逐步提高，道路交通环境将仍处于人工驾驶车辆与网联车辆共存的混合交通状态。因此，在混合交通中实现多辆网联车辆的安全协作控制将成为自动驾驶从单车智能向群体智能过渡过程中的核心问题。交叉口作为典型的道路结构，由于交通流交互的复杂性，是城市交通安全问题的集中体现。特别是，如图1所示，无信号交叉口缺乏明确的交通引导和通行约束，导致多方向交通流容易发生路径冲突、路权竞争和交叉交通干扰。尤其是在网联车辆与人工驾驶车辆共存的混合交通环境中，车辆间的行为差异和交互不确定性进一步加剧，使多辆网联车辆在协作决策和联合通行过程中面临更高的安全风险。

在无信号交叉口的多车协作智能决策与控制领域，现有方法包括基于规则的方法、复杂优化算法和深度强化学习方法。基于规则的方法根据交通法规预先定义通行优先级、让行和安全约束规则，使车辆能够直接根据这些规则确定通行顺序和驾驶行为以避免碰撞（Cai, Guan, Xu, et al., 2025, Dresner, Stone, 2008, Lu, Li, Wang, et al., 2014）。然而，此类规则依赖人工设计，难以覆盖复杂工况，泛化能力差，且受固定逻辑约束，无法适应动态交通。基于复杂优化算法的交叉口协作决策通常采用动态博弈（de La Fortelle, 2010）、混合整数规划（Lu & Kim, 2018）、蒙特卡洛树搜索（Gong, Wang, & Liang, 2024）、模型预测控制（Zhao, Li, Li et al., 2023b）和分层决策（Viadero-Monasterio, Melendez-Useros, Zhang et al., 2025）等优化方法来协调通行顺序、路权分配、轨迹规划和冲突解决，从而实现多辆车安全、高效、有序地通过交叉口。然而，此类方法的计算负担随车辆数量动态变化，导致协同决策结果的获取时机不稳定，存在潜在的安全风险。相关研究表明，深度强化学习方法在复杂决策方面的计算效率和稳定性表现良好（Kiran, Sobh, Talpaert, et al., 2021, Shi, Zhou, Wu, et al., 2021, Zhu, Wang, Pu, et al., 2020），且车辆决策过程与强化学习循环机制高度契合，因此得到了广泛研究。此类方法主要构建系统动态运行状态的高维度和细粒度表示（Wu, Duan, Zhou, et al., 2026, Zhao, Wang, Li, et al., 2025），通过全局风险感知对潜在风险进行主动识别和预先干预，从而驱动个体策略的主动迭代和策略修正的动态优化（Dong, Guo, 2026, Yang, Li, Chen, et al., 2024, Zhao, Li, Gao, et al., 2023a）。同时，通过引入多智能体交互特征，设计了基于规则的交互模式和结构化的协作奖励函数（Feng, Yuan, Li et al., 2025），并通过奖励信号实现智能体间的协作约束。

在网联车辆协作控制领域，现有控制逻辑通常可分为集中式控制和分布式控制（Ha, Chen, Dong et al., 2020）。集中式控制依赖路侧单元汇聚车辆状态、环境感知和通信信息，从全局视角生成多车协作控制指令，从而在高交互场景中有效协调车辆通行行为。分布式控制将每辆车视为独立的决策实体，主要基于自身感知范围内的信息进行局部决策。虽然它提供了更好的部署灵活性，但容易受到局部观测不完整的影响，可能导致协作不足或局部最优问题（Yang, Luo, Li et al., 2018）。因此，在混合交通无信号交叉口等冲突关系频繁变化的场景中，集中式控制方案通常更为适用。

混合交通无信号交叉口的协作决策仍面临两个关键挑战。首先，网联车辆与人工驾驶车辆之间不对称的路权让行关系必须与网联车辆之间的通信和协作关系加以区分，并有效整合到多车协作决策中。其次，在连续动作探索过程中，网联车辆的行为边界必须根据动态冲突风险进行约束，以平衡策略探索、安全性和训练稳定性。

为应对这些挑战，我们提出了RoC-GRL，一种面向混合交通无信号交叉口的路权—通信图强化学习方法。该方法分别构建局部路权让行图和全局网联车辆通信图，并采用顺序图表示学习来整合不对称让行关系与网联车辆协作信息。结合参数共享TD3，单一策略为多辆网联车辆生成连续的纵向控制动作。进一步引入了基于碰撞时间和让行风险的行为探索优化机制以及行为偏差损失，以约束高风险动作。风险优先经验回放和安全—协作结构化奖励函数作为辅助训练机制。主要贡献总结如下：

1. 提出了一种融合路权关系与通信拓扑的基于顺序图的状态建模方法。为了区分混合交通中的异构交互语义，构建了局部路权让行图和全局网联车辆通信图，分别表示不对称的冲突—让行关系和基于通信的网联车辆协作关系。随后，顺序图表示学习架构将局部路权约束与全局协作信息整合，为安全的多网联车辆决策提供高层状态表示。

2. 提出了一种面向集中式多网联车辆协作决策的行为探索优化方法。基于顺序图表示和TD3，单一共享策略为多辆网联车辆提供连续的协作控制。一种联合考虑碰撞时间和让行优先级的行为探索优化机制，在潜在冲突下动态约束高风险动作空间。行为偏差损失进一步将执行层面的安全边界反馈至策略学习，减少高风险控制动作的探索和输出。

3. 开发了一种面向风险感知与协作学习的训练增强机制。风险优先经验回放提高了安全关键样本的学习效率，同时考虑安全性、交通效率和协作的结构化奖励函数支持策略优化。在CARLA混合交通场景中进行的性能对比、消融实验和泛化实验表明，RoC-GRL在保持稳定收敛和良好场景泛化能力的同时，提高了多网联车辆协作决策的安全性和交通效率。

章节片段

相关工作

近年来，在交叉口网联车辆协作控制研究方面取得了显著进展（Fang, Hang, Wei, et al., 2024, Hua, Qi, Chen, et al., 2025, Luo, Luo, Qin, et al., 2026），大多数研究聚焦于两大控制场景：纯网联车辆协作以及网联车辆与人工驾驶车辆的混合协作。

对于纯网联车辆协作控制场景，现有研究主要关注安全约束的嵌入和风险感知方法。在初期阶段，研究人员使用

问题陈述与系统建模

图1展示了典型无信号交叉口的车辆行驶路线和路线冲突，其中每个入口路段允许三种不同的驾驶任务：左转、右转和直行。交叉口内的车辆路线可能相互冲突，图中红点表示相应的冲突点。在交叉口处，如果涉及两辆或更多车辆的行驶路线包含冲突点且没有任何车辆具有

RoC-GRL

RoC-GRL以TD3作为底层决策算法构建，其整体架构如图3所示。首先，系统从当前车辆状态构建局部路权让行图和全局网联车辆通信图。局部让行图识别潜在的路径冲突并纳入交通规则，以表示网联车辆与人工驾驶车辆之间的方向性让行关系。全局通信图以受控网联车辆为节点，并

实验

基于CARLA 0.9.14进行算法的训练和测试。CARLA是一个开源的自动驾驶仿真平台，支持自动驾驶算法的开发、测试和验证，其核心特征是提供高保真的城市交通仿真环境。本研究选择Town03中一个典型十字路口作为实验场景，交叉口区域的交通信号灯固定为

结论

本文提出了RoC-GRL，用于混合交通无信号交叉口中多网联车辆的安全协作决策。局部路权让行图和全局网联车辆通信图分别表示不对称让行关系和网联车辆协作。顺序图表示学习将这些关系整合到集中式TD3框架中，通过单一共享策略实现连续的多网联车辆控制。一种行为探索优化机制

CRediT作者贡献声明

Tongcheng Gu：概念设计、方法论、软件、验证、形式化分析、调查研究、数据管理、初稿撰写、可视化、审阅与编辑。
Chengju Sun：方法论、软件、验证、调查研究、数据管理、可视化、审阅与编辑。
Dongwei Xu：概念设计、方法论、监督指导、项目管理、经费获取、审阅与编辑。
Tieming Chen：验证、形式化分析、资源、撰写—

利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

Tongcheng Gu | Chengju Sun | Dongwei Xu | Tieming Chen | Haifeng Guo | Akhylbek Kurishbayev | Duman Imanmadi