利用基于风险意识的图注意力机制和深度强化学习方法来解决无信号交叉口的车辆协调问题

《Engineering Applications of Artificial Intelligence》：Solving the vehicle coordination problem towards unsignalized intersections using risk-aware graph attention and deep reinforcement learning approach

本文提出一种融合风险场模型与图注意力网络（GAT）的强化学习框架RAT-SAC，用于解决混合交通中无信号交叉口车辆协同决策问题。通过构建马尔可夫决策过程模型，结合动态熵调整的软演员-批评机（SAC）算法，实现了对复杂多车交互关系的建模与优化，实验表明该方法可降低13%的退避时间和25%的低速时间，并在实际自动驾驶平台验证了有效性。

　　

丁宇浩|王帅|谭晓军

中山大学深圳校区智能系统工程学院，中国深圳518107

摘要

在混合交通中，联网车辆（CAVs）和人工驾驶车辆（HVs）的共存为实现安全高效的车辆协作带来了持续的挑战，尤其是在无信号交叉口。尽管现有研究主要集中在完全自动化环境中，但针对混合交通的有效协调策略仍需进一步探索。本研究提出了一种强化学习框架，该框架将图注意力网络（GAT）与风险场模型相结合。混合交通协作问题被系统地构建为一个马尔可夫决策过程，从而能够精确模拟车辆之间的交互。GAT被用来编码多车辆交互特征，通过风险场模型对风险进行量化，进一步增强了注意力机制对动态交通条件的敏感性。采用具有动态熵调整的软演员-评论家网络来优化协调策略，确保学习过程中的稳定性和平衡探索。在不同混合交通渗透率下的实验结果表明，我们的方法优于现有基线方法，减少了退避次数和低速行驶时间，并提高了成功通行率。在自动驾驶平台上的实地实验进一步验证了所提出方法的实际适用性和鲁棒性，突显了其在智能交通系统中的潜在应用价值。

引言

联网车辆（CAVs）的普及加速了智能交通系统的发展（Matin和Dia，2022）。CAV技术的进步促进了车辆在动态交通场景中的协作，这已成为自动驾驶领域的一个重要研究方向（Wu等人，2023；Liu等人，2023）。长期以来，无信号交叉口一直被认为是城市交通中的重要瓶颈（Bejarbaneh等人，2024；Wang等人，2023）。随着进入交通网络的车辆数量不断增加，超过30%的交通拥堵和交通事故发生在这些交叉口（世界卫生组织，2019；Das等人，2021）。在现代智能交通系统的背景下，为无信号交叉口设计有效的车辆协作方案对于提高交通安全和优化交通流量至关重要。

随着车对车（V2V）和车对基础设施（V2I）技术的进步（Elassy等人，2024），CAVs可以在各种动态交通场景中有效协作，得到路边基础设施的支持（Zhang等人，2024）。然而，当前的CAV技术尚未完全成熟，特别是在复杂的城市环境中，实现完全自动驾驶还有很长的路要走。未来的智能交通系统预计将长期存在CAVs和人工驾驶车辆（HVs）的共存（Li等人，2023）。最近关于车辆协作的研究主要集中在完全由CAVs组成的环境中，这些环境面临应用范围狭窄和在实际场景中适应性不足的挑战。开发考虑HVs在混合交通环境中行为特征的多车辆协作策略具有重要的科学意义和实际价值。

近年来，人们投入了大量精力研究动态交通场景中的车辆协作策略（Malik等人，2021）。从方法论的角度来看，一些研究（Hu等人，2021；Zhang等人，2023）将协作决策构建为一个多目标优化问题，并使用专门的优化算法来解决它。或者，可以在博弈论框架内对车辆交互进行建模（Ji和Levinson，2020；Hang等人，2020），从而分析和预测交通环境中的战略行为。最近，随着深度学习的进步，深度强化学习（DRL）方法（Farazi等人，2021）因其在复杂环境中的强大适应性而被越来越多地用于车辆协作决策。在此基础上，一些基于图的DRL方法（Nie等人，2023；Xu等人，2024）被引入，以明确模拟交通参与者之间的交互。通过将车辆表示为节点，它们的交互表示为边，这样的图结构自然捕捉了多车辆系统中的关系依赖性，从而有效地描述了动态交通场景中的复杂多智能体交互。

然而，现有的基于图的DRL方法主要依赖于车辆状态信息来推断交互关系，这不足以捕捉车辆之间的潜在风险依赖性和关键交互模式。因此，它们识别在复杂交叉口场景中对决策影响最大的关键车辆节点的能力仍然有限。同时，对于无信号混合交通交叉口，大多数现有研究（Gong等人，2024；Cui等人，2026）依赖于基于优化或博弈论的方法进行车辆协调。尽管在结构化环境中有效，但这些方法通常依赖于预定义的模型和强假设，这削弱了它们对动态和不确定交通环境的适应性，以及模拟复杂多车辆交互的能力。相比之下，尽管DRL已应用于混合交通场景中的协作决策，但现有研究（Hou等人，2023；T. Wang等人，2025）主要集中在相对简单的场景，如匝道合并和变道。将其应用于更复杂和高度交互的环境，特别是无信号交叉口，仍然有限。仍然缺乏一个统一且稳定的DRL学习范式，能够模拟复杂的多车辆交互，这限制了在这些场景中的鲁棒性和泛化能力。此外，大多数现有研究主要在仿真环境中得到验证，对真实世界实验平台的调查有限，这限制了对其在实际交通系统中实际适用性和鲁棒性的评估。因此，开发一个能够共同捕捉交互结构和潜在风险信息的混合交通交叉口协作决策DRL框架，并在真实世界场景中得到验证，仍然是一个重要的开放性挑战。

为了解决上述限制，本文提出了一种新的混合交通无信号交叉口协作决策框架，称为RAT-SAC。具体来说，为了克服现有基于图的方法在建模车辆交互时缺乏潜在风险表示的问题，将风险场模型集成到图注意力网络中，以开发一个具有风险意识的图注意力机制，该机制学习交通网络的动态拓扑结构，并明确描述车辆之间的潜在风险关系，从而实现更准确的建模，提高决策的安全性和有效性。在此基础上，问题被构建在一个DRL框架内，其中采用了具有自适应温度熵调整的软演员-评论家（SAC）模型进行策略学习。状态空间、动作空间和奖励函数进一步根据混合交通场景的特点进行了定制，使模型能够共同优化协调效率、交通流畅性和安全性。通过将风险意识交互建模与基于DRL的策略学习相结合，本研究为混合交通交叉口的多车辆交互建立了一个高效且稳健的协作决策范式。在三种不同混合交通渗透率场景下的仿真结果表明，所提出的方法显著提高了模型训练的收敛速度和稳定性。此外，它将退避时间和低速行驶时间分别减少了13%和25%，同时提高了交通系统的整体流畅性和安全性。在自动驾驶平台上的实地实验进一步验证了该方法的实际潜力和有效性。

我们研究的贡献如下：

• 1.
  通过将风险场模型集成到图注意力网络中，提出了一种具有风险意识的图注意力机制，能够明确建模潜在风险依赖性和车辆交互拓扑，从而提高复杂交叉口场景中协作决策的安全性和有效性。
• 2.
  通过利用所提出的具有风险意识的图注意力机制进行交互建模，构建了一个基于DRL的混合交通无信号交叉口协作决策框架，并使用SAC算法进行策略学习。状态空间、动作空间和奖励空间的定制设计使得协调效率、交通流畅性和安全性的共同优化成为可能，从而提高了策略的稳定性和实用性。
• 3.
  通过仿真和实地实验验证了所提出方法的有效性和实用性，证明了CAVs和HVs之间改进的协作，以及交通效率和安全的提升。在自动驾驶平台上的实地实验进一步验证了该方法的适用性和鲁棒性，突显了其在实际应用中的潜力。

本文的其余部分组织如下。第2节介绍了背景知识的回顾和总结。第3节是问题陈述。第4节详细描述了所提出的方法。第5节介绍了仿真和实地实验。第6节总结了整个研究。

相关工作

相关工作

对于混合交通中无信号交叉口的协作决策问题，现有研究从不同的建模和解决角度提出了各种方法，这些方法可以大致分为基于优化的方法、博弈论方法和基于DRL的方法。

无信号交叉口场景建模

图1展示了一个典型的无信号交叉口场景，该场景分为准备区和冲突区。在准备区，CAVs和HVs从不同方向沿车道接近冲突区。在冲突区内，CAVs和HVs根据其行驶路线确定的复杂相互关系持续交互，最终离开冲突区。同时，部署了路边传感器（如摄像头和雷达）进行监控

深度强化学习框架

交叉口协调问题可以通过强化学习框架来建模，其中通常使用马尔可夫决策过程（MDPs）（Sigaud和Buffet，2013）来描述环境与强化学习代理决策之间的交互。MDPs通常表示为五元组$(S,A,R,P,\gamma )$。具体来说，$S$ 和 $A$ 表示可观察的状态空间和决策动作空间，$R$ 和 $P$ 表示奖励函数和状态

实验设置

为了验证我们方法的有效性，在配备了Intel i7 CPU和16 GB RAM的个人计算机上使用Python和SUMO模拟器（Lopez等人，2018）进行了仿真实验。如图7所示，构建了一个具有不同混合交通渗透率的交叉口场景。进入交叉口的车辆被随机指定为人工驾驶，比例分别为25%、50%和75%。为了更准确地模拟真实世界

结论

在这项工作中，提出了一种混合交通的协作方法，以增强无信号交叉口中车辆之间的协作。首先，在典型的无信号交叉口中对CAVs和HVs的行为进行了建模和分析，并开发了一个分层框架以实现连续的交通流。在深度强化学习框架内，引入了GAT与风险场模型的结合。风险场模型用于计算

CRediT作者贡献声明

丁宇浩：撰写——原始草稿、软件、方法论、数据整理、概念化。王帅：撰写——审阅与编辑、可视化、软件、调查、形式分析、数据整理。谭晓军：撰写——审阅与编辑、验证、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了深圳市科技计划（项目编号：ZDCY20250901112210012）和广东省基础与应用基础研究基金（项目编号：2024A1515010238）的支持。作者感谢主编、匿名副主编和审稿人的深刻评论和建议，这些评论和建议极大地改进了本文。