一种基于多智能体的交叉口信号控制与车辆轨迹联合优化方法

《ADVANCED ENGINEERING INFORMATICS》：A multi-agent-based joint optimization method for intersection signal control and vehicle trajectories

　　

**摘要**

蜂窝车联网（C-V2X）通信技术的发展推动了城市交通系统向网联化和智能化方向演进。传统信号控制方法对时变交通流的适应性有限，无法与网联及自动驾驶车辆（CAV）进行有效协同。为应对CAV与人工驾驶车辆（HDV）混合交通条件，本文提出一种基于多智能体的交叉口信号控制与车辆轨迹联合优化方法，称为信号-轨迹优化协同智能体（STOCA）。通过设计信号控制智能体和CAV轨迹控制智能体，构建了一个两层协同优化架构，在提升交叉口交通效率的同时，使CAV能够联合优化行驶舒适度与安全性。为提升非理想C-V2X条件下轨迹控制的鲁棒性，进一步在CAV轨迹控制的训练与评估过程中引入延迟观测。为平衡整体交通效率与被控车辆的个体效益，设计了一种融合信号控制与CAV轨迹控制的联合奖励函数。采用基于树结构帕尔采估计器（TPE）的离线超参数优化策略，对联合奖励中CAV轨迹成本项的权重进行校准。基于中国桂林某数字交叉口的仿真结果表明，与基线方法相比，所提方法使平均延误降低了29.71%，平均排队长度降低了22.43%。敏感性分析表明，随着CAV渗透率的提高，性能有所提升，并且在低渗透率高峰交通条件下具有良好的适用性。

**引言**

交叉口是城市路网中的关键节点和瓶颈，各类交通问题在此频繁集中[1]、[2]。交通信号控制对提升城市路网运行效率起着至关重要的作用。随着城市交通需求的快速增长，交叉口的交通状态变得更加动态和不确定。传统的基于模型的交通信号控制方法依赖于预定义的交通模型、简化假设和参数[3]、[4]、[5]。尽管这些方法已被广泛应用于实际工程中，但它们对复杂和时变交通条件的响应能力仍然有限，尤其是在需要考虑微观车辆行为和车路交互的情况下。

在蜂窝车联网（C-V2X）通信和网联及自动驾驶车辆技术的快速发展推动下，城市交通系统正朝着更高水平的网联化和智能化方向演进。城市交通将逐步过渡为由人工驾驶车辆（HDV）和网联及自动驾驶车辆（CAV）组成的混合交通流。与传统仅关注信号配时优化的交通控制方法不同，混合网联环境下的交通控制不仅可以通过信号控制来调节交通流，还可以通过CAV的轨迹控制来实现。一方面，CAV配备的先进传感和通信技术可以为信号配时优化提供全面且高精度的车辆状态信息[6]。另一方面，CAV可以与交叉口交通控制系统协同工作，其可控制性可以进一步提升交叉口安全性和运行效率[7]、[8]。这种交通模式和控制方式的转变为提高交叉口控制策略的有效性提供了新的机遇。然而，在真实的混合交通环境中，车路协同并不总是处于理想通信和完全可观测的条件下[9]。通信延迟、异步信息交换以及混合交通流的异质行为可能导致观测到的车辆状态与实际交通状态之间存在偏差[10]、[11]。对于依赖实时状态输入的基于强化学习的控制器而言，这些非理想条件可能导致决策偏差和信号-车辆协同退化[12]。因此，在开发混合交通条件下的联合信号控制和CAV轨迹控制方法时，需要考虑非理想C-V2X条件下的延迟和部分可观测信息。

交叉口信号控制主要通过减少平均延误、排队长度和拥堵来提升系统级交通效率，而CAV轨迹控制则聚焦于个体级性能，如减少停车次数、提升行驶舒适度和保持安全性。信号相位切换和绿灯时间分配直接影响车辆的加速、减速和停车行为[13]。反之，CAV的轨迹和到达模式会影响排队形成和信号相位的最佳配时[14]。这两个控制目标紧密耦合且相互影响。保障被控车辆的利益有利于整体交通性能的提升，而过度强调系统级效率可能会损害个体车辆的出行效益[15]、[16]、[17]。因此，在混合网联交通环境下开发高效实用的交叉口协同控制方法已成为一个紧迫的研究课题。

针对混合交通环境，现有研究从不同角度对信号-轨迹协同控制进行了探索。部分研究将该问题建模为基于模型的优化问题，并使用数学规划、动态规划、启发式搜索或双层优化来确定信号配时和车辆轨迹[18]、[19]、[20]、[21]。这些方法描述了信号控制与车辆运动之间的交互关系，但通常需要精确的交通模型和复杂的约束条件。随着车辆数量、相位数量和决策变量的增加，计算负担加重，这限制了它们在实时混合交通控制中的适用性。与基于数学模型的传统交通控制方法不同，深度强化学习（DRL）不依赖于对交通系统状态转移函数的精确建模。相反，它利用深度神经网络来近似价值函数和策略梯度，使智能体能够通过交互训练学习近优策略[22]、[23]。鉴于其对复杂和时变交通环境更强的适应性，这种数据驱动的DRL方法在交通信号控制研究中获得了越来越多的关注[24]、[25]。然而，当前基于学习的协同控制研究仍存在若干局限性。首先，大多数基于DRL的交通信号控制方法主要优化信号相位，未能充分利用CAV在车辆轨迹调整和信息共享方面的潜力来实现速度与信号的协同控制[26]、[27]。其次，在一些车路协同控制方法中，信号智能体和车辆智能体被相对独立地设计，基础设施层决策与车辆层响应之间的交互未被充分捕获。大多数信号-车辆协同控制研究假设车辆状态能够被准确且实时地获取[28]、[29]。第三，多智能体系统的奖励设计通常聚焦于系统级效率，而被控CAV的个体效益可能被削弱。最后，固定的奖励权重可能不适用于不同的交通条件，尤其是当CAV渗透率和交通需求发生变化时[30]。相比之下，自动化超参数优化提供了一种比穷举网格搜索和主观手动调参更为系统和可重复的替代方案[31]。因此，有必要开发一种自适应的多智能体协同控制方法，能够在联合优化信号配时和CAV轨迹的同时，平衡全局交通效率和个体车辆性能。

为应对上述挑战，本文提出了一种面向混合交通条件下交叉口信号控制与CAV轨迹控制的多智能体联合优化方法，称为信号-轨迹优化协同智能体（STOCA）。所提方法建立了一个两层协同控制架构，包括信号控制智能体和CAV轨迹控制智能体。信号控制智能体根据实时交通状态动态调整相位切换和绿灯时长，而CAV轨迹控制智能体基于车辆状态、信号状态和跟驰信息优化纵向加速度。两个智能体在集中训练与分布式执行（CTDE）框架下训练，使它们能够学习协同策略同时保持独立执行。主要贡献如下：

1. 提出了一种基于多智能体的交叉口信号控制与车辆轨迹联合优化方法，将交通信号控制与CAV轨迹控制相结合以提升交叉口效率。

2. 相应地，开发了一个两层协同智能体架构，由信号控制智能体和CAV轨迹控制智能体组成。每个智能体基于其局部观测自主决策，同时集中式价值函数为更新个体策略函数提供全局梯度。为提升非理想C-V2X条件下轨迹控制的鲁棒性，进一步在CAV轨迹控制的训练与评估过程中引入延迟观测。

3. 为平衡交叉口级交通效率和车辆级轨迹质量，通过将归一化CAV轨迹成本作为加权跨层惩罚项纳入，构建了联合奖励函数。采用基于树结构帕尔采估计器（TPE）的离线超参数优化方法来校准相应的权衡系数，从而减少对手动调参的依赖。

本文其余部分组织如下：第2节综述了信号-轨迹联合优化和基于强化学习的协同控制相关研究。第3节介绍了所提STOCA框架的问题描述和建模。第4节描述了仿真设置并分析了实验结果。第5节总结了全文并讨论了未来研究方向。

**相关工作片段**

交叉口信号控制一直是城市交通管理的核心研究热点和难点。随着网联及自动驾驶车辆的发展，信号交叉口的控制目标已从单一的信号配时优化逐渐转向信号与车辆的协同控制。在网联混合交通环境中，CAV可以提供实时运动信息，并且在通信范围内可以接受主动控制。因此，……

**方法论片段**

交叉口交通流不仅受信号控制的影响，还受车辆轨迹规划的影响，两者共同决定了交叉口的运行效率。因此，本研究将交叉口交通控制问题建模为双重控制结构。考虑到混合交通环境的复杂特征，将信号调度与轨迹优化有效整合，并据此设计了定制化的基于智能体的控制策略……

**实验设置片段**

为验证所提STOCA方法的可行性和有效性，实验在中国桂林市中山中路与解放西路交叉口进行。该交叉口配备了雷达-视频集成全息感知系统。使用傍晚高峰时段收集的真实交通数据按比例模拟各进口道的交通需求，汇总的交通流量见表1。采用一种广泛使用的四相位控制……

**结论**

为提升交叉口运行效率，本文提出了一种基于多智能体强化学习的STOCA方法，包含两个智能体：CAV轨迹控制智能体和信号控制智能体。在车辆层面，对CAV在交叉口内的轨迹进行控制；在信号层面，根据实时交通信息动态调整信号相位时长。为平衡系统级交通效率和车辆级CAV性能，将CAV……

**CRediT作者贡献声明**

刘承坤：写作—审阅与编辑、写作—原稿撰写、可视化、验证、方法论、形式化分析、数据整理。王涛：写作—审阅与编辑、项目管理、方法论、资金获取、数据整理。郭艳阳：写作—审阅与编辑、验证、方法论。陈军：写作—审阅与编辑、方法论、概念构思。

**利益冲突声明**

作者声明不存在任何可能影响本文所报告工作的已知竞争经济利益或个人关系。

**致谢**

本研究部分由广西重点研发计划（项目编号ZG2600640087）资助，部分由广西重点研发计划（项目编号2026GKLT0216004）资助，部分由国家自然科学基金（项目编号52262047）资助。

刘承坤 | 王涛 | 郭艳阳 | 陈军