一种混合方法用于协调交通信号控制，该方法通过平均相位统计量来捕捉偏移量分割之间的相互依赖性

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Hybrid approach for coordinated traffic signal control capturing offset-split interdependency using average phase statistics

　　

金贤秀|叶华秀

韩国科学技术院土木与环境工程系，大田，34141，韩国

摘要

强化学习（RL）已成为交通信号控制（TSC）的一种有前景的方法。然而，以往的研究要么单独优化偏移量，要么单独优化相位分割，导致整个网络的性能不佳。尽管这两个变量之间存在相互依赖性，但对它们的协调控制关注较少，而且大多数关于偏移量控制的研究都集中在走廊环境中，忽略了城市网络的复杂性。另一个限制是奖励设计：以往的研究通常采用直观或经验性的公式，而没有将其与TSC的最终目标（最小化延迟时间）联系起来。为了解决这些问题，我们提出了HyLight，这是一种结合了基于RL的偏移量控制和基于规则的相位分割的城市网络混合方法。通过同时协调这两个控制变量，HyLight实现了有组织且协调的操作，反映了它们之间的密切互动。在奖励设计方面，我们引入了一种新的交通状态指标——平均相位统计量，该指标基于排队论中的Little定律，以明确地将奖励函数与延迟最小化目标对齐。HyLight被构建为一个异步分散的部分可观察马尔可夫决策过程（AD-POMDP），其中代理在本地时间独立做出决策。在大型城市网络上的实验表明，HyLight在多个指标上的表现优于基线方法，同时确保了系统的稳定性和平衡性。

引言

交通拥堵仍然是全球城市地区面临的最严峻挑战之一，造成了巨大的经济、社会和环境成本。在欧盟（EU）内，由于交通拥堵造成的年度经济损失估计超过1000亿欧元，占欧盟GDP的1%以上。因此，实施有效的交通信号控制（TSC）对于通过提高交通效率和减少旅行延迟来缓解这些负面影响至关重要。

由于城市交通的高维性和随机性，传统的优化技术往往导致性能不佳（Ma等人，2021年）。作为一种有前景的替代方案，深度强化学习（DRL）在最近的TSC研究中得到了越来越多的探索，并在动态调整信号时序以适应交通需求方面取得了令人鼓舞的结果（Chen等人，2020年；Wei等人，2019a年；Xu等人，2021年；Zeng等人，2022年）。大多数基于DRL的TSC策略侧重于二级自适应控制策略（例如相位选择），即在每个决策步骤确定下一个激活的信号相位（Chen等人，2020年；Wei等人，2019a年；Xu等人，2021年；Zeng等人，2022年）。虽然这种策略能够实现灵活且高度响应需求的信号控制，但它与现实世界的实践有很大差异。在运营中的交通系统中，相位序列通常是预先定义的，以确保安全性和可预测性（Zeng等人，2022年），任意重新排序信号相位可能会在驾驶员和行人中引起混乱，增加反应时间和事故风险（Shabestary等人，2020年）。

一种更实际的方法是优化现有信号控制系统已经支持的参数，如相位分割（各相位之间的绿灯时间分配）和偏移量（相邻交叉口之间的时间协调）。这些变量在传统的交通工程中已经得到了很好的建立，使得先进算法能够无缝集成到实际基础设施中。然而，以往的研究通常分别使用DRL来研究偏移量或相位分割（Diaz等人，2020年；Ma等人，2021年；Yang等人，2022年；Yoon等人，2021年），这往往导致整个系统的性能不佳。实际上，相位分割和偏移量是相互影响的。例如，当偏移量控制成功为直行车辆创造了前进条件时，只有当相应的直行相位被分配了足够的绿灯时间时，这种协调的效果才能实现。这表明需要综合考虑偏移量和相位分割；然而，以往的研究通常是分别优化它们的，从而未能捕捉到这种相互依赖性。此外，大多数偏移量控制研究假设了简化的走廊网络，未能捕捉到城市网络的复杂性（Diaz等人，2020年；Ma等人，2021年）。

另一个重要的挑战在于奖励函数的设计。TSC的目标是优化网络中所有车辆的平均行驶时间或延迟时间，但直接使用平均行驶时间作为奖励信号并不常见（Xu等人，2021年）。这主要是因为在每个决策步骤测量行驶时间需要累积的车辆轨迹数据，这会给学习过程引入延迟和噪声。因此，大多数现有研究采用基于易于观察的交通指标（如队列长度、等待时间或吞吐量）的直观或经验性奖励公式（Abdoos等人，2011年；El-Tantawy等人，2013年；Genders和Razavi，2016年；Mousavi等人，2017年；Xu等人，2021年；Zheng等人，2019b年）。尽管这些公式提供了密集且即时的反馈，有助于高效学习，但它们仍然是启发式的，缺乏确保与最小化网络延迟这一最终目标一致性的理论基础。为了增强理论上的合理性，最近的研究探索了基于压力的奖励（Wei等人，2019a年；Wei等人，2019b年），这些奖励受到最大压力控制原理（Lioris等人，2016年）的启发，并已被证明可以稳定队列并最大化网络吞吐量。然而，吞吐量最大化并不一定与延迟最小化一致，特别是在异构或拥堵的城市网络中（Cui等人，2024年）。因此，设计既即时又具有理论基础的奖励函数至关重要，以确保局部改进能够减少旅行延迟，从而使学习目标与TSC的基本目的保持一致。

为了解决这些挑战，我们提出了HyLight，这是一个适用于复杂城市网络的混合控制框架。该框架将基于RL的偏移量控制与基于规则的相位分割优化相结合，通过明确考虑它们之间的相互依赖性来实现协调和有组织的操作。通过将基于规则的相位分割视为RL环境的一部分，所提出的方法还消除了在联合学习异构代理时可能出现的非平稳性，从而稳定了训练过程。在奖励设计方面，我们引入了基于排队论中Little定律的平均相位统计量。这种公式直接将时间平均队列长度与延迟最小化联系起来，有效地将RL目标与交通信号控制的基本目标对齐。此外，通过将相邻交叉口的交通状态纳入奖励中，控制器鼓励网络中的合作行为，将优化扩展到孤立交叉口之外。使用平均相位统计量作为状态和奖励的统一表示，进一步使模型能够捕捉时间聚合的交通条件，并促进网络范围内的协调。RL问题被构建为一个异步分散的部分可观察马尔可夫决策过程（AD-POMDP，Liang等人，2022年），允许分散的代理在本地时间独立做出决策。在SUMO微模拟器（Lopez等人，2018年）中实现的真实城市交通网络上的广泛实验表明，所提出的方法在多个层次指标上始终优于基线方法，包括网络层、轴线层和交叉口层指标，同时保持了系统的稳定性和平衡性。

章节片段

基于RL的控制进展

基于RL的交通信号控制方法因其能够适应复杂和动态的交通环境中的信号操作而受到了广泛关注。最近的方法主要强调了二级决策的优点，例如相位选择或相位切换，这使得控制器能够对交通条件的快速变化做出反应。二级策略的早期阶段（Chen等人，2020年；Wei等人，2019a年；Wei等人，2019b年；Zheng等人

异步Dec-POMDP

分散的部分可观察马尔可夫决策过程（Dec-POMDP）是MARL中广泛使用的问题模型，它假设代理之间的动作执行是同步的。然而，在现实世界环境中，代理之间的同步决策很少见且不切实际，而异步决策在实践中很常见，如图1a所示。交通信号控制也是如此。在这项研究中，分散的代理控制自己交叉口的偏移量，每个代理

数据集

我们使用Lopez等人（2018年）开发的Simulation of Urban MObility（SUMO）软件包，在韩国 Bucheon 市政府附近的Jung-dong地区的一个4×4交叉口网格网络上评估了所提出的方法（图3）。每个交叉口都有独特的车道配置（车道数量和转向方向）和每个方向的相位定义。该模拟复制了实际站点的真实世界几何布局和信号控制设置（图4）。

真实的交通需求是

结论

本文提出了HyLight，这是一个用于协调交通信号控制的混合框架，它将基于RL的偏移量控制与基于规则的相位分割优化相结合。通过在统一框架内同时协调两个基本信号变量，HyLight明确捕捉了它们之间的内在相互依赖性——这是以往研究中通常忽略的一个方面。这种整合是通过将基于规则的相位分割机制嵌入RL环境来实现的

CRediT作者贡献声明

金贤秀：撰写——原始草稿、验证、方法论、调查、形式分析、概念化。叶华秀：撰写——审阅与编辑、监督、调查、概念化。