针对大规模有规划车辆运作的基于时间表遵守的交通信号控制：一种多智能体强化学习方法

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Schedule adherence oriented traffic signal control for large-scale scheduled vehicle operations: A multi-agent reinforcement learning approach

　　朱吉林|王琪晴|杨凯迪|杨晓光
教育部道路与交通工程重点实验室，同济大学，中国上海曹安路4800号，201804

摘要
旅行时间的可靠性在现代交通系统中起着至关重要的作用，尤其是对于按照预定时间表运行的预约车辆（Scheduled Vehicles, SVs）。预约车辆在城市交通系统中越来越普遍，常见的例子包括公交车、送货卡车、网约车服务车辆和旅行预订车辆。由于预约车辆的时间表可以被视为一种承诺，因此通过 urban 交通管理和控制策略提高旅行时间的可靠性至关重要。在文献中的各种方法中，信号控制似乎是提高预约车辆时间表遵守率的一种有前景的策略。然而，现有方法在应对大规模预约车辆运营带来的挑战方面仍然有限。本研究通过提出一种多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）框架来解决大规模预约车辆信号协调问题，该框架能够在确保时间表遵守的同时保持整体交通效率。我们提出了一种预约车辆优先级分配机制，该机制结合了基于距离的权重，给予更接近目的地的预约车辆更高的优先级。这使得信号控制代理能够精确识别和优先处理具有不同时间表和相冲突方向的预约车辆。为了有效捕获每辆预约车辆的信息，我们设计了一种基于 Transformer 的特征提取器来处理预约车辆的可变长度观测数据。所提出的 Transformer-Enhanced MARL 方法通过全面的观测和结构良好的奖励机制，在个别预约车辆时间表遵守率和整体交通效率之间取得了平衡。在网格网络和真实世界网络中的模拟表明，与基准方法相比，所提方法可以显著提高预约车辆的时间表遵守率，同时减少整体交通拥堵。敏感性分析进一步证实了该方法在不同交通条件下的适应性。结果表明，我们提出的方法可以在不牺牲系统效率的情况下确保大规模预约车辆的时间表遵守。

引言
旅行时间的可靠性是评估交通系统性能的关键指标。可靠的旅行时间能够准确预测行程所需时间，从而减少为应对不确定性而建立额外缓冲的需求。这使得旅行者能够自信地规划活动，服务提供商也能够高效地优化资源分配（Kumar 等人，2022 年；Shi 等人，2025 年；Yang 等人，2026 年；Zhang 等人，2024 年）。对于按照预定时间表运行的预约车辆（Scheduled Vehicles, SVs）来说，旅行时间的可靠性尤为重要。由于旅客对准时性的需求不断增加，以及支持精确调度和追踪的数字平台的兴起，预约车辆变得越来越受欢迎。常见的预约车辆例子包括有时间表的公交车、有取货/送货时间窗口的货运卡车以及有时间承诺的网约车（Liu 等人，2021 年；Xu 等人，2021 年）。此外，随着对城市道路和公路上旅行预订策略的研究不断深入（Menelaou 等人，2017 年；Wang 等人，2023 年；Zhou 等人，2024b 年），预计按照预定时间表运行的车辆数量将会增加。因此，我们预计预约车辆在未来的城市道路网络中将变得更加普遍。对于预约车辆而言，它们的时间表通常是对客户的承诺，任何偏差都可能导致经济损失或损害公众信任。因此，确保预约车辆的旅行时间可靠性，即它们的时间表遵守率，是城市交通管理和控制的关键任务（Zhou 等人，2024c 年）。

关于提高预约车辆时间表遵守率的现有研究可以分为三类。第一类旨在通过构建缓冲区来生成更稳健的时间表，以减轻干扰对时间表遵守率的影响。这些方法首先使用深度学习方法预测旅行时间及其置信区间（Liu 等人，2023 年；Woodard 等人，2017 年），然后使用稳健优化方法设计稳健的时间表（Ning 等人，2024 年；Shi 等人，2019 年）。然而，这些预先制定的时间表无法适应预约车辆调度后的实时交通状况。此外，由于内置的缓冲区，这些方法可能过于保守，不适合那些对预定到达时间有严格要求的应用场景，例如送货时间窗口较短的车辆。第二类方法旨在通过动态路由和车辆控制直接提高预约车辆的运营效率，以适应动态交通状况。例如，网约车和送货车辆的动态路线优化算法（Ke 和 Qian，2023 年；Zhang 和 Nie，2018 年），以及公交车聚集缓解策略（Rodriguez 等人，2023 年；Petit 等人，2018 年；Berrebi 等人，2018 年）。尽管这些策略在提高预约车辆运营效率方面被证明是有效的，但它们本质上受到交通条件的限制，仍然可能容易受到环境不可预测干扰的影响。第三类方法旨在通过协调交通信号来为预约车辆提供优先权，从而直接影响交通状况。这些方法在提高预约车辆遵守率方面显示出前景，因为它们直接改变了交通环境，并能快速响应城市交通系统中的任何干扰。然而，这类研究主要集中在公交信号优先（Transit Signal Priority, TSP）上，这种方式主要关注公交车的优先权（He 等人，2014 年；Lee 和 Wang，2022 年；Yang 等人，2019 年）。目前尚不清楚如何将 TSP 策略扩展到一般预约车辆的大规模运营中。

尽管信号优先策略具有潜力，但大多数现有研究仅关注简单场景（例如，孤立交叉口）和少量预约车辆（例如，单一预定公交车），而没有解决大规模预约车辆运营的复杂性（Christofa 和 Skabardonis，2011 年；Hu 等人，2016 年；Lee 和 Wang，2022 年；Ma 等人，2014 年；Ma 等人，2013a 年；Ma 等人，2013b 年）。然而，随着预约车辆变得越来越普遍，管理来自交通网络中大量预约车辆的动态且可能相互冲突的优先请求变得至关重要。现有方法试图通过为每种预约车辆分配不同的优先级或权重来处理这些冲突请求，基于预约车辆的类型（例如，紧急车辆）、乘客数量、时间表延迟等因素。然而，大多数现有方法依赖于复杂的优化问题（例如，混合整数线性规划（Mixed Integer Linear Programming, MILP），这些方法在预约车辆或交叉口数量增加时难以扩展（Zamanipour 等人，2016 年；Zhu 等人，2025b 年）。

为了解决基于模型的方法中的模型复杂性，一些研究采用了强化学习（Reinforcement Learning, RL）框架，这些框架通过与环境的持续交互学习控制策略，而不依赖于显式的优化模型（Chow 等人，2021 年；Liang 等人，2019 年；Yang 和 Fan，2025 年）。然而，在集中式 RL 控制器中，随着信号化交叉口数量的增加，状态-动作空间会迅速扩大（Chu 等人，2019 年）。此外，在大规模预约车辆场景下，单个控制器需要同时考虑整个网络中预约车辆之间的冲突。这导致了高维决策空间，从而引发可扩展性和收敛性问题。为了解决这些限制，多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）作为一种有前景的方法出现了，在这种方法中，每个信号化交叉口学习局部控制策略，并在网络层面与其他交叉口协调（Cai 等人，2025 年；Nie 等人，2024 年；Othman 等人，2025 年）。例如，Yu 等人（2023 年）开发了一种 MARL 框架，该框架在减少交通延迟的同时最小化单辆公交车的车头时距变化，有效保持了公交车之间的固定间隔。Long 和 Chung （2025 年）提出了一种 MARL 方法来减少公交车时间表的差异，其中每个交叉口控制器根据本地交叉口中公交车和普通车辆的交通动态来确定信号计划。在这些研究中，每个交叉口的信号控制器作为一个代理，根据本地观察到的信息（例如，预约车辆的操作状态（例如，时间表延迟、位置）和交通效率指标（例如，平均延迟、排队长度）选择调整信号计划的动作。

然而，现有的基于 MARL 的方法在推广到具有动态到达和空间分布的优先请求的大规模预约车辆场景时仍存在几个限制。首先，这些模型通常采用固定的观察状态表示，并假设预约车辆的数量是固定的，因此无法处理动态到达的请求。例如，大多数方法仅考虑每个交叉口中的少数高优先级公交车，如果预约车辆数量较多，可能只能提供部分观察数据（Long 和 Chung，2025 年；Long 等人，2022 年）。其次，这些方法无条件地优先考虑未按时到达的预约车辆，而没有充分考虑对整体交通性能的影响。实际上，当预约车辆在交通网络中沿长路线行驶时，可能只需要在少量交叉口获得优先权即可保持时间表遵守。据我们所知，只有少数 TSP 策略试图协调交通网络中的信号，以确保沿公交车路线的有效优先处理（Chen 等人，2022 年；Li 等人，2021a 年；Zeng 等人，2020 年），而这些努力通常关注公交路线和频率有限的场景。因此，开发能够适应动态、大规模预约车辆环境的可扩展的基于 MARL 的信号控制策略仍然是一个未解决的问题。

为了解决这个未解决的问题，本研究提出了一种新颖的基于 MARL 的信号控制框架，该框架在提高大规模预约车辆的时间表遵守率的同时，也提高了普通车辆（Regular Vehicles, RVs）的整体交通效率。据我们所知，这是首次确保城市道路网络中大规模预约车辆运营的旅行时间可靠性和时间表遵守率的工作。主要贡献有三个方面：
•我们为大规模预约车辆场景制定了信号控制问题，其中城市道路网络中的大量预约车辆可能会动态提交可能相互冲突的优先请求。与现有方法不同，现有方法通常仅根据预约车辆在固定公交车路线上的局部延迟来优先处理任何延迟的预约车辆，我们通过战略性确定预约车辆获得优先权的交叉口，以确保在最小化对其他车辆影响的同时遵守时间表。为此，我们提出了一个 MARL 信号控制框架，设计了状态表示和奖励公式，以同时考虑所有传入的预约车辆请求。
•我们设计了一种基于 Transformer 的特征提取器，以处理由于预约车辆动态到达而产生的多变维 MARL 观测空间，这对依赖静态输入结构的传统 MARL 信号控制研究提出了挑战。Transformer 架构在处理多变维观测数据方面非常强大，这要归功于其填充和自注意力掩码机制。此外，我们提出了一个端到端的学习框架，在统一架构中联合优化特征提取器和信号控制策略。
•我们提出了一种积极的协调策略，使代理能够在相互竞争的预约车辆之间做出明智的权衡。该策略结合了一种新的优先级机制，将时间表延迟与基于距离的权重相结合，允许代理根据预约车辆离目的地的距离及其在下游交叉口获得优先权的机会动态排序。通过适当延迟那些离目的地较远的预约车辆的优先权，该方法更有效地将有限的绿灯时间分配给那些接近目的地的预约车辆。这种前瞻性的优先策略提高了大规模预约车辆的时间表遵守率和整体交通效率。

本文的其余部分组织如下：第 2 节描述了本研究中的信号控制问题。第 3 节介绍了所提出的 MARL 信号控制方法的代理设计和学习框架。第 4 节展示了所提方法在案例研究中的评估结果。最后，第 5 节总结了本研究并提出了未来研究方向。

问题描述
在本节中，我们介绍了为了提高大规模预约车辆的时间表遵守率而进行的交通信号控制问题。考虑一个由有向图 G=(I, E) 描述的典型城市道路网络，其中每个顶点 i∈I 代表一个信号化交叉口，每条边 e∈E 代表连接两个相邻交叉口的道路链路。在交叉口 i 处，有两种类型的车道：进入车道（Lini）和出车道（Louti）。每个交通流动都表示为一对（l, m）。

方法论
在本节中，我们介绍了所提出的 MARL 信号控制方法的框架。整个控制框架如图 2 所示。每个交叉口作为一个代理，可以同时处理来自整个网络中不同路线的预约车辆请求。基于对当地整体交通状况的观察以及共享单车（SVs）的信息（例如，计划延误），每个代理学习一种控制策略，以共同提高网络层面的交通效率和共享单车的计划遵守度。在本节的案例研究中，我们使用开源交通模拟器Simulation of Urban MObility（SUMO，Lopez等人，2018年）来评估所提出的强化学习（MARL）框架。实验涵盖了假设的网格网络和中国金州市的真实道路网络，以检验我们的方法在不同交通场景下的性能。结论在本研究中，我们提出了一个MARL框架，旨在提高大规模共享单车的计划遵守度，同时减少整体拥堵。这是将共享单车的行驶时间可靠性和计划延误整合到交通信号控制中的开创性工作之一。为了有效协调网络中的大规模共享单车，我们引入了一个优先级指标，该指标考虑了共享单车的计划延误和距离目的地的剩余距离。距离目的地较远的共享单车可能会暂时受到限制。作者贡献声明朱纪臣：撰写——原始草稿、验证、软件开发、方法论研究、形式分析、概念化。王启青：撰写——审稿与编辑、可视化处理、验证、软件开发、方法论研究。杨凯迪：撰写——审稿与编辑、撰写——原始草稿、验证、监督、方法论研究、形式分析。杨晓光：撰写——审稿与编辑、验证、监督、资源管理、方法论研究。