在多流框架（MFD）下，针对高需求网络的分层协作信号控制：一种深度强化学习方法

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Hierarchical cooperative signal control for high-demand networks within the MFD framework: A deep reinforcement learning approach

　　• 一个针对高需求网络的区域层级合作控制框架。
• 一种用于协调异构代理的深度强化学习算法。
• 一种用于信息分享的多级通信和协调机制。
• 通过改进的图表示学习增强感知能力。
• 在合成网络和真实世界网络中均实现了卓越的性能。

引言
自适应交通信号控制（ATSC）系统作为智能交通管理的关键技术，能够实时感知交通状态并优化信号时序计划，因此在提高城市道路网络的效率和整体性能方面发挥着至关重要的作用（Chow等人，2019年）。典型的ATSC系统如SCOOT（Hunt等人，1982年）、SCATS（Luk，1984年）和OPAC（Gartner，1990年）已广泛应用于实际道路网络，并在交叉口控制方面展示了显著的效果。然而，由于受到预定义规则的限制，这些算法的性能会随着交通需求和网络复杂性的增加而下降。为了解决这一限制，各种人工智能方法（如模糊逻辑（Trabia等人，1999年）、神经网络（Srinivasan等人，2006年）和进化算法（Hu等人，2007年）逐渐被引入到交通信号控制中，并取得了有希望的结果。值得注意的是，强化学习（RL）使代理能够通过与环境的试错互动学习最优策略，并根据反馈调整其行为，在ATSC应用中表现出色（Liu，2007年）。尽管如此，交通环境的高维、复杂和连续状态空间会显著降低传统RL算法的计算效率（Arulkumaran等人，2017年；Mousavi等人，2016年）。幸运的是，深度强化学习（DRL）将深度神经网络与RL相结合，有效缓解了这一问题（Mnih等人，2015年）。自那时起，DRL已成为智能交通系统（ITS）中ATSC研究的一个重要方向（Han等人，2023年）。

基于DRL的大规模网络ATSC研究主要遵循两种范式：分布式区域控制和集中式边界控制。一方面，分布式区域控制关注微观层面，将网络中的每个交叉口信号建模为一个独立代理，该代理学习局部控制策略以适应动态交通环境，从而提高网络效率、缓解拥堵、减少排放并增强安全性（Zhang等人，2024年；Zhao等人，2024年）。然而，在复杂的交通场景中，系统的状态空间具有高维度、时空相关性和不确定性。有效处理此类信息对于代理学习最优控制策略至关重要（Haydari和Y?lmaz，2020年）。幸运的是，卷积神经网络（CNN）可以通过多层卷积和池化操作对输入状态进行降采样，将原始的高维交通状态转换为紧凑的特征表示。这种方法在保留关键信息的同时大幅降低了输入维度和计算复杂性（Genders和Razavi，2016年；Liang等人，2018年）。此外，CNN不仅有助于状态空间降维，还能捕捉欧几里得空间中空间相邻数据之间的相关性。当与循环神经网络（RNN）（如长短期记忆（LSTM）模型）结合使用时，代理可以更有效地捕捉演变中的交通网络的时空动态（Faqir等人，2025年；Wu等人，2020年）。对于非欧几里得空间结构，图神经网络（GNN）及其变体（如图卷积网络（GCN）（Kipf，2016年）和图注意力网络（GAT）（Yang和Yang，2022年）在模拟复杂拓扑结构和动态流动特征方面表现出强大的能力。这些模型有效地聚合了来自图结构化交通数据的信息，捕捉网络的空间拓扑和动态依赖性（Yang，2023年；Yoon等人，2021年；Zhou等人，2020年）。此外，传感器噪声、通信延迟和设备故障等不确定性可能导致状态信息不完整。为了解决这个问题，引入了生成对抗网络（GAN）。通过利用生成器和鉴别器之间的对抗训练，GAN可以在信息缺失的情况下学习潜在的数据分布，生成与真实数据一致的高质量合成样本，从而增强控制算法的鲁棒性和弹性（Xu等人，2024年）。尽管深度神经网络能够有效提取交通特征并提高代理的感知和学习能力，但在过度饱和的交通条件下仍存在挑战。状态空间的高维度、时空依赖性和不确定性被放大，使得RL框架难以全面捕捉交通动态。此外，奖励函数设计难以准确平衡多个目标，导致模型稳定性降低甚至控制性能下降。

另一方面，集中式边界控制关注宏观层面，其主要目标是稳定网络内的车辆积聚，确保交通系统的效率。值得注意的是，宏观基本图（MFD）理论（Daganzo，2007年；Geroliminis和Daganzo，2008年；Godfrey，1969年；Paipuri等人，2021年）建立了空间聚合交通密度（作为自变量）与网络平均流量（作为因变量）之间的稳定函数关系。这一关系为区域层面的交通拥堵定量建模和控制提供了理论基础（Haddad和Mirkin，2017年；Johari等人，2021年；Ni和Cassidy，2020年；Ramezani等人，2015年；Sirmatel等人，2021年；Zhong等人，2018年）。在此基础上，现有的基于DRL的边界控制研究通常旨在实现MFD中的最大流量对应的最优状态。通过动态调节进入保护区域的车辆流量，这些方法保持网络运行在最佳性能范围内（Chen等人，2022年；Gao等人，2022年；Li等人，2023年；Yoon等人，2020年）。然而，边界控制优化基本上依赖于调整边界交叉口的信号时序和相位转换，以调节整个交通系统的宏观效率。这一过程对边界代理之间的协调和信息一致性提出了更高的要求。

为了解决这些问题，一些研究引入了多代理强化学习（MARL）框架，采用集中训练与分散执行（CTDE）方案，使边界代理能够在全局目标下协同学习并实现策略一致性。这样的设计提高了每个代理感知和贡献于全局最优解的能力（Kampitakis和Vlahogianni，2025年；Zhou和Gayah，2023年）。其他研究结合了状态-动作信息共享机制，允许边界代理根据本地观察结果整合其他代理的决策，从而实现更协调的联合策略优化（Hu和Ma，2024年；Kang等人，2024年）。此外，一些工作通过物理正则化将MFD理论嵌入到局部价值函数中，赋予代理隐式的全局意识，同时保持分布式决策结构。实验结果表明，与基于集中式DRL的控制策略相比，这些方法在各种模拟场景下实现了更优的全局调节性能（Yu等人，2025年）。值得注意的是，在区域交通网络建模中，交通拥堵通常分布不均。这一特性可能导致边界控制策略之间的协调失败，从而触发拥堵在网络中的传播。为了解决这个问题，一些研究将网络划分为多个交通状态相对均匀的子区域，并在子区域层面实施边界控制，从而提高控制策略的稳定性和鲁棒性（Jiang和Keyvan-Ekbatani，2023年；Kouvelas等人，2023年）。其他研究采用拥堵再分配的视角，将边界控制与路径引导（PCRG）相结合，引导交通流重新分配，以缓解拥堵的空间不平衡并有效减少整体网络延迟（Chen等人，2024年；Yildirimoglu等人，2018年）。此外，旅行需求的波动可能会干扰交通流系统的准确建模，从而破坏边界控制策略的运行稳定性。为了解决这一挑战，一些研究人员开始开发具有增强干扰排斥能力的强大边界控制方法（Mohajerpoor等人，2020年；Ren等人，2020年）。然而，如果边界控制策略仅依赖于边界代理之间的本地协调和信息交换，它们对区域内内部微观交通状态的感知仍然有限。当某些内部链接或交叉口发生局部拥堵时，基于MFD观察结果制定的释放策略可能会误解系统状况，持续允许外部车辆进入保护区域。这会导致内部负荷累积、瓶颈队列加剧，最终导致网络范围内的过度饱和，显著降低系统效率并破坏可控性和稳定性。

尽管这两种控制策略在独立控制模型中得到了广泛研究，但它们的固有限制使得单一模型难以在复杂的城市网络中实现多维度优化。值得注意的是，这两种策略具有很强的互补性：分布式区域信号控制优化交叉口信号时序，有效防止局部拥堵，而集中式边界控制调节区域流量 inflow 和 outflow，防止交通密度超过临界阈值（Geroliminis等人，2012年；Keyvan-Ekbatani等人，2019年）。此外，MFD中的流量和积聚关系取决于分布式网络控制策略（Aboudolas和Geroliminis，2013年；Gayah等人，2014年；Zhang等人，2013年）。实际上，先前的研究表明，集成这两种策略的层级控制框架在系统响应性、网络效率和鲁棒性方面优于单一控制模型（Mohebifard等人，2019年）。基于这一概念，一些研究在层级控制框架中同时结合了模型预测控制（MPC）和最大压力控制（MP），并在中等和严重拥堵条件下验证了它们的有效性（Tsitsokas等人，2023年）。在集成的MPC–MP范式中，引入动态缓冲机制并使用连接车辆（CAVs）的实时信息进行精细建模，已被证明可以显著提高交通运行效率（Ding等人，2025年）。此外，由于MP的计算效率，一些研究专注于基于MP的边界控制策略，其中边界控制和区域控制在统一的最大压力框架下联合制定，取得了有希望的结果（Li等人，2024年）。随着DRL的进步，提出了一种层级框架，上层使用基于MFD的无模型DRL来调节网络流量 inflow 和 outflow，而下层通过局部信号控制优化流量分配。这种架构有效地整合和协调了各层之间的控制动作，从而提高了整体网络吞吐量（Su等人，2023年）。此外，考虑到某些内部节点（如停车设施）也会产生流量 inflow 和 outflow，一些研究使用单元传输模型（CTM）对这些场景进行了建模。通过进一步扩展平均场理论，这些方法解决了多代理之间的合作问题，并促进了异构代理的集体训练（Li等人，2024年）。然而，大多数现有研究仅将边界交叉口建模为DRL代理，而内部交叉口仍由基于规则的信号控制策略管理。这样的设计阻碍了动态环境中全局一致优化目标的实现。当外部需求或内部交通条件发生变化时，边界代理的释放决策往往无法与内部信号控制协调，导致交通分配不平衡和新拥堵的出现。此外，区域内的边界交叉口和内部交叉口在状态空间、动作空间定义和优化目标方面存在显著差异。这些功能角色和决策逻辑的固有差异导致了代理之间的异质性，从而给信息交换和边界与内部控制单元之间的协调优化设计带来了更大的挑战。

为了解决这些挑战，本研究提出了一个基于DRL的区域层级合作控制（RHCC）框架，旨在充分利用边界控制和区域内交叉口信号控制之间的互补关系，从而在高旅行需求下解决交通拥堵和区域过度饱和问题，实现高效的区域交通运行和稳定的网络吞吐能力。与现有研究通常将区域信号控制和边界控制视为两个独立控制问题的不同，本研究将它们统一在一个强化学习（RL）代理框架内处理，这些代理具有独立的决策能力。具体而言，上层区域控制代理使用DRL自主学习保护区域内交叉口的信号控制策略，从而在微观层面优化交通流的分布，减少车辆延误和排队长度。另一方面，下层边界控制代理根据MFD开发基于DRL的控制策略，根据当前交通状况动态调节区域边界的流量 inflow 和 outflow，保持车辆积聚在MFD确定的有效运行范围内。此外，有效的通信对于确保多代理合作控制的性能至关重要（Ren等人，2025年）。为此，我们开发了一种多层通信与协作机制，以解决同质和异质代理之间的信息交换与协调问题。通过建立动态共享知识库，该机制促进了代理之间的高效信息传输，并将通信组织成三个层次结构。保护区域网络通信层加强了对邻近交叉口代理的信息交换和协调决策。边界通信层通过动态状态共享实时同步边界代理的状态和动作信息，从而促进了平衡全局和局部目标的高效协作优化。保护区域-边界通信层实现了异质边界代理和保护区域代理之间的信息交换，同时保持它们状态空间的统一维度表示，从而提高了系统的整体协调性。最后，考虑到单个代理可能同时从多个邻近代理和不同层次接收到大量交通信息，而这些信息对当前决策的重要性可能有很大差异，我们分别为上层和下层代理开发了基于图的改进PinSAGE信息聚合算法，考虑了它们在空间关系和控制目标上的差异。这种设计减少了多代理通信带来的信息冗余和计算负担，同时增强了代理提取和表示与决策相关的关键交通信息的能力。本文的主要贡献总结如下：(1) 开发了一个基于DRL的区域层次协作控制（RHCC）框架，在该框架中，区域信号控制和边界控制被分别视为具有独立决策能力的自主代理。通过层次决策和层次间信息交换，这两个传统上分离的控制问题被整合到一个统一的协作决策框架中，从而在高需求条件下提高了整个网络的吞吐量。(2) 为同质和异质代理设计了多层通信与协作机制，其中共享知识库根据不同层次的状态空间和信息需求促进了定制的层内和层间信息交换。该机制增强了代理间的信息共享，并支持在上层和下层代理之间存在部分可观测性时的协调决策。(3) 为了解决代理收集的大量全局状态信息问题，分别为上层和下层代理设计了基于PinSAGE的处理算法。利用基于图的结构来筛选潜在相关的代理。采用了一种注意力机制来提取与当前决策高度相关的特征信息。这种方法减轻了冗余状态信息和计算开销，同时生成了更紧凑、面向决策的状态嵌入。本文的其余部分组织如下：第2节介绍了所提出的层次控制框架的结构及其在强化学习中的相关定义。第3节描述了该框架的通信、信息处理和决策模型。第4节从多个角度展示了实验结果和分析。最后，第5节总结了本文并讨论了潜在的未来研究方向。

问题定义
本节介绍了所提出的区域层次协作控制（RHCC）框架的结构模型及强化学习中的相关定义。

网络模型
本节介绍了在所提出的层次控制框架内开发的通信与协调模型、信息处理模型和决策模型。

实验
本节介绍了实验中使用的仿真环境、参数配置和比较算法。通过宏观和微观性能指标证明了所提出框架的优越性。所有实验都在配备了AMD Ryzen 7 8745H处理器（8核和16线程）、32 GB RAM的PC上完成。

结论
本研究提出了一种基于多代理深度强化学习的层次控制框架，用于自适应交通信号控制。该框架将交通信号控制分为上层区域控制和下层边界控制，旨在实现网络稳定性和高运营效率。设计了一种多层通信机制，使代理能够高效获取和利用其他代理观察到的状态信息，从而减轻了信息冗余问题。

作者贡献声明
王涛：撰写——原始草案、方法论、调查、概念化。
刘江：撰写——审稿与编辑、软件、方法论、调查。
袁子健：撰写——审稿与编辑、调查。
张静：撰写——审稿与编辑、监督、方法论、调查。
田俊芳：撰写——审稿与编辑、方法论。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文所述的工作。