基于邻域感知的时空协调分布式多智能体强化学习在交通网络信号控制中的应用

《Scientific Reports》：Distributed multi-agent reinforcement learning with neighborhood-aware spatio-temporal coordination for traffic network signal control

　　

摘要

交通拥堵严重制约着城市的经济活力与环境可持续性。基于深度强化学习的交通信号控制技术虽为解决这一问题提供了有效途径，但现有的多智能体方法往往依赖于关于空间依赖关系的静态假设，或需要借助大量全局信息进行集中训练，这限制了它们适应动态变化的交通状况的能力。为弥补这一缺陷，我们提出了一种基于时空注意力网络与邻域信息共享的多智能体强化学习框架——SANIS-MARL。其核心创新在于一种协同的时空建模架构，该架构能够精准捕捉交通随时间的变化与相邻交叉口之间的空间交互关系。在时间维度上，我们结合多头注意力机制与长短期记忆网络，以描述不同时间尺度上的时间依赖性；在空间维度上，图注意力网络v2能够根据实时交通状况动态评估相邻交叉口的重要性。此外，该框架还设计了邻域信息共享机制，通过地理邻近性构建邻域，并利用空间注意力动态调整各交叉口的影响权重。这样的设计有助于实现有效的局部协调，同时缓解多智能体强化学习中常见的非平稳性问题。在城市交通网络上的实验表明，与传统方法及最先进的MADRL控制器相比，SANIS-MARL在减少队列长度、等待时间、行驶时间以及降低污染物排放方面表现更为出色。注意力热图的分析进一步验证了该方法能够有效识别交通拥堵波的先兆特征，为可解释且具有扩展性的协同交通信号控制提供了新的思路。