基于注意力机制的时空图卷积网络增强型深度强化学习在城市交通网络自适应交通信号控制中的应用

《Scientific Reports》：Attention-based Spatio-Temporal Graph Convolutional Networks-enhanced deep reinforcement learning for adaptive traffic signal control in urban traffic networks

　　

摘要

由于传统的固定时间或规则驱动的交通信号控制系统缺乏灵活性，无法适应实时的动态交通流量，城市交通拥堵问题依然十分严峻。现有的基于深度强化学习的自适应信号控制方法往往忽视了城市道路网络中复杂的时空依赖关系，而基于图的时空模型（如ASTGCN）则大多用于交通流量预测，而非信号控制优化。为弥补这些缺陷，本研究提出了一种新的自适应交通信号控制框架，将该框架结合了基于注意力的时空图卷积网络（ASTGCN）与多智能体深度确定性策略梯度算法（MADDPG）。ASTGCN模块通过图注意力机制和时序卷积功能，有效捕捉交通流量的空间拓扑关联与时间动态特征；而MADDPG框架则通过集中式训练与分布式执行的方式，解决在部分可观测条件下的多交叉口协同控制问题。实验在SUMO仿真平台上针对四交叉口的道路网络展开，使用真实交通流量与随机生成的交通流量数据进行验证。与固定时间控制、最大压力控制、集中式/分布式深度强化学习方法以及传统MADDPG算法相比，所提出的方法可将交通拥堵程度降低20%–25%，并在收敛速度、泛化能力、极端交通负荷下的稳定性以及非均匀交通流量适应性方面表现更优。进一步的消融实验也证明了基于ASTGCN的时空特征提取组件的有效性。该框架为城市交通网络中的智能交通信号控制提供了可扩展且以数据为驱动的解决方案，有助于推动智能交通系统的发展。