超越静态快照:门控循环单元与图注意力网络驱动的多智能体交通信号智能协同控制框架HC-STGRL

《Frontiers in Artificial Intelligence》:Beyond static snapshots: gated recurrent units and graph attention networks for smarter multi-agent traffic control

【字体: 大 中 小 】 时间:2026年09月18日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  现有的用于交通信号控制的多智能体强化学习(multi-agent reinforcement learning,MARL)方法往往无法捕捉真实世界城市交通的两个关键特征:拥堵在交叉口间的动态时空传播以及传感器数据频繁的不完备性。为弥补这些根本性缺陷,本文提出一

  
现有的用于交通信号控制的多智能体强化学习(multi-agent reinforcement learning,MARL)方法往往无法捕捉真实世界城市交通的两个关键特征:拥堵在交叉口间的动态时空传播以及传感器数据频繁的不完备性。为弥补这些根本性缺陷,本文提出一种混合协调时空图强化学习(hybrid coordinated spatio-temporal graph reinforcement learning,HC-STGRL)框架,该框架集成了三种互补机制——门控循环单元(gated recurrent unit,GRU)、图注意力网络(graph attention network,GAT)与竞争双深度Q网络(dueling double deep Q-Network,3DQN)。每个交叉口配备一个GRU以保留并更新不断演化的交通模式的短期记忆,同时GAT支持与邻近交叉口进行选择性、自适应的信息共享,使智能体能够对不同来源的时空依赖关系进行相关性加权。信号相位决策由3DQN生成。所提出的系统在两个合成网格网络和两个真实交通网络上使用SUMO仿真进行了广泛评估。实验结果表明,与最先进的MARL基线相比,HC-STGRL持续降低了平均行程时间与延误,在真实道路网络上相较于最强基线CoLight,行程时间最多降低11.3%,等待时间最多降低14.9%。此外,该框架表现出显著的鲁棒性,即使在20%传感器发生故障的情况下仍能保持高效运行,而该条件会显著削弱现有方法的性能:在20%传感器故障下,HC-STGRL仅产生25.4%的性能退化,而CoLight为44.7%。重要的是,HC-STGRL内置了防止主干道饿死相邻交叉口的机制,从而克服了传统以吞吐量最大化为目标的控制策略已知的局限性。
城市交通拥堵已成为当今时代的关键挑战,燃油危机加剧了经济不稳定、环境退化、产业中断以及日常生活不便。2021年德克萨斯A&M交通研究所的一项研究表明,美国人因交通拥堵损失了43亿小时生命,并额外消耗29亿加仑汽油,相当于1900亿美元的总成本。城市交叉口造成的行程延误占比高达40%至55%,且随时间和地点而变化。印度主要大都市持续经历严重交通拥堵,显著影响通勤者的日常生活。班加罗尔尤其频繁遭受交通瓶颈、长通勤时间和等待时间增加的困扰。这些问题背后的主要原因是快速城市化和车辆数量的指数级增长。同样,金奈是另一个在高峰时段和暴雨条件下面临严重拥堵的大都市,导致延误、经济损失和空气污染加剧。这些挑战凸显了对能够提供实时交通预测和自适应交通控制的智能交通系统(Intelligent Transportation Systems,ITS)的迫切需求,以改善城市交通流动性并减少拥堵的社会经济影响。

ITS通过高效的交通预测和实时交通控制在缓解这些问题中发挥关键作用。交通预测涉及结合实时和历史数据以及人工智能与深度学习技术来预测未来交通状况、拥堵水平和车辆流量。基于这些预测,智能交通控制系统可以动态调节交通信号、优化路线、管理道路使用,以减少拥堵、燃料消耗、出行延误和环境污染。传统交通信号控制基于历史平均值的固定定时器,这些交通灯全天按预定义模式运行,不适应当前实时街道状况。SCOOT和SCATS等更先进的系统在20世纪80年代部署于各城市,使用路面嵌入式感应线圈检测车辆并相应调整信号配时。然而,这些系统从根本上仍是被动反应式的,因为它们响应当前状态而非预测未来变化。

深度学习技术的最新进展通过使用循环神经网络(recurrent neural networks,RNNs)、图神经网络(graph neural networks,GNNs)和基于Transformer的架构等先进模型来建模复杂交通特征,推动了ITS的发展。这些模型利用从不同类型传感器、GPS设备和摄像头收集的实时数据,为准确的实时交通预测提供必要信息。此外,在动态交通环境中,强化学习(reinforcement learning,RL)已成为自适应交通控制和智能决策的有效方法。在多智能体强化学习(MARL)框架下,每个交通路口被视为一个独立智能体,通过与环境的持续交互观察局部交通状况并学习最优交通控制信号。将强化学习算法推广到需要多个交叉口协同的场景促成了MARL的发展,每个交叉口被视为与其他交叉口交互的学习智能体。然而,早期多智能体RL方法由于非平稳性问题而存在缺陷,因为早期方法将附近智能体视为环境的一部分,一个交叉口的策略变化会影响其他智能体的环境,导致协调不佳和性能欠佳。

近年来基于图的MARL框架如CoLight和MPLight通过图注意力机制改进了相邻交叉口之间的通信与协调。然而,这些方法仅考虑单个时间步上的空间交互,未显式建模时间动态。尽管近期基于Transformer的控制器引入了序列建模,但通常产生较高的计算和内存成本,这促使本研究采用轻量级循环设计。另一个关键问题是传感器可靠性。学术研究通常假设传感器完全精确,而现实中传感器经常发生故障:摄像头变脏、失焦或被施工遮挡,电源波动,通信链路丢包或完全断开连接。现场研究报告指出此类传感器故障和数据缺失在已部署的交通网络中很常见,会显著降低数据准确性。大多数MARL系统需要近乎完美的数据才能正确运行,当此假设被违反时性能急剧下降。

综上,现有基于图的MARL控制器尚有两个研究空白:一是缺乏显式时间记忆,使智能体无法区分快速演化的交通状况与稳定的拥堵模式,限制了预见性交通控制;二是对不完备或缺失传感器观测的鲁棒性不足,在现实运行条件下可能显著降低性能。为弥补这些缺陷,本文提出HC-STGRL,一个集成了门控循环单元(GRU)、图注意力网络(GAT)和竞争双深度Q网络(3DQN)的混合协调时空图强化学习框架:GRU建模时间交通动态,GAT支持相邻交叉口间的自适应信息共享,3DQN从得到的时空表示中学习最优交通信号控制策略。

研究人员在合成和真实世界的SUMO交通网络上进行了实验评估,结果表明HC-STGRL在所有评估网络的平均旅行时间、平均等待时间和吞吐量方面持续优于现有MARL基线。此外,HC-STGRL在传感器故障下保持鲁棒性能,消融研究确认了每个架构组件对整体性能改进的贡献。本文的主要贡献如下:(1)时间记忆用于预见性控制:每个交叉口智能体配备GRU,维护交通演化的短期记忆,使智能体不仅评估当前状况,还能评估其变化率,实现主动式交通信号控制;(2)自适应空间协调:多头图注意力网络使交叉口与邻居交换时间记忆状态,并动态加权不同来源的信息,使快速增长的队列优先于稳定队列,自动学习形成绿波;(3)传感器故障鲁棒性:当交叉口失去本地传感器时,注意力机制动态增强邻居权重,使受影响智能体从邻居观测推断自身拥堵状态;(4)空间熵公平性:提出空间熵增强奖励函数,平衡所有方向的交通队列,防止支路饥饿同时保持高峰期间主干道高效通行;(5)综合验证:评估扩展到复杂真实网络,包括科隆8个不规则间距交叉口、英戈尔施塔特21交叉口主干道走廊以及大规模14×14曼哈顿网格(196个交叉口),消融研究确认每个组件均有正向贡献。

**相关工作与理论基础**。交通信号控制经历了多个发展阶段:早期基于Webster方程式的固定时间控制、SCOOT和SCATS等感应式反应调整系统、基于深度Q网络(DQN)的强化学习方法、最大压力理论(Max-pressure)、以及当前最先进的基于图注意力的协调方法。现有方法的根本缺陷在于将每个控制步视为孤立快照,无法捕捉交通流的连续波动特性;同时假设传感器完美运行,在现实故障条件下性能急剧退化。HC-STGRL通过三个关键机制直接解决上述研究空白:GRU保持交通演化的短期记忆,使智能体区分快速形成的队列与稳定队列,使下游交叉口在车队到达前预见并响应;通过交换时间记忆状态而非原始观测,多头GAT使智能体基于时间意义动态加权邻居信息;当智能体失去本地传感器数据时,注意力机制动态增强可观测邻居的权重,利用邻居嵌入推断自身拥堵状态,在现实传感器故障条件下实现优雅降级。

**关键技术与方法**。研究采用的主要方法包括:(1)门控循环单元(GRU)时间编码模块,每个交叉口维护128维隐藏状态,通过更新门和重置门自适应保留与遗忘历史交通信息;(2)多头图注意力网络(GAT)空间协调模块,4个注意力头并行学习不同维度的邻居重要性权重,支持动态加权信息聚合;(3)竞争双深度Q网络(3DQN)决策模块,将状态价值函数与动作优势函数分离,配合双Q学习缓解过估计;(4)空间熵增强多目标奖励函数,平衡队列长度、等待时间、空间公平性和相位切换惩罚四个目标;(5)基于Huber损失的训练框架,结合经验回放和目标网络等稳定化技术。仿真环境使用SUMO 1.18.0微观交通模拟器,测试网络包括Grid 4×4合成网格、科隆8(Cologne8)真实路网、英戈尔施塔特21(Ingolstadt21)真实走廊以及自建的曼哈顿(Manhattan)14×14大规模网格。实验在配备AMD Ryzen 5 5600H CPU和NVIDIA GeForce RTX 3050 GPU的工作站上运行,采用5个随机种子进行重复实验,使用配对Wilcoxon符号秩检验和Cohen's d效应量进行统计验证。

**对比分析**。研究在四个网络(Grid 4×4、Cologne8、Ingolstadt21、Manhattan)上系统对比了HC-STGRL与固定时间控制、MaxPressure、IDQN、MPLight和CoLight等方法。结果表明:固定时间控制在所有网络中表现最差;MaxPressure虽优于固定时间,但无法预测交通事件;IDQN因非平稳性问题在曼哈顿网络上表现不佳,独立智能体互相干扰;MPLight在规则网格上表现良好,但在不规则真实拓扑上性能下降;CoLight作为最强基线,利用空间注意力机制全面优于MPLight。HC-STGRL在所有网络上均击败CoLight:在Ingolstadt21上旅行时间降低11.3%(178.56秒对158.34秒),等待时间降低14.9%(108.67秒对92.45秒);在曼哈顿网络上旅行时间降低10.3%,等待时间降低12.3%。改善幅度随网络复杂度增加而增大,表明时空协调在网络规模扩大时更为关键。

**与最新技术对比**。在Ingolstadt21网络上与近期MARL模型对比中,HC-STGRL以158.34秒平均旅行时间和92.45秒平均等待时间优于PressLight、MPLight、CoLight、Metalight、Advanced-CoLight、FRAP和STMARL等所有方法,其中最佳基线STMARL的相应指标为165.78秒和98.34秒,验证了所提出框架相对于最新研究进展的优越性。

**不同交通场景性能**。研究设计了中等规模(65%峰值需求)、低规模(25%峰值需求)和单车道突发到达三种独特交通场景。中等规模场景中,HC-STGRL平均旅行时间78.34秒,较CoLight改善17.2%,平均队列仅3.2辆,GRU模块能够提前检测上游到达率的细微变化并做出必要配时调整。低规模场景中,HC-STGRL平均旅行时间32.67秒,仅比理论最优高8.7秒,与固定时间相比不必要停车减少87.7%,相位效率达0.89(固定时间仅0.52),GRU时间记忆使智能体区分无接近车辆交叉口与车辆即将到达交叉口,避免过早切换相位。单车道突发场景中,HC-STGRL检测延迟仅4.2秒,突发等待时间45.23秒(CoLight为67.34秒),当车队到达下游交叉口时信号已提前变绿,实现真正的预见性控制。综合来看,HC-STGRL在三个场景中分别实现17.2%、20.8%和21.9%的平均旅行时间改善,最大相对改善出现在时间感知最为关键的低规模和单车道场景。

**协调行为分析**。通过对绿波形成机制的量化分析,研究引入绿波效率(Green Wave Efficiency,GWE)指标,衡量车队不停车通过连续交叉口的比率。在Ingolstadt21主干道上,HC-STGRL的GWE达到0.78,优于CoLight的0.62和MaxPressure的0.58。下游智能体接收上游智能体的时间隐藏状态,该嵌入包含当前队列规模和增长率信息,使下游交叉口能够识别车队形成信号并提前切换绿灯。奖励函数中相位切换惩罚促使系统维持绿灯足够时间以清空车队,HC-STGRL相比CoLight减少了23.4%的相位切换次数。

**鲁棒性分析**。在真实部署中,传感器因多种原因频繁失效。研究人员在不同故障率(5%、10%、15%、20%)下模拟了任意选择交叉口的本地观测故障。结果表明:MaxPressure在20%传感器故障率下旅行时间增加62.4%,因缺少本地队列信息时压力计算失去意义;MPLight性能损失47.0%;CoLight凭借空间意识损失44.7%;HC-STGRL仅损失25.4%,且标准差仅从3.1秒小幅增至4.5秒,表明鲁棒性能在随机种子间一致。这种优雅降级源于拓扑推断机制:当智能体传感器故障时,其时间嵌入变得过时,但邻居智能体观察到受影响交叉口周围排队的车辆,注意力机制重新加权这些邻居,使受影响智能体从邻居嵌入推断自身拥堵状态。研究还定性分析了相关故障、通信中断、噪声测量和高需求组合等扩展鲁棒性考虑。

**可解释性分析**。基于注意力的设计使决策可被检查。每个控制决策是邻域内归一化注意力系数的函数,构成可直接读取的解释——哪些上、下游交叉口驱动了特定相位选择。三种可解释模式与量化结果一致:车队形成时下游智能体对相关上游邻居的注意力质量急剧增加;传感器故障下受影响智能体的注意力分布从自身(过时的)自环转向可观测邻居;GRU时间门提供每个特征保留与丢弃近期历史的补充说明。空间注意力图和时间门控信号共同构成二维、人类可读的智能体推理痕迹。

**公平性评估**。在Ingolstadt21网络上按道路类型评估队列分布:CoLight尽管具有空间注意力,仍系统性地偏向主干道,支路队列(15.6辆)显著长于主干道队列(9.8辆),侧路/主干道比率1.59。去除HC-STGRL奖励函数中的熵项后,该变体获得最低主干道队列(8.2辆)但最高支路队列(19.4辆),比率达2.37,是所有方法中最不公平的结果,验证了纯吞吐量优化的偏向性假设。恢复熵项后,完整HC-STGRL将侧路/主干道比率降至1.17,接近相等,队列方差降至2.34——比无熵变体的15.67低约一个数量级,且优于CoLight的8.78——同时整体旅行时间保持158.34秒不变,表明公平性提升不以牺牲网络效率为代价。竞争架构通过将状态价值估计与动作优势估计分离,使网络学习到严重空间失衡的状态具有固有低价值,从而抑制将支路饥饿视为可接受的效率代价。

**消融研究**。在Ingolstadt21上测试四种退化变体以验证各组件贡献:(1)去除GRU(无时间记忆)导致ATT增加12.8%,AWT增加17.5%,队列方差从2.34增至8.78,智能体仅在拥堵形成后反应,无法预见车队;(2)去除GAT(无空间协调)造成最严重退化,ATT增加25.3%,AWT增加38.8%,即使有完美记忆,无协调的智能体仍失败,非平稳性回归,收敛需1800个回合(完整模型850个回合);(3)去除熵项后ATT仅增加2.8%,AWT增加3.5%,但队列方差剧增570%,通过系统性饿死支路获得表面良好的吞吐量,凸显公平-效率权衡;(4)去除3DQN(用标准DQN)导致ATT增加6.3%,AWT增加9.5%,收敛需1450回合,验证了竞争架构和双Q学习的实质贡献。完整HC-STGRL是唯一能最优权衡所有标准的变体——具有最大吞吐量性能且保持公平性。

**训练收敛分析**。HC-STGRL在850个回合内实现快速收敛并达到最大奖励值,最佳基线CoLight需要1250个回合且稳定在较低的奖励水平。MPLight方差很大,压力奖励信号不一致;IDQN完全无法收敛,奖励全程振荡。两个因素促进更快收敛:GRU提供更丰富的状态表示,减少所需探索;竞争架构帮助独立于动作更快学习状态价值。

**计算复杂度与部署可行性**。设N为交叉口数量,F为输入特征维度,H为GRU隐藏维度,K为注意力头数。每个智能体的GRU局部更新计算量为??(H2+H·F),GAT多头注意力计算量为??(K·|???|·H2)。由于城市路网中节点度有界(最大度数|?????|不超过4或5),每步总计算量为??(N·K·|?????|·H2),随交叉口数量线性增长。推理在嵌入式硬件上仅需毫秒级时间,曼哈顿网络(196个交叉口)在普通硬件上13毫秒内完成更新,远小于典型1-2秒的控制周期。内存和通信均严格局部化:每个智能体存储一个H维GRU隐藏状态,共享GRU/GAT/竞争权重,参数内存与N无关;每步仅与最多|?????|个邻居交换一个H维嵌入。硬件可行性分析显示,HC-STGRL可在ARM Cortex-A53(12.3毫秒)、Intel Atom x5-Z8350(8.7毫秒)和NVIDIA Jetson Nano(0.8毫秒)等典型交通基础设施设备上实时运行。

**讨论与部署考虑**。尽管评估基于仿真,研究人员指出了若干实际部署因素:SUMO虽能真实建模跟车和换道行为,但未建模的行人、应急车辆、天气和驾驶员异质性仍需通过域随机化和日志数据监督式热启动来弥合仿真与现实的差距;V2X通信需求设计上保持适度,仅需与直接邻居交换小规模嵌入,但需低延迟本地链路和丢链接时回退策略;边缘计算集成契合线性时间、低内存需求;交叉口观测需时间戳对齐;网络安全需要认证通信和异常检测以防御伪造消息攻击。

**局限性**。研究存在以下局限:(1)仿真与现实的差距:SUMO虽能模拟真实车辆行为,但行人交通、应急服务、施工区域、天气条件和通信延迟等因素未测试,需在真实测试平台或高保真数字孪生上验证后才能实际部署;(2)通信依赖:GAT架构假设交叉口间可靠通信,而通信链路故障、相关或对抗性通信失效未详细研究;(3)训练数据和计算需求:收敛需数百回合和GPU大规模离线计算,可用于离线预训练但不适用于快速变化网络的即时自适应。

**研究结论**。HC-STGRL框架提出了一种新颖的交通控制概念,将基于GRU的时间记忆、基于多头GAT的空间注意力和竞争双深度Q网络学习器集成到公平感知的多目标奖励设计中。它通过两个合成网络和两个真实网络解决了基于图的MARL控制器的两个固有问题——缺乏时间预见能力和对传感器故障的敏感性。与最强基线CoLight相比,所提出的HC-STGRL模型在真实网络中的旅行时间最多降低11.3%,等待时间最多降低14.9%,且改善幅度随网络复杂度增大而增大。在20%传感器故障率下,HC-STGRL仅产生25.4%的性能退化,而CoLight和MaxPressure分别退化44.7%和62.4%。空间熵组件使队列长度方差比无熵版本降低约一个数量级。未来工作方向包括:扩展框架以支持包含行人的多模式交通;利用联邦学习跨城市训练模型而不共享敏感交通数据,兼顾隐私和泛化;与近期基于Transformer的交通信号控制器进行全面定量比较。通过将空间协调与时间预见统一在单一可部署控制器中,HC-STGRL将自适应交通信号控制推进到超越静态快照范式的新阶段,为鲁棒、公平且可解释的智能交通系统奠定了坚实基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号