MPNNLight:一种基于自注意力机制的消息传递图神经网络,用于多路口交通信号控制 胡志远(Zhiyuan Hu)、 刘博文(Bowen Liu)、 胡建明(Jianming Hu)、 王子航(Zihang Wang)、 彭丽辉(Lihui Peng) 以及 张毅(Yi Zhang)

《Electronics》:MPNNLight: A Self-Attention Enhanced Message Passing Graph Neural Network for Multi-Intersection Traffic Signal Control Zhiyuan Hu, Bowen Liu, Jianming Hu, Zihang Wang, Lihui Peng and Yi Zhang

【字体: 大 中 小 】 时间:2026年04月17日 来源:Electronics 2.6

编辑推荐:

  摘要:由于复杂的局部与全局依赖性,多交叉口的协调控制仍然是城市交通系统中的一个主要挑战。为了解决这个问题,提出了MPNNLight框架,这是一个用于合作式多交叉口交通信号控制的消息传递图神经网络。该工作的核心创新是提出的Attention-Wavelet Spatial Tran

  摘要:由于复杂的局部与全局依赖性,多交叉口的协调控制仍然是城市交通系统中的一个主要挑战。为了解决这个问题,提出了MPNNLight框架,这是一个用于合作式多交叉口交通信号控制的消息传递图神经网络。该工作的核心创新是提出的Attention-Wavelet Spatial Transformer(AWSformer),这是一种消息计算模块,它结合了自注意力机制和二维离散小波变换(2D-DWT),以适应性地计算跨空间和频率域的代理间消息。这种设计能够高效地提取多尺度依赖性,并增强交叉口之间的协调性。在多种数据集上的实验表明,与现有的基于GNN的交通信号控制方法相比,MPNNLight取得了更好的性能和效率。

1. 引言
随着城市化进程的加快和车辆拥有量的持续增加,交通拥堵已成为现代城市普遍面临的挑战。交叉口作为不同交通流汇聚的关键节点,在决定整个网络的交通性能方面起着核心作用。虽然传统的单一交叉口信号控制策略可以在局部提高流量效率,但它们往往无法捕捉相邻交叉口之间的空间相关性和动态相互作用。因此,多交叉口交通信号控制(TSC)已成为一个重要的研究方向,旨在实现整个网络范围内的协调和自适应控制。通过实现合作式信号优化,这些方法可以显著提高整体交通效率,减少车辆延误,并促进更绿色、更可持续的城市交通系统的发展。

早期的交通信号控制研究主要依赖于基于规则或基于优化的方法,例如固定时间控制、激活控制和基于模型的优化技术。尽管这些方法在相对可预测的交通条件下可以提供稳定的信号计划,但它们通常需要准确的交通模型和大量的手动参数调整。此外,它们适应快速变化的交通模式的能力有限,尤其是在具有随机需求和动态交通流的复杂城市环境中。

为了解决这些限制,强化学习(RL)最近在交通信号控制领域引起了广泛关注。基于RL的TSC方法使代理能够通过与环境互动直接从交通观察中学习自适应的信号控制策略,而无需显式的交通流模型。通过持续根据奖励反馈优化控制策略,RL算法可以有效地适应动态交通条件并提高长期交通效率。已经有多种RL算法被应用于交通信号控制,包括Q学习、深度Q网络和actor-critic方法。特别是,像Soft Actor-Critic(SAC)[1]这样的先进离策略算法提供了稳定的训练和改进的探索能力,使它们非常适合大规模交通控制问题。

近年来,关于多交叉口交通信号控制的研究很多,探索了各种优化策略和基于学习的方法来提高网络范围的协调性和效率。图神经网络(GNNs)[2,3,4,5]已被广泛应用于多交叉口交通信号控制[6,7,8,9]。通过将交叉口表示为节点,道路连接表示为边,基于GNN的模型天然地捕捉了城市道路网络的拓扑结构,并实现了相邻交叉口之间的信息交换。这种基于图的表述使交通控制器能够学习多交叉口之间的空间依赖性和协调策略,显著提高了多代理交通控制系统的可扩展性和有效性。

尽管有这些有希望的发展,现有的基于GNN的TSC方法仍然面临几个限制。首先,许多方法依赖于图卷积网络(GCNs),它们使用固定的卷积运算符从相邻节点聚合信息。虽然这对于捕捉局部空间关系有效,但这种聚合方案在建模远距离交叉口之间的长距离依赖性和复杂相互作用时往往受到限制。其次,图注意力网络(GATs)引入了注意力机制来适应性地加权来自相邻节点的信息,提高了消息聚合的灵活性。然而,当应用于大规模交通网络时,基于GAT的模型往往会出现过度平滑和计算开销问题。第三,大多数现有方法主要关注局部邻域相互作用,未能充分结合全局图级信息。因此,当网络范围内的交通条件发生显著变化时,这些模型可能难以协调多个交叉口的交通控制决策。

为了克服这些挑战,需要更具表现力的图学习框架来有效地捕捉局部和全局交通动态。消息传递神经网络(MPNNs)[10]提供了一个灵活且通用的图表示学习框架,其中节点表示通过连接节点之间的消息交换进行迭代更新。与传统的GCN和GAT架构相比,MPNN允许更灵活的消息计算和聚合机制,能够对交通网络中的更丰富的空间相互作用和长距离依赖性进行建模。

受到这些观察的启发,本文提出了MPNNLight,一个使用Soft Actor-Critic(SAC)强化学习算法[1]训练的多交叉口交通信号控制框架。与GAT和GCN相比,消息传递神经网络(MPNN)框架更适合多交叉口控制,因为它允许灵活的消息传播,并能有效捕捉交叉口之间的长距离空间依赖性。MPNNLight整合了全局和局部交通表示,以实现交叉口之间的合作决策。全局信息是通过新提出的AWSformer模块获得的,该模块在MPNN架构中充当消息计算功能。作为MPNNLight的关键创新,AWSformer结合了自注意力机制和二维离散小波变换(2D-DWT)[11],以适应性地计算跨空间和频率域的代理间消息,增强了多尺度特征表示和协调能力。在八个基准数据集上的实验结果表明,MPNNLight的性能优于现有的基于图神经网络的交通信号控制模型,例如那些建立在GAT、GCN和Graph Transformer [12]架构上的模型。

本研究的主要贡献总结如下:
- 提出了一个新的基于图的强化学习框架MPNNLight,用于多交叉口交通信号控制。它利用消息传递有效地捕捉交叉口之间的空间依赖性和合作互动。
- 引入了一种新的消息计算模块AWSformer,它结合了自注意力机制和二维离散小波变换(2D-DWT),以提取多尺度空间-频率交通特征,并提高交叉口之间信息交换的质量。
- 设计了一个合作式学习框架,结合了MPNN的表达能力和Soft Actor-Critic(SAC)强化学习算法的稳定性,使得在动态城市环境中能够进行高效的训练和自适应交通信号控制。
- 在八个合成基准数据集和五个真实世界数据集上的广泛实验表明,所提出的方法一致地优于几种基于GCN、GAT和Graph Transformer的代表性交通信号控制方法,在平均旅行时间和车辆等待时间方面取得了显著改进。

本文的其余部分组织如下:第2节回顾了交通信号控制的相关强化学习工作。第3节介绍了提出的MPNNLight框架,包括基于AWSformer的消息传递机制和整体模型架构。第4节描述了实验设置,并评估了所提方法在合成和真实世界数据集上的性能。最后,第5节总结了本文并讨论了未来工作的潜在方向。

2. 相关工作
2.1. 基于图的基础强化学习用于TSC
向多交叉口协调的转变是由图神经网络(GNNs)与多代理强化学习(MARL)的集成推动的。Wei等人的早期基础工作建立了一个基于图的框架,通过代理间通信和共享状态表示实现协作控制[13]。在此基础上,Devailly等人引入了归纳图强化学习(IG-RL)框架,利用图卷积网络(GCNs)学习可以推广到新道路网络的策略,而无需重新训练,显著提高了可扩展性[14]。为了进一步应对大规模城市网格的复杂性,Liu等人提出了GlobalLight,它通过多头图注意力网络(GATs)平衡局部依赖性,同时利用远距离但相似交叉口之间的参数共享来利用全局影响力[15]。这些开创性研究表明,图结构表示在捕捉城市交通的固有连通性方面优于独立的RL代理。

2.2. 高级时空建模和高级建模
最近的研究推动了时空建模的边界,以捕捉更加细致的交通动态。Wang等人引入了一个框架,将时空超图纳入到评论网络中,以模拟多个交叉口之间的高阶相关性[16]。同样,当代的有向超图学习框架(例如,基于有向超图的 proximal Policy Optimization,DHG-PPO)已被开发出来,以提取超出简单成对连接的复杂时空属性[17]。

最近的努力还探索了物理引导的时空建模。Pan等人[18]将交通流先验纳入STGNNs中,以提高可解释性和鲁棒性,但这些方法仍然主要在时间域内操作,而没有明确建模多尺度频率特性。

注意力机制的创新进一步细化了这些模型。例如,将短期交通流预测与GATs结合可以实现主动的区域信号决策[19],而高级的时空注意力机制允许代理在大规模网络中动态地加权相邻状态[20]。为了增强这些表示的粒度,研究人员引入了通道注意力进行节点建模[21],并利用GATs内的重启随机游走来提供网络的全面全局视角[22]。此外,基于GNNs和动态熵约束的Soft Actor-Critic(SAC)的最新自适应信号控制方法在提取区域和局部交通特征方面显示出了潜力[23]。然而,尽管这些模型在捕捉空间依赖性方面表现出色,但它们主要在空间域内操作,往往难以区分多尺度交通变化,例如突然的高频率局部拥堵与平滑的低频率趋势。

2.3. 泛化、可扩展性和跨城市转移性
实现零样本泛化仍然是该领域的主要目标。除了IG-RL的归纳能力[14]之外,像TransferLight这样的最新框架利用分层异构的有向GNNs实现了在不同交叉口拓扑上的部署[24]。Transformer架构也作为一种稳健的替代方案出现;X-Light采用堆叠Transformer架构来聚合状态-动作-奖励轨迹,以实现跨城市的转移性[25]。同样,集中式协作图形Transformer(CCGNs)也被设计用来通过比标准GCNs更有效地捕捉长距离依赖性来促进无信号走廊[26]。为了减轻交通分布变化下的性能下降,还提出了基于模型的强化学习与策略重用[27]。尽管取得了这些进展,但对全局自注意力或深度Transformer架构的依赖往往会导致过高的计算开销,限制了实时部署性。

2.4. 现实世界约束和计算效率
当前的研究还解决了物理约束和训练效率问题。受限的MARL方法,例如带有拉格朗日成本估计器的多代理邻近策略优化(MAPPO-LCE),将信号控制视为一个受限的优化问题,以平衡吞吐量和安全性[28]。其他研究探索了用于车辆编队和信号控制的异构GNNs[29]。在效率方面,像多场景聚合卷积学习(MacLight)[30]和时差感知图卷积框架(TeDA-GCRL)[31]等方法绕过了标准消息传递的计算瓶颈,提供了更快的收敛速度。综合回顾[32,33]和交通模式识别研究[34]强调,尽管GNNs彻底改变了TSC,但它们未能系统地解耦频域组件。这一差距激发了所提出的MPNNLight架构,它利用AWSformer和二维离散小波变换来实现跨空间和频率域的多尺度特征表示。

3. 方法
在本节中,我们描述了所提出的MPNNLight算法的整体架构和操作,如图1所示。每个交叉口由一个独立的代理管理,其输入包括交叉口的局部交通特征和由图神经网络捕获的全局结构特征。整合这些特征可以实现交叉口之间的协调控制。图1. MPNNLight的整体架构。对于第i个交叉口,车辆状态矩阵????包含连接车道上的车辆位置和速度信息。卷积网络??conv?(·)提取空间特征: ????=??conv?(????), (1) 同时,根据????聚合的统计信息形成辅助状态向量: ????=[??????,??????,??????], (2) 其中??????是进入车道上的车辆数量,??????表示平均车道速度,??????表示交叉口的当前信号相位。通过连接????和嵌入的统计特征获得局部表示: ???=[????∥LN?(????)], (3) 在全局层面,整个交通网络被建模为一个有向图?? =(??,?),其中节点集??对应所有交叉口,边集?表示它们之间的连接道路。每个交叉口的节点特征由其局部交通状态构建: ??(0)??=[??????,??????], (4) 其中??(0)??表示交叉口i的初始节点特征向量,封装了其基本交通条件。如方程(2)中定义的那样,??????表示进入车道上的车辆数量,??????表示平均车道速度。边缘特征被进一步定义,以表征连接道路的交通属性:???????=[???????,???????,???????],(5)其中 ??????? 表示交汇点 i 和 j 之间的道路长度,??????? 表示平均道路速度,??????? 表示在该道路段上行驶的车辆数量。具体来说,在构建的图结构中,采用了消息传递神经网络(MPNN)来促进多个交汇点之间的状态交互。在层 t 的消息传递过程中,每个节点 i 从其邻居节点 ?? ∈???(??) 接收消息:??(??)?????=???(??(??)??,??(??)??,???????),(6)其中 ???( ·) 表示一个可学习的消息函数,用于模拟节点状态和边缘属性之间的交互。为了增强 ???( ·) 的表达能力,MPNNLight 算法引入了一种基于注意力和小波的可学习消息函数模块 AWSformer,如图 2 所示。AWSformer 的核心思想是将边缘特征融合和 2D-DWT 集成到注意力机制中,实现双阶段的空间-频率注意力,既能捕捉全局模式又能对局部变化保持敏感。在 AWSformer 的第 t 层中,对于通过边缘特征 ??????? 相连的任意一对相邻节点 i 和 j,节点信息 ??(??)?? 和 ??(??)?? 表示交汇点的局部交通状态,而边缘嵌入 ??????? 则表征了连接道路的拓扑和流量属性(包括道路长度、平均速度和车辆数量)。首先,节点和边缘特征被线性嵌入如下:????=LN???(??(??)??),????=LN???(??(??)??),????=LN???(??(??)??),???????=LN???(???????),(7)其中 ???? 表示交汇点 i 的查询表示,用于表征目标节点当前的交通需求。???? 和 ???? 分别表示相邻交汇点 j 的键值表示,???? 用于评估交汇点 j 的交通状况对节点 i 的相关性,???? 则携带交汇点 j 的交通信息以供消息聚合使用。??????? 表示连接节点 j 和节点 i 的道路段的边缘特征嵌入。ln???(·),ln???(·),ln???(·) 和 ln???(·) 分别表示相应的线性层。为了在注意力计算过程中明确编码道路的语义信息,边缘特征被连接到键值表示中:?????=Concat?(????,???????),?????=Concat?(????,???????),(8)这种节点-边缘联合建模策略使模型不仅能够基于交汇点级别的状态进行信息交换,还能结合连接道路的特性,从而捕捉网络中的拓扑依赖性和交通流传播模式。更具体地说,将节点表示与道路属性结合起来,允许注意力机制根据连接道路的属性自适应地加权来自相邻交汇点的信息。在真实的交通网络中,交汇点之间的交互不仅由其局部状态决定,还受到连接它们的道路的结构和运营特性的强烈影响,如道路长度、容量、速度限制和方向流量约束。这些因素决定了车辆在交汇点之间的传播效率,因此直接影响了节点间交互的强度和相关性。通过在计算交叉注意力时将节点特征与相应的边缘特征连接起来,模型可以明确地根据交汇点状态和道路属性来调整注意力权重。因此,注意力机制可以学会强调通过关键或高容量链接传输的消息,同时抑制信息较少或连接较弱的交互。这种设计还引入了一种拓扑感知的关系偏差,使模型能够更好地反映物理交通网络结构以及拥堵和车辆流的方向传播。因此,节点-边缘注意力公式提高了消息传递过程捕捉真实交通依赖性的能力,并增强了网络级协调的有效性。接下来,对于每个注意力头 ?? ∈{1,…,??},计算节点 i 和其邻居 ?? ∈???(??) 之间的空间注意力权重为:??(??)?????=exp??? ? ?????(??)???(???(??)??)?√???? ? ??∑??′∈???(??)exp??? ? ????(??)???(???(??)??′)?√???? ? ??,(9)其中 d 表示每个注意力头中查询和键的特征维度。基于这些头级别的注意力系数,得到相应的注意力消息为:??(??)?????=??(??)?????????(??)??,??(??)?????∈???,(10)其中 C 表示每个头在值投影后的输出特征维度。然后通过堆叠所有头的注意力特征来构建空间域消息表示:???????=Stack?(??(1)?????,??(2)?????,…,??(??)?????)∈???×??,(11)其中 H 是注意力头的数量。这样,??????? 形成一个二维注意力特征图,第一个维度对应不同的注意力头,第二个维度对应每个头内的特征通道。为了实现交通特征的多尺度分解,对 ??????? 应用 2D-DWT 来提取频域特征。2D-DWT 的基本思想是沿着行和列方向进行低通和高通滤波,然后进行下采样。设 ??????? ∈???×?? 表示空间域特征矩阵,设 ????[??] 和 ????[??] 分别表示选定的小波基对应的低通和高通滤波器。2D-DWT 的四个子带定义为:???????,??????[??,??]=∑??∑??????????[??,??]?????[2??????]?????[2??????],???????,??????[??,??]=∑??∑??????????[??,??]?????[2??????]?????[2??????],???????,???[??,??]=∑??∑??????????[??,??]?????[2??????]?????[2??????],???????,???[??,??]=∑??∑??????????[??,??]?????[2??????]?????[2??????],(12)其中 (??,??) 表示下采样后的空间坐标。这里,???????,????? 表示通过双向低通滤波获得的低频分量,它集中了 ??????? 中变化缓慢且全局一致的模式,如网络级别的拥堵趋势和交通状态的总体平滑演变。相比之下,???????,????? 是通过行方向的低通滤波和列方向的高通滤波产生的,从而强调列方向的不连续性和垂直方向的局部变化(例如,由车道不平衡引起或沿一个方向的上下游传播造成的局部变化);???????,????? 是通过行方向的高通滤波和列方向的低通滤波产生的,捕捉行方向的波动和水平方向的扰动;???????,????? 在两个方向上都应用高通滤波,保留了细粒度细节、急剧的过渡和突然的局部事件,如突发性的排队溢出或爆发性到达。我们在这一阶段使用 2D-DWT 有三个主要原因。首先,编码在空间域消息 ??????? 中的交通交互自然包含多尺度结构:全局协调线索在空间/时间上平滑演变,而局部扰动可能是稀疏和间歇的。通过将 ??????? 分解为 ???????,????? 和高频子带 {???????,?????,???????,?????,???????,?????},模型可以明确地将粗略的全局动态与方向性局部变化分开,从而获得更具信息量和更清晰的消息表示。其次,子带提供了互补的归纳偏差:???????,????? 为协调提供了稳定的全局上下文,而 {???????,?????,???????,?????,???????,?????} 保留了与道路拓扑和方向流量密切相关的各向异性(方向依赖)变化,使后续模块能够在不受全局趋势主导的情况下关注最相关的局部扰动。第三,2D-DWT 提高了模型对 ??????? 中高频噪声的鲁棒性。由于噪声波动和测量抖动通常出现在高频区域,将它们隔离到 {???????,?????,??,???????,?????,???????,?????} 中可以防止这些噪声直接污染全局一致的分量 ???????,?????,同时仍然以明确的形式保留潜在有用的尖锐事件信息。总的来说,2D-DWT 将空间域消息 ??????? 分解为互补的频率分量,实现了全局和局部动态的联合建模,增强了方向敏感性,并提高了对高频噪声的鲁棒性:???????2?D-D?W?T←←←←←←←←←→{???????,?????,???????,?????,???????,?????,???????,?????},(13)除了作为特征转换外,AWSformer 的设计还可以从交通流传播和多尺度交通动态的角度来解释。在城市交通网络中,相邻交汇点的状态演变不仅在空间上相关,还表现出波动式的传播现象,如排队溢出、停车-行车波和冲击波传播。从宏观角度来看,交通动态满足守恒定律 [35]:?????(??,??)????+?????(??,??)????=0,(14)其中 ???(??,??) 和 ???(??,??) 分别表示位置 x 处的交通密度和流量以及决策步骤 ??。由于 ?? =???(??) 遵循基本图,围绕运行点 ??★ 的线性化产生 ???(??,??)≈???(??★)+??′?(??★)?(???(??,??)???★),(15)这导致了一阶波动传播形式 ?????(??,??)????+???(??★)??????(??,??)????=0,???(??★)=??′?(??★)。(16)这表明交通演变自然包含平滑的大规模趋势和快速变化的局部扰动。在这种观点下,MPNN 框架提供了基于图的交通网络传播的近似,其中每个交汇点汇总了通过连接道路从其相邻交汇点传输的影响。特别是,消息传递机制模拟了局部交通状态和道路关系如何共同影响图拓扑上的下游和上游交互。在此基础上,自注意力机制进一步使 AWSformer 能够自适应地确定不同相邻交汇点和传播路径的相对重要性,这在物理上是有意义的,因为在动态交通条件下,不同来流行向和相邻道路的影响本质上是异质的。然后可以将 2D-DWT 分解解释为交汇点间交通交互的多尺度分离。具体来说,低频分量 ???????,????? 主要捕捉变化缓慢的网络级协调模式,而高频分量 {???????,?????,???????,?????,???????,?????} 则表征了方向性局部扰动和突然的转变,如排队积聚、方向不平衡、相位切换引起的瞬变和冲击波传播。如果将局部交通特征分解为 ?????(??)=ˉ?????(??)+????????(??),(17)其中 ˉ?????(??) 表示平滑的背景分量,????????(??) 表示扰动分量,那么低频分支主要保留了由 ˉ?????(??) 主导的信息,而高频分支对由 ????????(??) 主导的变化更敏感。因此,AWSformer 的设计不仅仅是 MPNN、自注意力和 2D-DWT 的启发式组合,而是一种面向交通的消息计算机制,它将基于图的传播、自适应交互加权和多尺度频率分解与城市交通演变的物理特性对齐。然后,高频子带被连接起来形成新的键值表示,同时边缘特征被进一步整合以保留道路的语义信息:??′?????=LN??′?(???????,?????),??′?????=LN??′?([???????,?????,???????,?????,???????,?????]),??′???在多交叉口交通信号控制的背景下,这种全局上下文补充了局部交叉口的状态,使每个智能体能够做出考虑局部交通状况和整个网络全局协调要求的决策。在决策阶段,将全局嵌入与局部特征连接起来,以整合网络级上下文和交叉口级交通状况:????=[???∥??global](公式25),其中???表示交叉口i的局部交通表示,整合了从车辆状态矩阵中提取的卷积特征和嵌入的统计交通状态,包括车辆数量、平均速度和当前信号相位,而??global总结了整个道路网络的总体交通状况。通过连接这两种表示,决策模块允许每个交叉口不仅基于其局部观察结果,还基于更广泛的网络上下文来做出控制决策。这种设计在多交叉口交通信号控制中尤为重要,因为最佳信号策略通常取决于局部拥堵水平和网络上下游的交通传播模式。然后将融合的特征????输入决策层,以产生交叉口i的相位选择logits:????=LN???(????)(公式26),其中???? ∈?4表示四个候选信号相位的未归一化分数。进一步应用softmax操作来获得相应的策略分布:???(????∣????)=exp?(????,????)∑??′??∈??locexp?(????,??′??)(公式27),其中??loc ={1,2,3,4}表示每个交叉口的四个交通信号相位组成的局部动作空间。在这项工作中,这四个动作对应于以下相位配置:南北直行、南北左转、东西直行和东西左转。因此,在每个决策步骤??中,策略网络为交叉口i输出四个候选相位的分类分布。

在训练过程中,动作是从策略分布中抽取的:????,??~???(·∣????,??),????,??∈??loc(公式28),这有助于探索,并使强化学习智能体能够适当地与交通环境互动。在测试期间,采用确定性策略,选择概率最高的相位:^????,??=arg?max??∈??loc????(??∣????,??)(公式29)。这种相位选择策略允许每个交叉口控制器根据当前交通状况直接选择最合适的信号相位,同时完全兼容离散动作强化学习框架。所有交叉口都由多个智能体控制,每个交叉口对应一个独立的智能体。在每个决策步骤??中,智能体?? ∈??根据策略分布???(????,?? ∣????,??)选择其控制动作????,??,其中????,??表示步骤??时交叉口i的决策特征。所有交叉口的动作共同形成网络级动作????={????,??}??∈??(公式30)。相应地,联合策略被分解为???(????∣????)=∏??∈?????(????,??∣????,??)(公式31),其中????表示步骤??时交通网络的联合观测结果。为了优化控制策略,我们采用了离散版本的Soft Actor-Critic(SAC)。SAC是一种基于最大熵框架的离线策略强化学习算法,旨在最大化预期累积奖励和策略熵。目标函数被表述为???(??)=??∑??=0??(????,????)~?????[?????(????+???????(???(·∣????)))(公式32),其中?? ∈[0,1)是折扣因子,????是控制探索-利用权衡的温度参数,??( ·)表示熵。为了鼓励协作控制,所有智能体在训练期间共享相同的全局环境奖励,而策略和评论网络在交叉口之间共享参数,并以分散的方式执行。

对于离散动作空间,评论网络通过最小化贝尔曼残差来更新:?????(??)=??(????,??,????,??,????,????,??+1)~???[(?????(????,??,????,??)?^???(????,??,????,??))2(公式33),其中目标值^??计算为^???(????,??,????,??)=????+???∑??′??,??+1∈??loc???(??′??,??+1∣????,??+1)?[ˉ?????(????,??+1,??′??,??+1)??????log????(??′??,??+1∣????,??+1)](公式34)。策略网络通过最小化以下目标来优化:?????(??)=??????,??~???[∑????,??∈??loc??????(????,??∣????,??)?(?????log???????(????,??∣????,??)???????(????,??,????,??)](公式35)。奖励函数旨在平衡减少队列长度和最大化吞吐量。对于每个交叉口?? ∈??,步骤??的局部奖励定义为????,??=???????,??????????,??(公式36),其中????,??和????,??分别表示当前间隔内交叉口i的总队列长度和离开的车辆数量。全局环境奖励是所有局部奖励的总和:????=∑??∈??????,??(公式37)。在我们的实验中,我们设置?? =1和?? =0.1。从交通流的角度来看,采用的观测和奖励设计也有物理解释。观测空间旨在捕捉每个交叉口的局部交通需求和运行条件,以及相邻道路和邻近交叉口引起的交互环境。因此,模型输入旨在提供局部拥堵状态和交叉口间传播条件的紧凑表示,而不仅仅是一个纯粹的通用黑盒特征集。尽管奖励函数的表达形式简单,但其控制目标与交通流原则是一致的。具体来说,它鼓励有效车辆排放,同时抑制持续的队列累积。从这个意义上说,奖励与减少拥堵增长、减轻溢出风险和改善相邻交叉口之间的协调交通进展的物理目标一致。因此,采用的设计可以被视为具有交通导向的物理动机的学习基础近似,而不仅仅是一个纯粹的启发式黑盒公式。

总之,MPNNLight将多个交叉口映射到一个图中,然后使用基于AWSformer的消息传递来捕捉全局协调,并融合图和节点特征以实现强大的信号控制。MPNNLight算法的伪代码在算法1中呈现。算法1:MPNNLight的训练程序
1. 输入:交通环境?;有向道路网络图?? =(??,??);训练范围T;消息传递层数量K;重放缓冲区??;SAC超参数。
2. 输出:训练后的策略网络??和评论网络??1,??2。
3. 初始化策略网络??、评论网络??1,??2和目标评论网络ˉ??1,ˉ??2。
4. 初始化重放缓冲区??。
5. 对于每个训练情节执行以下操作:
6. 重置环境?并获得初始观测????。
7. 对于?? =1,…,??执行以下操作:
(1) 提取局部交通特征。
(2) 对于每个交叉口?? ∈??,获取车辆状态矩阵????,??和统计状态向量????,?? =[??????,??,??????,??,??????,??]。
(3) 计算卷积特征????,?? =??conv?(????,??)和局部表示???,?? =[????,??∥LN?(????,??)]。
(4) 构建图属性。
(5) 为每个交叉口构建初始节点特征,表示为??(0)??,?? =[??????,??,??????,??]。
(6) 为每条有向道路(??,??) ∈??构建边特征,表示为???????,?? =[???????,???????,??,???????,??]。
(7) 在决策步骤??形成属性图,表示为???? =(??,??,{??(0)??,??}??∈??,{???????,??}(??,??)∈??)。
(8) 使用AWSformer进行消息传递。
(9) 为所有?? ∈??初始化节点嵌入,表示为??(0)??,??。
(10) 对于每个交叉口?? ∈??,使用基于节点特征和边特征的AWSformer从相邻交叉口?? ∈???(??)计算消息。
(11) 聚合传入的消息并更新节点嵌入以获得??(??)??,??。
(12) 输出全局交通上下文。
(13) 对{??(??)??,??}??∈??应用输出操作以获得全局图表示??global,??。
(14) 融合局部和全局特征。
(15) 对于每个交叉口?? ∈??,融合局部表示???,??和全局表示??global,??以获得决策特征????,??。
(16) 生成控制动作。
(17) 对于每个交叉口?? ∈??,计算相位logits ????,?? =LN???(????,??)。
(18) 通过???(????,??∣????,??) =Softmax?(????,??)获得局部动作空间??loc ={1,2,3,4}上的策略分布。
(19) 为每个交叉口抽取动作,表示为????,?? ~???(·∣????,??)。
(20) 形成联合动作???? ={????,??}??∈??。
(21) 与环境交互。
(22) 在?中执行????,接收奖励????,并观察下一个观测????+1。
(23) 存储过渡。
(24) 将(????,????,????,????+1)存储在重放缓冲区??中。
(25) 使用SAC更新网络。
(26) 从??中抽取小批量过渡,并将每个联合过渡转换为每个智能体的样本(????,??,????,??,????,????,??+1)。
(27) 通过最小化贝尔曼备份损失来更新评论网络??1,??2。
(28) 通过最大化熵正则化预期回报来更新策略网络??。
(29) 软更新目标评论网络ˉ??1,ˉ??2。
(30) 设置???? ←????+1。
4. 实验
我们使用SUMO模拟器进行交通信号控制实验,以评估所提出的MPNNLight方法的性能。SUMO提供了一个真实且灵活的环境,用于模拟合成和真实世界中的城市交通系统,能够在不同的交通条件下高效模拟多交叉口交互。通过将交通模拟器与强化学习框架集成,所提出的模型可以与环境交互,并根据观察到的交通状态逐步优化信号控制策略。在模拟过程中,实时交通状态被连续收集,智能体在每个决策步骤执行控制动作。每次模拟持续3600秒,控制间隔为10秒,车辆长度设置为5米。为了全面评估MPNNLight的有效性,我们首先在受控交通设置下对合成的2 ×2交叉口数据集进行实验,然后进一步在更大的真实世界交通网络上评估该方法,包括济南3 ×4和杭州4 ×4,以验证其可扩展性和泛化能力。4.1. 合成数据集上的实验结果
为了清晰且受控地评估所提出的方法,我们首先在固定的2 ×2交叉口拓扑上生成的八个合成数据集(数据集-0到数据集-7)上进行实验。从这种设置开始的目的是为了不仅简化问题,还将交通需求变化的效果与其他混淆因素分开。由于所有八个数据集具有相同的网络结构,性能差异主要可以归因于交通强度和流动模式的变化,而不是道路拓扑、交叉口布局或连接性的变化。这使得2 ×2设置特别适合检查所提出的消息传递机制是否能够一致地适应不同的交通条件。在第一个阶段评估中使用固定的2 ×2拓扑的另一个重要原因是,它为分析协调行为的稳定性提供了一个严格的测试平台。在更大的真实世界网络中,性能受到许多因素的共同影响,如不规则的道路几何形状、异构的交叉口角色和地区间的连接不均。这些因素可能会掩盖一个方法是否真正学习了有效的交叉口协调,或者仅仅是受益于特定网络的结构属性。相比之下,在统一的合成拓扑上进行实验,使我们能够专注于模型捕捉空间依赖性、传播信息性消息以及在拥堵水平增加时保持稳定控制性能的内在能力。这八个数据集旨在涵盖从轻度交通到高度拥堵的各种交通状况,车辆数量从600到5662不等。一些数据集反映了相对规则的交通需求,而其他数据集对应于故意构建的高压场景。这样的设计使我们能够系统地检查所提出的方法在相同结构环境中如何在不同交通负荷下表现。每个数据集模拟3600秒的交通,每辆车表示为(??,??,??),其中o、t和d分别表示起点、出发时间和目的地。每个数据集的交通量在表1中总结。表1. 每个数据集的交通量。应该注意的是,这种合成的2 ×2评估只是实验研究的第一步,而不是最终验证。在验证了所提出方法在受控拓扑一致设置下的有效性之后,我们接下来在更大的真实世界交通网络上进行评估,包括三个济南3 ×4网络和两个杭州4 ×4网络。这种两阶段实验设计首先允许我们在受控的交通变化下建立该方法的行为,然后评估其在更复杂的城市道路网络上的可扩展性和实际有效性。

为了验证基于AWSformer的MPNNLight在多交叉口交通信号控制中的有效性,我们将其与九种基线方法进行了比较,包括不使用图神经网络的方法以及之前工作中提出的几种代表性的基于图的模型。这种比较旨在展示所提出架构在协调多个交叉口信号方面的优越性。其中,FixedTime和IDLight作为非图基线,而其余模型用不同类型的图神经网络替换了MPNNLight中的AWS每个模型的简要介绍如下:

FixedTime:一种传统方法,使用预定义的信号计划,不依赖于实时交通状况。

IDLight:一种独立控制每个交叉口的方法,不使用图神经网络进行全局特征提取。

GCNLight:一种结合GCN来模拟交叉口之间空间相关性的方法。

GATLight:一种利用GAT根据注意力机制自适应加权相邻交叉口的方法。

GATLight++:一种基于GATv2[36]的方法,采用改进的注意力和特征聚合策略。

GINLight:一种应用图同构网络(GINs)[37]来捕捉更具表现力的节点级表示的方法。

GraphSAGELight:一种使用图样本聚合(GraphSAGE)[38]框架来聚合邻居信息的方法,用于归纳式图学习。

GraphEdgeConvLight:一种采用边卷积来模拟图中连接节点之间成对关系的方法[39]。

GraphTransformerLight:一种结合基于Transformer的注意力机制来建模图中节点间长距离依赖关系的方法。

我们在8个数据集上使用这些算法进行了实验。图3和图4分别展示了数据集-5和数据集-7的训练曲线。从这两个图中可以观察到,MPNNLight在收敛速度、最终时长和训练稳定性方面始终表现出比竞争方法更优的性能。在数据集-5上,尽管大多数方法在初始训练阶段时长迅速减少,但一些基线方法(如GATLight++、GINLight和GraphTransformerLight)显示出明显的初始峰值和较大的波动,表明它们的优化过程不够稳定,对早期参数更新更加敏感。相比之下,MPNNLight在短暂的预热阶段后更平稳地减少了时长,并迅速进入稳定的收敛状态。此外,在早期下降阶段之后,其曲线在大多数训练过程中都保持在几乎所有竞争方法之下,表明该算法能够在不产生过多不必要的波动的情况下实现更高的效率。在数据集-7上也观察到了类似的趋势。尽管这个数据集的总体波动比数据集-5小,但MPNNLight仍比其他方法更快地达到了低时长区域,并保持了最小的最终收敛值。相比之下,IDLight收敛得更慢,在整个训练过程中都保持相对较高的时长;而其他轻量级图学习方法(包括GCNLight、GATLight、GINLight、GraphSAGELight、GraphEdgeConvLight和GraphTransformerLight)虽然逐渐稳定下来,但仍无法达到MPNNLight所实现的最终收敛水平。此外,即使在中期或后期训练阶段,一些基线方法仍会显示出偶尔的局部峰值或振荡行为,而MPNNLight的曲线相对平滑,反映了其更强的鲁棒性和更可靠的优化轨迹。总体而言,数据集-5和数据集-7的结果一致证明,MPNNLight在快速收敛、低最终时长和稳定训练动态之间实现了更好的平衡,从而展示了其相对于其他轻量级图学习方法的优越效率和鲁棒性。

图3. 数据集-5上基于平均行驶时间的训练曲线。

图4. 数据集-7上基于平均行驶时间的训练曲线。

表2和表3总结了八个数据集中车辆的平均行驶时间和平均等待时间。总体而言,MPNNLight在所有比较方法中表现最佳,平均行驶时间最低为222.89秒,平均等待时间最低为79.69秒。更重要的是,这一优势在所有八个数据集中都是一致的,而不局限于某些特定情况。MPNNLight在每个数据集的两个指标上都排名第一,表明所提出的模型能够在不同交通条件下同时提高整体交通效率并减少车辆级延迟。这种在不同规模和流量模式的数据集中的一致优越性表明,所提出的框架捕捉到了稳定且可转移的协调机制,而不是过度适应特定交通场景。

表2. 八个数据集中车辆的平均行驶时间(秒)。

表3. 八个数据集中车辆的平均等待时间(秒)。

从两个表中可以明显看出,尽管IDLight在性能上显著优于FixedTime基线,但在大多数情况下仍不如所有基于图的方法。由于IDLight独立控制每个交叉口,并不显式建模相邻交叉口之间的拓扑依赖性,其有限的性能表明,对于复杂的城市交通网络来说,仅依靠局部决策是不足的,因为拥堵可能在多个交叉口中空间传播。相比之下,所有基于图的方法(包括GCNLight、GATLight、GINLight、GraphSAGELight、GraphEdgeConvLight和GraphTransformerLight)都一致实现了比IDLight更低的行驶时间和等待时间。这一比较证实了将道路网络拓扑结构纳入控制过程的必要性,并强调了交叉口间协调对于缓解交通拥堵的重要性。

与现有的基于GNN的基线方法相比,MPNNLight在所有数据集中都进一步实现了持续的性能提升,表明其性能提升不仅仅归因于图神经网络的使用,还归因于所提出架构的优越设计。尽管竞争性的基于图的方法能够在一定程度上建模空间相关性,但它们的聚合机制在捕捉长距离依赖性、异质交互强度和网络中的动态交通传播模式方面仍然有限。相比之下,MPNNLight中基于AWSformer的设计实现了更丰富的消息聚合和特征交互,使模型能够更好地识别关键交通依赖性,并整合局部和全局的上下文信息。因此,MPNNLight学习了更有效的控制策略,在所有交通场景下都实现了更低的行驶时间和等待时间。

另一个重要的观察结果是,即使在不同类型的控制难度下,MPNNLight的优越性仍然明显。在数据集-1和数据集-2中,所有方法的行驶时间和等待时间都相对较长,但MPNNLight仍然取得了最好的结果,平均行驶时间分别为457.84秒和376.02秒,平均等待时间分别为267.81秒和183.46秒。这表明所提出的模型在相对较高的交通需求和更复杂的交通动态下仍然有效。在数据集-6和数据集-7之间可以观察到更典型的对比。虽然数据集-6的交通量显著更大(5560辆车),但其交通流量在各个方向上分布更均匀,从全局协调的角度来看,信号控制任务相对容易。因此,MPNNLight在该数据集上的平均行驶时间为88.50秒,平均等待时间仅为5.01秒。相比之下,数据集-7只有600辆车,但其交通需求集中在特定方向上,导致流量模式高度不平衡。结果,即使在数据集-7上,MPNNLight的平均行驶时间也明显更高(149.37秒),平均等待时间也为17.83秒。这一对比表明,交通控制难度不仅取决于总交通量,还取决于交通需求的空间分布。因此,MPNNLight在这两个数据集上的强性能表明了它在高流量但平衡的情景以及低流量但高度各向异性的交通条件下的鲁棒性。

值得注意的是,MPNNLight的改进在两个评估指标中都得到了一致体现。平均行驶时间表征了车辆通过网络的整体效率,而平均等待时间直接反映了车辆在交叉口的延迟。在实际交通控制中,一个指标的改进有时可能会以另一个指标的牺牲为代价。然而,MPNNLight在所有数据集中同时降低了两个指标,表明它不仅以短视或局部的方式改善了交通流量,还学习了一种更加平衡的控制策略,从而增强了系统级的吞吐量,同时有效抑制了排队延迟和空闲等待。

这一结论进一步得到了图5、图6和图7中所示的代表性案例研究的支持。在数据集-4上,MPNNLight实现了最低的平均行驶时间(186.76秒)和最低的平均等待时间(42.06秒),分别比FixedTime减少了39.06%和25.41%。即使与最强的竞争基线相比,MPNNLight仍然将行驶时间减少了0.63秒(相对于GINLight的187.39秒),将等待时间减少了2.19秒(相对于GINLight的44.25秒)。在数据集-6上,MPNNLight的行驶时间为88.50秒,等待时间为5.01秒,分别减少了22.38%和76.14%。与最佳基线相比,它还将行驶时间减少了2.62秒(相对于GraphSAGELight的91.12秒),将等待时间减少了2.37秒(相对于GraphTransformerLight的7.38秒)。在数据集-7上,MPNNLight获得了最低的平均行驶时间(149.37秒)和平均等待时间(17.83秒),分别比FixedTime减少了21.32%和46.04%。与最佳竞争结果相比,它还将行驶时间减少了8.67秒(相对于GraphTransformerLight的158.04秒),将等待时间减少了2.44秒(相对于GraphEdgeConvLight的20.27秒)。这些代表性示例进一步表明,所提出的方法在中等、平衡和高度不平衡的交通场景下都保持了明显优势。

4.2. 在真实世界数据集上的实验结果

为了进一步验证所提出的MPNNLight算法在真实世界多交叉口交通信号控制场景中的有效性和实际应用性,我们在济南和杭州收集的五个真实世界交通数据集上进行了实验。在真实世界数据集上评估模型至关重要,因为它能够更真实地评估模型在复杂、动态和本质上随机的交通条件下的表现,而这些条件在合成环境中往往无法充分体现。

具体来说,济南数据集对应一个3×4的城市道路网络,包含12个信号化交叉口;而杭州数据集构建在一个4×4的网络上,包含16个交叉口。这些网络不仅在规模上有所不同,而且在交通需求分布和空间配置上也有所不同,从而为评估所提出方法的鲁棒性和可扩展性提供了多样且具有挑战性的测试环境。所选数据集还展示了不同的交通拥堵程度,从中等需求到高度饱和的条件都有,这有助于全面评估其在不同运行模式下的性能。

图8展示了研究区域的示意布局和卫星视图。图8a展示了济南网络,包括其抽象的交叉口拓扑和真实的卫星图像,而图8b展示了杭州网络的相应表示。这些可视化清楚地展示了真实世界交通系统中固有的结构复杂性、不规则的道路几何形状和空间异质性,这对基于学习的控制方法构成了重大挑战。

图8. 真实世界交通网络的示意布局和卫星视图。(a) 济南:交叉口拓扑和卫星图像。(b) 杭州:交叉口拓扑和卫星图像。

所选数据集的交通量在表4中进行了总结。如表4所示,这些数据集覆盖了广泛的交通规模,反映了真实城市环境中遇到的不同交通强度。这种多样性对于系统地评估所提出的MPNNLight算法在不同交通条件下的泛化能力以及其在现实世界中的部署潜力至关重要。

表4. 选定的真实世界数据集的交通量。

我们还将MPNNLight与一系列代表性的强化学习基础交通信号控制方法进行了比较,包括FixedTime、MPLight、PressLight、CoLight、IDLight、GCNLight、GATLight、GATLight++、GINLight、GraphSAGELight、GraphEdgeConvLight和GraphTransformerLight。与之前在合成数据集上的实验相比,我们还在真实世界评估中包括了MPLight[40]、PressLight[41]和CoLight[13]。引入这三个方法的原因是它们在现实世界交通信号控制中被广泛认为是强大且具有代表性的基线,特别是在大规模或部分协调的城市交通场景中。特别是PressLight和MPLight是基于压力的方法,在实际应用中表现出了强大的有效性,而CoLight则通过基于注意力的通信明确地模拟了交叉口间的协调。因此,将提出的MPNNLight方法与真实世界数据集进行比较,可以更严格地验证其在现实道路拓扑、异构交通流和复杂空间依赖性下的优越性能。图9展示了五种真实世界多交叉口数据集上不同方法的平均旅行时间训练曲线。如图9所示,MPNNLight在所有五个真实世界数据集中都表现出更快的收敛速度、更低的平均旅行时间和更稳定的训练行为。在三个济南数据集中,几种基线方法在早期训练阶段显示出明显的波动,并且在收敛后仍然保持相对较高的旅行时间。相比之下,MPNNLight能够迅速降低平均旅行时间并稳定在一个较低的水平,表明其在复杂交通条件下建模交叉口间依赖性的能力更强。在两个杭州数据集中也可以观察到类似的趋势。与代表性的基线方法相比,MPNNLight保持了更平滑的优化轨迹,并收敛到更低的旅行时间,而几种竞争方法仍然表现出明显的振荡或较差的最终性能。这些结果表明,所提出的模型在大规模真实世界交通场景中具有更好的鲁棒性和优化能力。为了清晰起见,图9中只绘制了代表性的基线方法,而完整的定量比较在表5中报告。总体而言,训练曲线进一步确认了MPNNLight在济南和杭州真实世界多交叉口数据集上的优越性。图9. 五种真实世界多交叉口数据集上的平均旅行时间训练曲线。子图(a)显示了济南-1、济南-2和济南-3的结果,而子图(b)显示了杭州-1和杭州-2的结果。表5. 五种真实世界数据集上的车辆平均旅行时间(秒)。表5报告了不同方法在五种真实世界数据集上取得的平均旅行时间。总体而言,MPNNLight在所有数据集上都获得了最佳性能,证明了其在实际多交叉口交通信号控制场景中的强大鲁棒性和有效性。更具体地说,在三个济南数据集中,MPNNLight分别实现了271.78秒、263.81秒和255.74秒的平均旅行时间,这些时间始终低于所有竞争方法。在两个杭州数据集中,MPNNLight进一步取得了276.67秒和367.68秒的最佳结果,再次超越了所有基线方法。这些结果表明,所提出的方法不仅在不同规模和拓扑结构的网络上有效,而且在不同的交通需求模式和拥堵水平下也具有鲁棒性。仔细研究结果可以看出,MPNNLight相对于经典和代表性的基线方法具有特别明显的优势。与FixedTime相比,所提出的方法在所有数据集上都显著降低了平均旅行时间,这证明了自适应学习控制在真实世界交通环境中的必要性。与MPLight和PressLight相比,MPNNLight在所有五个数据集中仍然保持了明显的性能优势。这一观察尤为重要,因为MPLight和PressLight都是已被证明在 urban traffic control tasks 中表现优异的基于压力的方法。MPNNLight的一致性优势表明,通过交通网络传递消息使得模型能够捕捉到比仅基于压力更丰富的结构依赖性,从而实现更有效的协调控制决策。此外,MPNNLight在每个真实世界数据集上也优于CoLight。由于CoLight明确地模拟了交叉口间的通信,这一比较表明所提出的消息传递框架为聚合和传播相邻交叉口的交通信息提供了更有效的机制。这一优势在杭州数据集中尤为明显,因为那里的道路网络更大,空间交互更为复杂。在这样的条件下,有效表示和传输网络级别的交通状态变得尤为重要,MPNNLight的优越结果表明其在建模长距离和异构交通依赖性方面的更强能力。与其他基于图的方法相比,包括GCNLight、GATLight、GATLight++、GINLight、GraphSAGELight、GraphEdgeConvLight 和 GraphTransformerLight,MPNNLight也取得了最佳的整体性能。这一结果验证了MPNNLight的优越性不仅仅来自于使用图神经网络,而是来自于其为交通信号控制量身定制的消息传递设计。通过更有效地整合局部交叉口观察和节点间交互信息,MPNNLight能够生成更具辨别力的交通状态表示,最终转化为更好的信号控制策略。这种优势在不同交通规模的数据集中都是一致的,表明所提出的模型具有很强的泛化能力,而不仅仅是针对特定网络或交通制度定制的。另一个值得注意的发现是,尽管济南和杭州网络的拓扑结构、交叉口数量和交通分布存在差异,MPNNLight的改进仍然保持稳定。这种跨城市的一致性对于真实世界的部署非常有利,因为城市交通系统在道路几何和需求特征上往往存在显著差异。因此,这些结果提供了强有力的证据,证明MPNNLight在异构真实世界交通环境中的良好可扩展性和可迁移性。总之,五个真实世界数据集的结果表明,MPNNLight在所有比较方法中始终实现了最低的平均旅行时间。其与基于压力的方法、基于注意力的协调方法和其他基于图的基线的优越性,证实了所提出的消息传递机制在捕获真实交通网络中复杂空间交互方面的有效性。这些发现强烈支持MPNNLight在大型真实世界多交叉口交通信号控制中的实际适用性。为了进一步研究MPNNLight中关键组件的有效性,我们对五个真实世界交通信号控制场景进行了消融实验,包括三个济南数据集和两个杭州数据集。本研究的目的是评估每个模块对所提模型整体性能的贡献,并更好地理解其性能提升的来源。具体来说,考虑了四种消融变体:MPNNLight(w/o 2D-DWT)移除了离散小波变换模块和相应的基于频率的交互建模组件,以评估频率分解对交通动态建模的贡献;MPNNLight(w/o Edge Features)在消息传递过程中丢弃了边缘特征信息,以研究连接交叉口之间关系信息的重要性;MPNNLight(w/o Vehicle State)移除了细粒度车辆状态矩阵分支,仅保留了粗略的交通统计数据,以评估详细状态表示在交通信号控制中的作用;MPNNLight(w/o Self-Attention)用统一聚合替换了自适应基于注意力的聚合机制,以研究可学习的邻居加权是否对于基于图的表示学习是必要的。从表6中可以得出几个观察结果。完整的MPNNLight在所有五个真实世界交通场景中实现了最低的平均旅行时间,表明所提架构中的每个组件都对最终性能有积极贡献。消融结果进一步清楚地表明了2D-DWT模块、边缘特征、自注意力机制和车辆状态分支在建模复杂交通交互中的必要性。表6. MPNNLight在五个真实世界交通场景中的平均旅行时间消融结果。2D-DWT模块的作用通过其移除后平均旅行时间的一致增加得到了明显体现。与完整模型相比,消除2D-DWT在所有场景中都会导致明显的性能下降,尤其是在济南-2、济南-3和杭州-2上差距较大。这一结果表明,频域分解提供了常规空间消息传递之外的重要补充信息。通过将空间消息分解为低频和高频组件,模型能够同时捕捉全局平滑的交通演变、局部方向扰动和突然的瞬态波动。这样的设计增强了多尺度交通动态的表示,并提高了在复杂真实世界环境中的鲁棒性。边缘特征的贡献也很显著。当移除边缘特征时,每个数据集的平均旅行时间都增加了,特别是在济南-2、济南-3和杭州-2等具有挑战性的场景中,性能下降更为明显。这一现象表明,交叉口间的交互不能仅通过节点状态完全描述。在真实交通网络中,拥堵和车辆流的传播受到连接道路的物理和运营属性的强烈影响。因此,整合边缘特征使模型能够编码拓扑感知的相关信息,并更好地区分通过不同链接传输的消息的强度和相关性。自注意力机制的重要性在消融研究中尤为突出。移除自注意力导致所有变体中的性能下降最为显著,济南-2上的平均旅行时间从263.81秒增加到314.23秒,济南-3从255.74秒增加到311.62秒,杭州-2从367.68秒增加到433.55秒。这些结果表明,自适应基于注意力的聚合对于捕获相邻交叉口之间的异构依赖性至关重要。没有自注意力,模型失去了动态分配不同重要性给传入消息的能力,从而削弱了其模拟网络中多样化交互模式和协调交通动态的能力。车辆状态分支在所提出的框架中也起着不可或缺的作用。移除这一分支后,所有场景的平均旅行时间都一致增加,特别是在济南-3上,这种下降尤为明显。这一结果表明,细粒度的车辆状态表示提供了超出粗略交叉口级统计的有用补充信息。这些详细的交通描述符有助于模型更好地描述瞬时交通条件,并提高基于图的交互建模的质量。移除这一分支后的持续下降进一步证实,整合微观车辆信息对于提升真实世界交通环境中的控制性能是有益的。总之,MPNNLight展示了卓越的鲁棒性、可扩展性和适应性,使其成为复杂和多样化道路网络环境中更有效的交通信号控制解决方案。5. 结论本文提出了MPNNLight,一种新的基于图的强化学习框架,用于多交叉口交通信号控制。该框架建立在消息传递神经网络范式之上,将局部交叉口观察与全局网络级信息相结合,以实现城市交通网络中的协调决策。为了增强交叉口间通信的表现力,我们进一步引入了AWSformer作为消息计算模块,它结合了自注意力和2D-DWT来共同建模空间依赖性和频域交通变化。这样,所提出的框架不仅能够捕捉相邻交叉口之间的拓扑关系,还能够捕捉交通传播的多尺度和方向动态。在合成交通数据集上的广泛实验表明,MPNNLight一致性地优于一系列代表性的基线方法,包括非图方法和几个基于图神经网络的交通信号控制模型。所提出的方法在所有八个基准数据集中实现了最低的平均旅行时间和平均等待时间,同时在训练过程中表现出更快的收敛速度和更稳定的优化行为。这些结果表明,所提出的架构能够在不同的交通密度和流量分布下有效地学习出强大的协调策略,而不仅仅局限于有限的交通场景。MPNNLight的有效性在来自济南和杭州的五个真实世界数据集上得到了进一步验证。实验结果表明,所提出的方法在所有真实世界场景中始终实现了最佳性能,证明了其在不同道路拓扑、网络规模和交通需求模式下的强大鲁棒性。特别是,MPNNLight相对于基于压力的方法、基于注意力的协调模型和其他基于图的基线的优越性,证实了其在现实多交叉口交通信号控制环境中的实际适用性。此外,消融研究进一步验证了所提出框架中主要组件的必要性。移除2D-DWT模块、边缘特征、自注意力机制或细粒度车辆状态分支都会导致明显的性能下降,证实每个组件都对最终控制性能有积极贡献。这些发现表明,MPNNLight的强大性能并非来自单一的设计选择,而是来自多尺度频率分解、拓扑感知的相关建模、自适应消息聚合和详细交通状态表示的有效协作。总体而言,所提出的MPNNLight框架为协调多交叉口交通信号控制提供了有效且可扩展的解决方案。通过结合灵活的消息传递和空间-频率特征建模,它为提高复杂城市交通系统中的效率和鲁棒性提供了有希望的方向。在未来的工作中,我们计划将所提出的框架扩展到更大和更多样化的道路网络,研究跨城市迁移和在线适应能力,并纳入更丰富的真实世界约束,如行人交互、公共交通优先权和混合自动驾驶-人工驾驶环境。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号