异构图分布式强化学习在异常交通信号控制中的应用

《Expert Systems with Applications》:Heterogeneous graph distributional reinforcement learning for out-of-distribution traffic signal control

【字体: 大 中 小 】 时间:2026年05月07日 来源:Expert Systems with Applications 7.5

编辑推荐:

  **申添阳|郑增** 西南财经大学计算机与人工智能学院,成都,四川611130,中国 **摘要** 多智能体强化学习(MARL)是一种有前景的数据驱动方法,用于交通信号控制,而图神经网络(GNN)进一步提升了其能力。这些先进的MARL算法基于训练数据与测试数据独立同

  **申添阳|郑增**
西南财经大学计算机与人工智能学院,成都,四川611130,中国

**摘要**
多智能体强化学习(MARL)是一种有前景的数据驱动方法,用于交通信号控制,而图神经网络(GNN)进一步提升了其能力。这些先进的MARL算法基于训练数据与测试数据独立同分布(IID)的假设。然而,这些算法存在分布外(OOD)泛化问题,这会显著降低性能。MARL通过学习交通网络场景的不变性来处理OOD问题,但GNN的表征能力受到其固有限制性的接收场的限制;同时,策略的控制能力也因批评网络点估计更新产生的不稳定的梯度而受损。为了解决这些问题,本文提出了一种异构图分布式Actor-critic(HG-DA)算法用于交通信号控制。所提出的HG-DA算法结合了使用异构GNN(HG)的表征学习和使用分布式Actor-critic(DA)的优化。HG对每个节点的不同类型的邻居进行采样和分组,然后学习包含不变信息的节点嵌入,最后将每个节点及其邻居的嵌入聚合为子图的嵌入。这里使用了异构邻域扩展机制来扩展GNN的接收场,并采用多头注意力机制来提高HG的表征能力,从而获得有效的表征。DA将分布式RL范式与Actor-critic相结合,以优化整个算法,从而提高梯度信息的稳定性。在合成道路和真实世界网络中的测试结果证明了其最优性和OOD泛化能力。

**引言**
城市地区的交通拥堵引发了严重的问题,包括环境污染、燃料浪费和行程延误(Bernardo等人,2021年)。为了缓解交通拥堵,自适应交通信号控制(ATSC)成为一种有效方法,因为信号化交叉口是交通网络中的关键瓶颈(Webster,1958年)。因此,早期的ATSC方法采用了不同的控制算法,包括自组织控制(Cools等人,2013年)和最大压力控制(Varaiya,2013年),以生成交通信号策略来优化交叉口管理。此外,交通信号控制可以被视为一个马尔可夫决策过程(MDP),其中强化学习(RL)被用来生成交通信号策略(Swapno等人,2024年)。近年来,RL成功利用深度神经网络(DNN)捕获环境表征,从而生成有效的控制策略(Mnih等人,2015年;Yang,2023年)。因此,深度RL算法也被越来越多地应用于ATSC(Huang,2024年;Chu等人,2019年)。这些深度RL算法可以进一步分为两种不同的范式。第一种方法采用集中式单一智能体深度RL框架,其中一个独立的集中式智能体为多个交叉口生成交通信号策略。然而,这种方法受到动作空间和状态空间指数级增长的挑战(Mousavi等人,2017年)。另一种方法是采用去中心化的多智能体强化学习(MARL)框架,其中多个智能体协作生成交通信号策略,每个智能体独立管理一个交叉口。这些去中心化的MARL算法已经展示了有希望的结果(Abdoos等人,2011年;Yang等人,2019年)。从根本上说,去中心化的MARL算法利用DNN或图神经网络(GNN)来学习交通网络的特征表示,然后通过Q值和策略损失函数优化整个算法,以最大化累积折扣回报并生成交通信号策略(Schmidt等人,2024年;Yang和Yang,2021年)。因此,可以从两个关键角度策略性地提升去中心化MARL的性能。

在详细讨论这两个角度之前,明确动作空间的表述至关重要,因为它从根本上决定了基于RL的ATSC中的决策过程。现有文献通常采用三种范式之一:(i)离散相位选择,智能体从可行集合中选择下一个相位(Chu等人,2019年;El-Tantawy等人,2013年;Wei等人,2018年);(ii)连续持续时间控制,调整绿灯延长时间(Yazdani等人,2023年);或(iii)参数化动作,共同优化周期长度和分割(Han等人,2024年)。在这项工作中,我们采用离散相位选择,这是大规模部署的标准和稳健选择(Chu等人,2019年)。虽然这种表述简化了动作空间,但并没有使问题变得简单。相反,在异构多智能体环境中选择最优相位仍然非常具有挑战性,因为复杂的空间-时间依赖性(例如,上游溢出效应)和由邻近智能体引起的非平稳奖励。这种复杂性凸显了先进表征学习(捕获拓扑细微差别)和稳健优化(处理奖励不确定性)的必要性,这正是我们接下来要探讨的两个关键方面。

对于第一个方面,去中心化的MARL试图获取交通网络的有效特征表示,相应的嵌入有助于生成有效的交通信号策略。为了学习有效的嵌入,DNN被用来捕获交通网络中车道、交叉口、交通信号控制器和车辆的特征表示(Yang和Yang,2021年;Shabestary和Abdulhai,2022年;Oroojlooy等人,2020年)。由于交通网络的数据具有图结构,从DNN扩展而来的GNN具有提取图中不同对象特征的先进属性(Devailly等人,2022年;Yang等人,2021年)。此外,GNN也适用于多智能体环境的动态图(Yang等人,2021年)。因此,基于交通网络的动态图,MARL使用不同的GNN(如图卷积网络(GCN;Michael等人,2018年)来编码节点特征,然后将它们聚合为交通网络的最终嵌入(Zeng,2021年;Kim和Sohn,2022年)。尽管GNN取得了很大的改进,但仍存在一些限制。一方面,采用的消息传递机制根据图中的边聚合节点和图结构的特征,可能导致特征表示的偏差和噪声(Balcilar等人,2021年)。另外,由于GNN的接收场有限,它们只能聚合来自局部邻域的时变信息以获得特征表示(Alon和Yahav,2021年)。因此,这些获得的表示可能缺乏不变信息,最终在OOD场景中削弱性能(Martin等人,2020年)。在这项工作中,设计了一种异构邻域扩展机制来扩展GNN的接收场,以便聚合远离中心节点(即第2节中定义的交通信号控制器节点)的更多相关节点。然而,由于特征聚合并不完全依赖于边,GNN无法有效捕获不变信息(Zhang等人,202308年;Ahuja等人,2021年)。因此,如何使GNN捕获特征表示的不变信息是本研究的主要动机之一。

对于另一个方面,去中心化的MARL试图有效优化整个算法,旨在最大化累积折扣回报并生成有效的交通信号策略。为了实现有效的优化,以往的研究遵循集中训练和去中心化执行(CTDE)的原则(Iqbal和Sha,2019年)。这种范式首先为多个智能体计算集中式批评器,然后使用计算出的批评器部分梯度来更新每个智能体的去中心化Actor(Yang等人,2023年;Devailly等人,2022年)。虽然CTDE通过集中式批评器显著提高了MARL,但传统的CTDE方法通常依赖于点估计价值函数(即预测单个预期Q值)(Barth-Maron等人,2018年)。在具有高随机性、稀疏奖励和动态拓扑的复杂交通环境中,这样的点估计可能无法捕获回报分布的全部不确定性(Lyle等人,2019年)。这种限制可能导致高方差梯度信号和潜在的次优策略优化。为了解决这一挑战,分布式RL方法(例如隐式分位数网络(IQN)(Dabney等人,2018年)提供了一种替代方法,能够有效近似整个回报分布而不仅仅是其期望值(Dabney等人,2018年)。然而,将这种分布式范式整合到MARL优化中仍然具有挑战性,因为多智能体系统的复杂性和对高效协调的需求。

基于上述观察,在这项工作中,我们提出了一种用于ATSC的异构图分布式Actor-critic(HG-DA)算法。所提出的HG-DA算法结合了使用设计的HG进行表征学习和使用设计的DA进行优化。具体来说:1)首先将交通网络定义为具有不同类型节点的异构图;2)设计的HG学习交通网络的最终特征表示。与一些仅使用GNN进行表征的算法不同,在HG中,设计了一种异构邻域扩展机制来采样和分组异构图中的不同类型节点,这可以促进GNN的消息传递并扩展其接收场;使用多头注意力来提高HG的表征能力;此外,通过使用两种位置编码将不变信息(即图结构信息)融入节点属性,进一步提高性能。因此可以学习交通网络的有效表示;3)设计的DA优化整个算法以生成有效的交通信号策略。与现有研究仅采用传统MARL进行优化不同,DA将分布式RL范式与MARL相结合,以提高梯度信息的稳定性,学习到的特征嵌入与分位数嵌入相结合,以近似每个智能体的分布Q值并生成分布式交通信号策略,然后通过分布式策略和Q值损失函数优化整个算法。HG-DA算法在合成道路网络中进行了训练,然后在真实道路网络中进行了评估,数值结果显示,在多个指标上,HG-DA算法的性能优于其他先进的MARL算法,同时证明了其卓越的OOD泛化能力。

**工作安排**
其余部分组织如下:第2节介绍问题表述,第3节介绍用于ATSC的提出的HG-DA算法,第4节进行实验并分析数值结果,第5节介绍相关工作,第6节得出一些结论并列出未来工作。

**问题表述**
在本节中,我们首先将交通网络定义为异构图,然后介绍用于MARL的部分可观测马尔可夫游戏(POMG),然后描述本项工作的问题,最后定义交通信号控制任务中的OOD和IID。

**用于ATSC的HG-DA算法**
基于第2节中定义的异构图,在本节中,我们提出了一种用于ATSC的HG-DA算法。如图2所示,HG-DA算法基于使用设计的HG进行图表示和使用设计的DA进行优化。HG不仅通过位置编码捕获场景的不变信息,还可以通过异构邻域扩展机制扩展GNN的接收场;DA通过结合...

**实验研究**
根据类似的研究(Chu等人,2019年;Yang等人,2021年),在真实道路和合成道路网络中进行了广泛的实验,使用交通模拟器SUMO(Codeca和H?rri,2018年)评估HG-DA算法的OOD性能。在本节中,我们主要通过回答以下关键问题来展示我们的研究:
•RQ-A:HG-DA算法与其他先进的ATSC算法在OOD场景中的表现如何?相应结果应...

**基于GNN的MARL用于ATSC**
在交通信号控制任务中,捕获交通网络的有效特征是提高MARL交通信号控制性能的方法之一。DNN由于其有效的特征提取能力而被成功应用于RL(Mousavi等人,2017年)。例如,(Huang,2024年)使用DNN学习交叉口附近的状态表示。(Shabestary和Abdulhai,2022年)使用DNN提取未处理的高维特征...

**结论**
在这项工作中,我们提出了一种用于ATSC的HG-DA算法,它基于设计的HG获取具有不变信息的交通网络图嵌入,以及用于优化的设计DA来生成去中心化的交通信号策略。具体来说,首先通过设计的异构邻居扩展机制对预定义的异构图进行采样和分组,然后HG获取不同节点的嵌入信息(即车辆、车道和交叉口,参见Jiang等人(2020年)和Tong等人(2006年)的研究)。作者声明他们没有已知的财务利益冲突或可能影响本文研究结果的个人关系。本项工作得到了中央高校基本科研业务费(项目编号JBK2406079)和成都市科技计划(项目编号2025-YF-00009-RC)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号