通过联邦雾计算实现高效车辆流动的多智能体深度强化学习

《ACM Transactions on Cyber-Physical Systems》：Multi-Agent Deep Reinforcement Learning for Efficient Vehicular Mobility via Federated Fog Computing

提出基于多智能体深度Q学习和联邦雾计算的实时交通信号控制框架MADQL-FFC，通过部署在每个路口的深度Q网络代理进行本地决策，利用联邦雾计算实现邻近代理的信息共享与协同优化，有效减少紧急车辆等待时间，并在印度Gwalior市的SUMO仿真中验证其性能提升达5-32%。

　　

摘要

优化车辆等待时间对于智能交叉口管理系统至关重要，因为它直接影响交通流量、公共安全以及整个交通网络的表现。传统的紧急车辆管理方法依赖于静态规则，这些规则无法适应动态的交通状况。本文介绍了MADQL-FFC，这是一种结合了联邦雾计算的多智能体深度Q学习框架，用于实现交叉口的实时交通信号控制，并优先考虑紧急车辆。在该框架中，深度Q网络智能体被部署在各个交叉口以做出本地化决策，而联邦雾计算架构则用于智能体之间的信息共享，以实现协调决策。这种方法有助于在无需中央控制的情况下实现分散式、低延迟的交通网络协调。所提出的方法使用了基于印度瓜廖尔市OpenStreetMap数据的真实交通模拟在Simulation of Urban Mobility (SUMO)模拟器中进行评估。与现有技术方法相比，实验结果表明MADQL-FFC显著缩短了所有车辆类别的等待时间。总体而言，与现有技术方法相比，该模型在平均等待时间、平均车辆速度、平均队列长度和平均吞吐量方面分别实现了5–32%、12–44%、4–46%和13–38%的性能提升。