基于多智能体深度强化学习的大规模地铁列车时刻表重调度：平面环境中的高维优化方法 杨聚芬、 杨浩哲、 王伟康、 夏成阳

《Applied Sciences》：Large-Scale Metro Train Timetable Rescheduling via Multi-Agent Deep Reinforcement Learning: A High-Dimensional Optimization Approach in Flatland Environment Jufen Yang, Haozhe Yang, Weikang Wang and Chengyang Xia

　　

摘要

地铁列车时刻表调整是保障城市轨道交通系统可靠性的重要任务。但随着铁路网络密度的增加以及运行列车数量的增多，时刻表调整已演变为典型的高维大规模优化问题。传统的数学规划方法和启发式算法往往难以应对“维度灾难”，且在面对随机干扰时无法实现实时响应。为解决这些难题，本文提出了一种基于多智能体深度强化学习的新框架。具体而言，我们将时刻表调整问题建模为一种分散式协作过程，并运用多智能体优势演员-评论家算法来动态优化列车时刻表。该框架在能够表示复杂任意拓扑结构的Flatland仿真环境中得到实现。我们设计了一个综合奖励函数，在满足发车间隔、运行时间和列车容量等约束条件的同时，最小化总延误偏差并提升乘客满意度。此外，为增强模型对高维状态不确定性的抵御能力，训练过程中引入了遵循负指数分布的随机干扰。在从简单双轨到复杂随机网络等多种场景下的实验结果表明，基于MAA2C的方法显著优于传统基准方法。它不仅在小型场景中能更快收敛，而且在大型环境中也展现出更高的计算效率和可扩展性，有效降低了乘客的等待时间。本研究证明了多智能体深度强化学习在解决智能交通系统中的高维交通控制问题方面的潜力。