《ISPRS International Journal of Geo-Information》：A Bi-Level Optimization Method Integrating Evolutionary Game Theory and Deep Reinforcement Learning: A Novel Intelligent Dispatch Model for Ride-Hailing
编辑推荐：
网约车调度系统在需求波动与动态交通条件下面临重大挑战，其中大规模网约车车辆的高效协同对平台性能与司机收入均至关重要。本研究构建了基于网格的网约车车辆调度决策模型（GRV-DDM），该模型为车辆与订单提供了结构化且可量化的表征形式，有效捕捉动态交通环境中的时空异
网约车调度系统在需求波动与动态交通条件下面临重大挑战，其中大规模网约车车辆的高效协同对平台性能与司机收入均至关重要。本研究构建了基于网格的网约车车辆调度决策模型（GRV-DDM），该模型为车辆与订单提供了结构化且可量化的表征形式，有效捕捉动态交通环境中的时空异质性。在此基础上，提出了双层优化多向调度决策算法（BO-MDDA）。在宏观层面，采用演化博弈论（EGT）自适应地引导群体车辆策略趋向供需均衡；在微观层面，深度强化学习（DRL）优化个体司机的实时调度决策以实现长期收益最大化。进一步设计了双向反馈机制以整合宏观层面群体智能与微观层面个体决策。多种交通场景下的实验结果表明，所提方法在效率与鲁棒性方面均优于经典调度算法。
本研究面向动态交通条件下大规模网约车调度优化问题，发表于《ISPRS International Journal of Geo-Information》。研究背景源于网约车服务已成为现代城市交通系统的重要组成部分，在缓解交通拥堵、提升出行效率方面发挥关键作用。然而，用户需求快速增长使得在高动态交通环境下大规模车队的精准高效调度成为核心挑战。传统调度方法往往依赖静态或简化优化假设，难以应对复杂交通环境、波动需求模式及多目标优化要求，限制了其在现代网约车系统中的有效性。早期研究主要通过资源分配机制提升系统效率；随后博弈论被引入以刻画异质性参与者间的策略交互，但其在高动态环境中的适用性受限。演化博弈论（EGT）通过个体适应与群体演化机制，使智能体能够根据环境反馈调整策略，在 modeling 大规模多智能体系统的协调与竞争方面展现出优势。与此同时，强化学习（RL）因其自学习与序贯决策优化能力成为网约车调度的突出方法，深度强化学习（DRL）结合神经网络以处理高维状态空间与复杂特征表示，但多智能体背景下存在优化复杂度增加、训练不稳定及样本效率低等挑战。多智能体深度强化学习（MADRL）虽能改善系统性能，但在大规模网约车调度中仍面临智能体间复杂相互依赖与信息不对称导致的协调困难、动态条件下快速可靠决策要求，以及策略振荡、收敛缓慢和样本利用低效等问题。为应对上述挑战，本研究提出融合多智能体深度强化学习与演化博弈论的网约车车辆调度策略算法，通过双层优化机制实现系统级目标与个体级决策的协调优化。
本研究使用的主要关键技术方法包括：基于SimMobility仿真平台构建动态交通环境，采用滴滴出行（DiDi Chuxing）2016年11月成都市连续四周的大规模网约车订单与车辆轨迹数据；将城市区域离散化为半径约1.3 km的六边形网格系统，最终保留142个中心城区网格；将调度过程建模为多智能体部分可观测马尔可夫决策过程（POMDP），定义状态空间、动作空间（受限为相邻网格间移动）、奖励函数（平衡供需均衡与调度成本）及状态转移概率；设计BO-MDDA算法，宏观层面采用基于演化算法的全局优化器（含频率依赖选择机制、精英保留、锦标赛选择、单点交叉及高斯变异），微观层面采用基于策略梯度的局部优化器（Actor-Critic架构，中心化训练与去中心化执行，独立经验回放缓冲区，软更新策略）；构建双向反馈机制实现精英轨迹注入与优秀策略参数回流；性能评估采用订单响应率（ORR）、累计司机收入（ADI）及平均空闲时间（AIT）三项指标，在自由流、真实交通及拥堵三种场景下进行对比实验，并与贪婪策略、MADDPG、COX及RBDQN等基线方法比较，同时开展车辆级与网格级智能体建模的消融实验。
研究结果部分按以下结构展开：
实验平台、数据集与评价指标。研究基于SimMobility仿真平台，结合真实出租车轨迹数据重建动态交通变化，折扣因子γ=0.92，每时间步对应10分钟真实运营时间，每训练轮次模拟6:00至23:59的18小时调度周期。数据集来自滴滴出行，覆盖成都市2016年11月四周数据，包含订单起讫点、行程时长、费用信息及车辆ID、时间戳、地理坐标等轨迹数据。城市区域离散化为半径约1.3 km的六边形网格，经路网拓扑筛选后保留142个中心城区网格。评价指标包括订单响应率（ORR）、累计司机收入（ADI）和平均空闲时间（AIT）。
性能分析。在三种交通场景（自由流、真实交通、拥堵）下，BO-MDDA与四种基线算法的对比显示：自由流条件下，BO-MDDA实现最高ORR，同时获得最高ADI并维持较低AIT；真实交通条件下，BO-MDDA在ORR和ADI方面提升显著，AIT大幅降低；拥堵条件下，所有方法性能均有下降，但BO-MDDA仍保持最佳整体性能，ORR最优且ADI最高、AIT最低。ORR、ADI总体呈单调递增趋势，AIT持续下降，表明从启发式方法到学习式再到协调优化方法，车辆-乘客匹配效率与动态需求响应能力增强，车辆利用率提升且空闲巡航开销降低。
消融实验。通过比较BO-MDDA（车辆级智能体）与G-BOMDDA（网格级智能体）发现：自由流条件下，BO-MDDA的ORR从73.97%提升至86.11%，ADI近乎翻倍，AIT降低约6个百分点；真实交通条件下优势更为显著；拥堵条件下性能差距缩小，但BO-MDDA仍保持优势且AIT更低。结果表明，细粒度车辆级智能体建模是BO-MDDA的关键组成部分，能实现个体决策与系统级优化的更精确协调。
调度性能的时空分析。选取10:00非高峰时段进行空间分析，发现未调度时城市调度系统存在显著空间异质性：高需求中心城区呈现严重负向供需缺口，部分外围区域则存在过量闲置车辆积累。应用BO-MDDA后，高度集中的失衡区域显著收缩，极端供需缺口幅度大幅降低，过度负向供需区域得到缓解且未在周边引入新的大规模失衡集群，空间分布从高度极化结构向更平滑均衡的配置演变。选取晚高峰（17:00-20:00）代表性高需求中心网格进行时间演化分析，未调度时供需缺口呈现显著时间波动，需求快速增长导致失衡持续扩大至严重短缺水平，且恢复周期较长；引入BO-MDDA后，峰值前失衡增幅被显著抑制，峰值期间最大供需缺口远低于未调度条件，峰值后恢复过程明显加快，波动幅度显著收窄，系统不再表现大规模振荡式失衡传播。
讨论与结论部分指出：BO-MDDA通过宏观演化博弈引导群体策略自适应进化、微观DRL优化个体实时决策、双向反馈机制实现两层紧密耦合，有效整合了演化博弈动力学与多智能体强化学习，达成了全局效率与司机收益的协调优化。实验验证了该方法在动态复杂环境中的学习收敛改善、适应性及协同性能增强。未来工作将聚焦于提升收敛效率、开展更详细的模块级消融分析、引入自适应动态网格划分机制，并整合突发事件、天气干扰等外部情境信息以增强模型鲁棒性与现实适用性。
