《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Scalable ride-sourcing vehicle rebalancing with service accessibility guarantee: A constrained mean-field reinforcement learning approach
编辑推荐：
本文研究网约车运营中的车辆重平衡问题，针对传统方法难以在保证服务公平性的同时实现大规模车队实时调度优化，提出了一种创新的约束平均场控制与强化学习框架。研究者将最低服务水平可达性约束整合到模型中，利用连续空间决策实现了对成千上万辆车辆的高效、可扩展重平衡。基于深圳市的真实数据仿真表明，该方法在满足车队利用率和接送距离等关键指标的同时，能够有效探索效率与公平的帕累托前沿，为解决网约车系统中的公平性与规模化挑战提供了新的方法论和实践方案。
以Uber、Lyft和滴滴出行为代表的网约车服务，通过手机应用提供灵活、即时的出行方式，深刻地重塑了城市交通格局。然而，在这些平台带来便利的同时，也面临着严峻的运营挑战。其中，一个核心难题是“车辆重平衡”——即如何策略性地将大量空闲车辆重新调配到城市的各个角落，以应对乘客需求和车辆供给在时空上的不匹配。如果重平衡做得不好，乘客等待时间会变长，车辆使用效率会降低，更会引发公平性问题，比如不同区域服务质量不均、司机收入差距拉大。传统的重平衡方法要么难以扩展到成千上万辆车的规模，要么在追求整体效率（如服务更多乘客）时，忽视了低需求区域的基本服务保障，使得这些区域的居民难以叫到车。
为了应对这些长期存在的可扩展性挑战和新兴的服务公平性考量，瑞士苏黎世联邦理工学院的Matej Jusup、Kenan Zhang、Zhiyuan Hu、Barna Pásztor、Andreas Krause和Francesco Corman等研究人员在《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》上发表了一项研究，提出了一种名为“具有服务可达性保证的可扩展网约车车辆重平衡：一种约束平均场强化学习方法”。他们开发了一套创新的模型，旨在确保无论城市哪个区域，都能享受到最低水平的网约车服务，同时实现大规模车队的高效、实时调度。
为开展这项研究，作者们主要运用了以下几种关键技术方法：首先是均值场控制和均值场强化学习框架，该框架通过让每辆车与车辆的整体分布（而非其他每一辆单独的车）进行交互来建模其行为，从而解决了智能体数量带来的“维度灾难”，使得协调成千上万辆车的计算复杂度大大降低，并且当车队规模变化时无需重新训练模型。其次，他们引入了安全强化学习的思想，将“最低服务可达性”这一公平性要求明确表达为一种可执行的约束，并将其作为群体层面的限制条件整合到MFC和MFRL框架中，形成了约束均值场马尔可夫决策过程模型。此外，研究采用了基于真实世界数据的驱动仿真（利用深圳市的数据）来评估所提出方法的实时效率和鲁棒性，并与常规基准方法进行对比。
研究结果
- •
模型构建与问题形式化
研究人员首先将车辆重平衡问题形式化为一个约束均值场马尔可夫决策过程。他们将城市服务区域建模为连续空间，车辆状态为其坐标位置，动作则包含重新定位的概率和移动向量。关键创新在于，他们引入了代表车辆空间分布的均值场，并定义了衡量服务可达性的约束函数，要求在任何住宅区域，可用车辆（即未被调度去重定位的车辆）的密度必须不低于某个阈值。这确保了基本服务的覆盖。
- •
可扩展的重平衡策略生成
通过所提出的MFC和MFRL方法，研究能够生成在连续空间上操作的车辆重平衡策略。与大多数现有研究在离散区域层面控制车辆移动不同，该方法允许车辆被调度到任何坐标位置，同时能够扩展到数万辆车的规模。模型化（model-based）的框架也保证了更高的样本效率。仿真实验表明，基于均值场近似的策略生成效率很高，其训练时间与线性规划重平衡的决策时间相当。
- •
仿真性能评估
利用深圳市真实的出行需求数据进行的仿真实验是评估的核心。研究人员设定了多种基准策略进行对比，包括无重平衡、线性规划重平衡等。评估的关键指标包括车队利用率、完成的订单数、平均接送距离以及服务可达性。
- •
效率与公平的帕累托前沿探索
实验结果显示，由MFC和MFRL方法生成的策略，能够在多个关键性能指标上显著优于传统基准。更重要的是，通过调整服务可达性约束的严格程度，所提出的方法能够系统地探索和生成位于效率-公平帕累托前沿上的不同策略。这意味着平台管理者可以在“服务更多乘客”（效率）和“确保偏远区域有车可用”（公平）之间进行明确的权衡和选择，而不是只能二选一。
- •
可扩展性与鲁棒性验证
该方法展现了卓越的可扩展性，能够处理数万量级的车辆，且其核心优势在于，基于均值场近似，当车队规模发生变化时，训练好的模型无需重新训练即可直接应用，这在实际运营中极具价值。此外，生成的策略对于需求波动也表现出较强的鲁棒性。
研究结论与意义
本研究成功地开发并验证了一种集成服务可达性约束的、可扩展的均值场强化学习方法，用于解决网约车车辆重平衡问题。研究的主要结论是：通过将公平性明确表述为空间上的服务可达性约束，并利用均值场理论简化大规模多智能体系统的交互，可以设计出既能高效匹配供需，又能保障地理空间公平性的车辆调度策略。该方法在深圳真实网络中的仿真表现优异，不仅在高车队利用率、高订单完成率和短接送距离等方面超越基准，更重要的是，它首次在RL框架下以约束形式硬性保证了服务可达性，使得效率与公平的权衡变得可量化、可调控。
这项研究的意义深远。在方法论上，它首次在随机转移和非平稳需求下，将服务可达性约束集成到基于RL的车辆重平衡中，为网约车运营中的一系列受约束优化问题（如定价、路径规划）提供了灵活的解决框架。在实践上，它为网约车平台提供了一套可扩展的实时决策工具，能够帮助平台在提升运营效率的同时，履行其社会责任，缓解因服务不均引发的公共争议。此外，所采用的C-MF-MDP建模和safe MFRL求解思路，也对交通领域乃至更广泛的群体决策与资源分配问题具有借鉴价值。未来研究可以进一步探索动态约束、异构车队以及与非合作司机行为的结合。
