《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：RL-based anticipatory routing and matching in on-demand ridepooling
编辑推荐：
需求响应合乘系统面临优化当前服务质量与为未来需求做准备之间的基本权衡。大多数现有方法使用固定的预期参数，无法适应不断变化的供需条件，从而限制了系统的长期效率。本文提出了一种基于强化学习（RL）的框架，能够在实时路径规划和匹配决策中动态调整预期水平。通过将图神经
需求响应合乘系统面临优化当前服务质量与为未来需求做准备之间的基本权衡。大多数现有方法使用固定的预期参数，无法适应不断变化的供需条件，从而限制了系统的长期效率。本文提出了一种基于强化学习（RL）的框架，能够在实时路径规划和匹配决策中动态调整预期水平。通过将图神经网络（GNN）与双延迟深度确定性策略梯度（TD3）算法相结合，该框架学习了一个策略，根据系统状态自适应调整预期参数θ。在来自美国曼哈顿和荷兰乌得勒支的真实世界数据集上的实验表明，学习到的策略 consistently outperforms both fixed-anticipation and non-anticipatory baselines, achieving lower rejection rates and user costs. 值得注意的是，该策略表现出一种“种子与收获”的行为模式：它最初投资于未来车队定位，并在系统饱和时逐渐转向贪婪优化。该策略还在车队规模（1,000–2,000辆车辆）和随机出行时间上表现出鲁棒泛化能力，无需重新训练。这些结果凸显了自适应预期在提高需求响应合乘系统效率和可扩展性方面的潜力。
**论文解读文章**
**研究背景与问题**
需求响应合乘（ridepooling）系统在动态城市环境中面临一项核心权衡：如何在优化当前服务质量和为未来需求做准备之间取得平衡。现有方法大多采用固定预期参数（如Fielbaum等（2022）提出的静态参数θ），无法适应不断变化的供需条件，导致系统长期效率受限。此外，大多数现有策略仅依赖空闲车辆的重平衡（rebalancing），在车辆利用率高时效果有限。因此，需要一种能够实时动态调整预期水平的机制，以同时提升匹配、路径规划和重平衡决策的效率。
**研究内容与意义**
研究人员提出了一种基于强化学习（RL）的框架，通过将图神经网络（GNN）与双延迟深度确定性策略梯度（TD3）算法相结合，动态调整预期参数θ，从而优化实时匹配与路径规划决策。该框架在曼哈顿（纽约黄色出租车数据集，2015/01–2016/01）和乌得勒支（荷兰公交车数据集）两个真实世界数据集上进行了验证。结果表明，学习到的策略在拒绝率和用户成本上持续优于固定参数和无预期基线，并表现出“种子与收获”的行为模式：初期高θ以投资未来车队定位，后期逐步降低θ以收获前期准备带来的效率提升。该策略还展现出对车队规模（1,000–2,000辆）和随机出行时间（±20%扰动）的鲁棒泛化能力，无需重新训练。该研究发表在《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》。
**主要关键技术方法**（不超过250字）
研究人员采用以下关键技术方法：（1）图神经网络（GNN）编码器，将交通网络建模为区域邻接图，通过堆叠图卷积网络（GCN）层（含残差连接、层归一化和Leaky ReLU激活）提取空间特征，生成紧凑的潜在状态表示；（2）双延迟深度确定性策略梯度（TD3）算法，作为Actor-Critic结构的强化学习框架，使用双评论家网络缓解值高估，并采用延迟策略更新、目标策略平滑和探索噪声衰减；（3）马尔可夫决策过程（MDP）建模，将系统状态定义为基于区域的紧凑特征（可用车辆数、当前工作车辆数、未来工作车辆数、拒绝请求数、请求生成数和吸引数），动作定义为θ的调整量（范围[?1,1]），奖励函数设计为包含未来W
r时间步的递减加权平均，以捕捉预期决策的滞后效应。样本队列来源：曼哈顿实验使用纽约黄色出租车数据集（2015/01–2016/01，每天11:00–14:00，平均每小时约17,780个请求）；乌得勒支实验使用荷兰乌得勒支公交车数据集（平均每小时约8,967个请求）。
**研究结果**
**4.1 Base experiment (Manhattan, USA)**
通过曼哈顿真实数据模拟，比较了固定θ（最优值）和无预期（θ=0）基线。研究发现，学习策略的θ随时间呈现下降趋势，从初期较高值（约4.8）逐渐降至零，形成“种子与收获”模式：初期高θ引导系统投资未来（将车辆导向高需求区域），后期θ≈0利用前期准备实现高效服务。与固定θ基线相比，学习策略在拒绝率（平均改善1.38%–2.44%）和用户成本（平均改善2.11%–4.20%）上均表现更优；与无预期基线相比，改善幅度在拒绝率上为0.74%–1.83%，用户成本上为1.12%–2.51%。此外，详细运营指标显示，学习策略实现了最低拒绝率（54.40%）、最短平均等待时间（158.9秒）和最高平均载客率（1.92），同时车辆行驶里程（VKT）仅增加不到1%，表明预期策略以微小额外里程换取了显著的服务可用性提升。
**4.2 Transfer learning experiment (Utrecht, Netherlands)**
在乌得勒支场景中，将曼哈顿预训练模型迁移，仅需4个epoch（每个epoch对应6小时模拟）的额外训练。结果表明，学习策略的θ下降速度更快（在t=1200秒时达到零，曼哈顿为t=2400秒），反映了乌得勒支较低的需求压力。与固定θ基线相比，学习策略在拒绝率上平均改善0.26%–3.49%，在用户成本上平均改善6.57%–9.22%；与无预期基线（θ=0）相比，改善幅度在拒绝率上为1.66%–2.51%，用户成本上为2.83%–6.22%。这表明策略不仅能跨城市泛化，还能根据供需条件自适应调整预期行为。
**4.3 Ablation study**
消融实验替换了单一组件：GNN+DDPG（保留GNN，替换TD3为DDPG）和MLP+TD3（保留TD3，替换GNN为多层感知机）。两种消融模型的收敛奖励均约为?0.45，远低于GNN+TD3的约3.05；在拒绝率上，GNN+DDPG（56.53%）和MLP+TD3（56.24%）均高于固定θ基线（55.16%–55.76%）。这表明GNN的空间特征提取能力和TD3的双评论家机制均为不可或缺的组件，单独缺失任一组件将导致策略性能严重下降，甚至劣于静态策略。
**4.4 Sensitivity analysis**
敏感性分析在车队规模（1,500和2,000辆）和随机出行时间（±20%扰动）下进行，所有模型均不重新训练。结果表明，GNN+TD3在所有配置下均保持最低拒绝率、最短等待时间和最短延误时间，且“种子与收获”模式持续存在，证明了策略对供需条件变化和出行时间不确定性的鲁棒性。
**总结讨论与结论翻译**
**总结讨论**：研究结果表明，动态预期策略能够有效应对固定预期方法的刚性缺陷，通过自适应调整θ实现短期服务与长期准备的平衡。在曼哈顿和乌得勒支两个异质城市中，策略均表现出稳定的“种子与收获”模式，且在高压力（曼哈顿）和低压力（乌得勒支）环境下均能获得显著改进。消融实验验证了GNN和TD3的协同必要性，敏感性分析则证实了策略的鲁棒泛化能力。该框架可被视为对原始预期方法的扩展，不仅解决了固定参数缺乏适应性的问题，还提供了可解释的时序权衡见解。
**结论翻译**：需求响应合乘系统本质上面临优化当前服务质量和为未来需求做准备之间的基本权衡。每个时刻的决策不仅影响即时结果（如拒绝率和用户成本），还影响系统高效响应后续请求的能力。为平衡这一权衡，近年来引入了预期机制。作为预期方法中的关键参数，θ控制着为未来需求做准备与满足当前需求之间的权重。然而，固定的θ值无法捕捉城市出行系统的动态和演变特性。本研究通过根据系统当前和预期的未来状态实时自适应调整θ，解决了这一局限性。本文提出了一种新颖的基于强化学习（RL）的框架，用于动态调整预期路径规划和匹配模型中的参数θ。该框架的核心在于将图神经网络（GNN）与Actor-Critic强化学习架构相结合。GNN捕捉交通网络的时空动态，Actor-Critic模型学习随时间自适应θ的策略。研究人员还设计了延迟奖励机制以反映预期决策的滞后影响，并提出了紧凑的基于区域的状态表示以实现高效策略学习。通过曼哈顿和乌得勒支两个真实数据集的仿真评估，该策略在拒绝率和用户成本上均优于固定θ和无预期基线，展现出“种子与收获”模式，并能在不同车队规模和随机出行时间下鲁棒泛化。这些结果凸显了自适应预期在提高需求响应合乘系统效率和可扩展性方面的潜力。
