面向多周期供应链协同的时空图强化学习：考虑多个第三方物流提供商的联合采购、仓储与多式联运路由优化

《Computers & Operations Research》：Spatio-temporal graph reinforcement learning for multi-period supply chain synchronization: Joint procurement, warehousing, and multimodal routing with multiple 3PL providers

　　

摘要：多周期供应链同步问题（MP-SCSP）在具有周期依赖约束的情况下，协调多个第三方物流（3PL）提供商之间的采购、跨周期仓储和多种运输方式。为应对MP-SCSP快速增长的组合复杂度，本文建立了混合整数线性规划（MILP）模型及对应的马尔可夫决策过程（MDP），并提出了STAGRL-PPO——一种基于近端策略优化的时空感知图强化学习框架。STAGRL-PPO将边注意力图神经网络用于多模态拓扑编码、时间嵌入用于周期依赖动态建模，以及拓扑感知的动作掩码以确保运营可行性且无需启发式后处理。在芝加哥区域网络的实验中展现了强大的计算性能。在小规模实例上，STAGRL-PPO匹配精确解的同时将计算时间减少了99.45%，平均最优性间隙为1.33%。在精确求解器两小时内无法求解的大规模实例上，STAGRL-PPO在10.24秒内获得高质量解，与可行上界的间隙为8.4%，与理论下界的间隙为4.94%。在极端规模实例上，平均界限间隙为14.65%，平均推理时间为24.79秒。无需额外训练，该策略可迁移至未见的曼哈顿-LION网络和莱茵河-阿尔卑斯-40网络，与QMEA相比平均目标差异为2.50%，平均求解时间减少94.92%。消融研究表明，边注意力对可行性至关重要，而时间嵌入则加速收敛。在管理层面，该框架使服务商选择适应价格波动，利用多式联运规避容量瓶颈，并选择更快的运输方式以满足严格的交付期限。

引言：全球贸易和全渠道电子商务已使供应链从相对稳定的批量运营转变为碎片化、时间敏感且成本敏感的履行系统。为提高灵活性，企业越来越多地依赖多种运输网络和多第三方物流（3PL）提供商，以获取多样化的运力和选项（Hsiao et al., 2010, Zhang et al., 2013, Demir et al., 2016）。在实践中，这些相互依赖的决策通常由集中式的物流职能来协调，如物流控制中心、领先物流提供商或第四方物流（4PL）运营商。该职能必须联合确定每个订单的供应商选择、采购时机、临时存储、路线、运输方式和3PL分配。供应商选择与下游物流相互依存（Guo et al., 2025）：供应商选择决定了订单原点、采购条件、可用运力、候选服务和交付可行性，而运输成本、服务运力、运输时间、转运兼容性和交付期限则影响各供应商的经济和运营吸引力。在此条件下，采购、仓储和物流决策紧密耦合。采购时机影响上游成本和可用服务窗口，仓储实现跨周期缓冲，物流决策决定路线可行性和交付表现。已有研究表明，孤立或顺序式决策可能导致系统性低效，包括下游拥堵和高成本的紧急转运（Chen, 2003, Guo et al., 2024, Dávila et al., 2025）。这促使我们构建一个统一的优化框架来同步采购、仓储和多式联运决策。

关键在于，这种同步本质上是一个多周期规划问题，而非一系列孤立的静态路由任务。在现实供应链网络中，资源可用性和经济条件具有周期依赖性（Guo et al., 2024）：采购价格和供应商运力波动，运输时间和运费随各周期的网络拥堵而变化，仓储状态动态演变。将该问题建模为静态单周期任务或完全依赖短视调度将无法捕捉关键的时序依赖。一系列局部最优的静态决策在整个规划期内可能导致严重的全球低效（Graff et al., 2024, Guo et al., 2025）。例如，短视方法可能在运输费率高峰期执行即时发货，而整体多周期规划则可通过时间套利——在价格低谷期采购、临时存储并通过更经济的运输方式路由——来可靠满足交付时间窗口要求。因此，为释放这些时序权衡并在全规划期内优化决策，有必要构建一个严格的多周期模型，联合捕捉周期索引的状态转移、复杂的资源耦合和严格的时间窗口可行性。

由此产生的多周期供应链同步问题（MP-SCSP）从根本上区别于集成供应商选择车辆路径问题。后者联合确定供应商选择、订单分配和下游取货或配送路线，并显式决策车辆分配和客户访问顺序（Nasiri et al., 2018, Taghavi et al., 2023）。相比之下，MP-SCSP在周期依赖的多模态服务网络上为每个订单确定特定路径，不显式分配车辆或安排客户访问顺序。每个选定的运输弧段代表特定的模式-提供商服务，多个订单通过共享的供应商-周期运力、运输服务运力和仓库容量进行交互。因此，MP-SCSP聚焦于跨异构物流服务与共享资源的订单流的时序和运营同步，而非车辆路径的构建。

然而，求解包含多3PL提供商的集成MP-SCSP面临巨大的计算挑战。作为混合整数线性规划（MILP）模型，MP-SCSP属于NP-hard组合优化问题类，其搜索空间随订单数、周期数、候选供应商数、服务路径数、运输方式数、提供商数和共享资源交互数呈组合增长（Abbaspour et al., 2022, Cai et al., 2026）。Gurobi等精确求解器可能在大规模实例上无法在实际时间限制内获得高质量可行解，限制了其在高频供应链调度中的应用。元启发式算法提高了可扩展性，但通常需要对每个新实例进行重复迭代搜索、大量超参数调优，以及在紧密耦合的多周期约束下日益复杂的可行性机制。深度强化学习（DRL）提供了一种互补范式，通过离线学习构造性状态-动作策略并高效应用于新实例（Nazari et al., 2018, Kool et al., 2019）。然而，现有DRL在物流中的应用主要解决静态或单阶段车辆路径问题（Parvez Farazi et al., 2021, Li et al., 2026），未能直接捕捉多模态多周期同步所需的时序状态、共享资源交互和条件决策。

因此，将DRL应用于MP-SCSP需要超越标准静态路由架构的三项能力。首先，表示必须编码网络拓扑、服务弧段、运输方式和提供商相关属性。其次，必须捕捉规划周期、时变服务条件、剩余运力、订单执行状态和服务历史。第三，动作生成必须保持可处理性，同时维护供应商、周期、路线、模式、提供商和存储决策之间的运营耦合。

为应对这些需求，本研究提出了时空感知图强化学习框架结合近端策略优化（STAGRL-PPO）。主要贡献总结如下：

- **统一的多周期同步公式。** MP-SCSP在周期依赖价格、共享运力和交付约束下，联合协调供应商选择、采购时机、跨周期仓储、多模态服务路径、运输方式和3PL提供商。
- **阶段结构的MDP重构。** MP-SCSP被重构为序贯采购-履行过程，捕捉时序状态、订单状态、剩余运力、服务历史和相互依赖的决策。
- **掩码分解多头DRL框架。** STAGRL-PPO集成边感知图编码、时间表示、分解多头演员网络和状态依赖掩码，通过复合动作验证执行跨决策和共享资源一致性。

本文其余部分组织如下：第2节回顾相关文献。第3节介绍MP-SCSP并给出其MILP模型和MDP重构。第4节详细说明所提出的STAGRL-PPO框架。第5节报告计算实验并讨论结果。最后，第6节总结全文并提出未来研究方向。

第2节 文献综述：为将本研究定位于现有文献中，本综述分为四个部分。第2.1节考察供应链联合优化，第2.2节回顾周期依赖场景下的多模态运输路由，第2.3节讨论用于路由和物流优化的深度强化学习，第2.4节总结关键研究空白。

第3节 问题陈述与公式化：为弥补第2节指出的研究空白，本节公式化多周期供应链同步问题。第3.1节定义问题设定和运营假设，第3.2节开发混合整数线性规划模型，第3.3节将问题重构为强化学习用的马尔可夫决策过程。

第4节 方法：时空图强化学习：基于MDP公式，本节阐述STAGRL-PPO框架。虽然MILP等精确方法可提供最优性，但它们难以应对大规模网络的指数复杂度，且缺乏周期依赖场景下在线重新调度所需的响应能力。现有启发式方法需要过多计算时间来保证严格运营可行性并适应周期依赖的拓扑变化。因此，端到端学习……

第5节 案例研究与数值实验：本节通过数值实验评估MP-SCSP模型和所提出STAGRL-PPO框架的性能。具体而言，实验旨在回答以下研究问题：

**RQ1：** 采购、仓储、运输方式、路由和3PL提供商的联合优化能在多大程度上降低总运营成本？

**RQ2：** STAGRL-PPO能否稳定收敛，生成运营可行的执行计划，并正确区分按时完成与未完成？

第6节 结论：本研究针对涉及多第三方物流提供商的多周期供应链同步问题，其中采购时机、跨周期存储、多模态运输、提供商选择和交付时间要求必须同时协调。开发了统一的MILP公式及其对应的MDP表示，并提出了STAGRL-PPO作为端到端深度强化学习框架。通过整合边注意力图……

CRediT作者贡献声明：Jinjin Cai：撰写—原稿、可视化、软件、方法论、调查、概念化。Rui Song：撰写—原稿、项目管理、资金获取、形式分析。Shiwei He：撰写—原稿、项目管理、资金获取、形式分析。Jushang Chi：撰写—原稿、验证。Kai Yan：撰写—原稿、验证。

致谢：本文得到国家自然科学基金（编号：U2568218）支持。

Jinjin Cai | Rui Song | Shiwei He | Jushang Chi | Kai Yan
北京交通大学交通运输学院，北京，100044，中国