基于层级深度强化学习的多时间尺度机器人移动履约系统优化

《Computers & Industrial Engineering》：Hierarchical deep reinforcement learning for multi-timescale Robotic Mobile Fulfillment System optimization

　　

**摘要**

机器人移动履约系统（RMFS）依赖自主移动机器人（AMR）将库存料箱运输至工作站；然而，在随机需求下，如何针对紧耦合组件和多个时间尺度进行决策优化仍具挑战性。我们提出了一种分层多时间尺度深度强化学习（HMT-DRL）框架，将班次级战略规划与实时战术控制分离。策略智能体在数小时的班次级时间跨度上决定工作站角色转换，而战术智能体管理AMR的实时任务分配、路径规划和料箱分配。两个智能体通过时空注意力（STAtt）模块交换上下文，并采用顺序更新方案和优势分解进行训练，以提升相较于同时多智能体PPO更新的稳定性。我们在RAWSim-O（一个开源仿真器）中评估了HMT-DRL在三种仓库布局和随机需求分布下的表现。与强基线方法（启发式方法、SOQN以及RL变体SAPPO、MAPPO、MRTAgent和MADQN）相比，HMT-DRL相对于最优固定启发式方法将长期运营成本降低了4.17%（小型）、33.0%（中型）和57.2%（大型），并在100个实例中持续降低了每周平均成本和站点队列长度。这些结果表明，明确解耦并协调多时间尺度决策可以为动态RMFS运营带来稳健的成本降低。

**引言**

机器人移动履约系统（RMFS）是一种新兴的仓库自动化范式，在近几十年中被广泛应用于电子商务、仓储和供应链管理领域（Bentalha, 2025; Costa Barros和Nascimento, 2021; Rimélé等, 2022）。在RMFS中，自主移动机器人（AMR）在工作站和货架之间移动，将传统的静态货架布局转变为灵活动态的运营模式，显著提升了库存管理、订单履约和整体仓库效率（Costa Barros和Nascimento, 2021; Jia等, 2026; Kim等, 2026）。典型的RMFS由几个关键组件构成：运输模块化货架单元（料箱）的AMR、用于拣货和补货的人工工作站，以及由高级优化算法支持的仓库管理系统（WMS）（Costa Barros和Nascimento, 2021; Luo等, 2023）。图1展示了RMFS操作的示意图。RMFS通常基于"货到人"（G2P）原则运行（Azadeh等, 2019）。WMS首先将客户订单转化为可执行任务，然后AMR通过将料箱运送至工作站来完成这些任务。工作站充当拣货站，从料箱中取出物品以完成订单（Xie等, 2021）；或者充当补货站，向料箱中补充库存（Lamballais等, 2022; Zhang等, 2023）。大型和重叠的订单通常在拣货和补货过程之间产生冲突（Lamballais等, 2022），有时需要从储备区域执行复杂的多料箱补货策略（Jiao等, 2023）。任务完成后，料箱必须动态分配回存储位置：高需求料箱通常放置在靠近拣货站的位置，而已耗尽的料箱则存放在靠近补货区域的地方。在实际中，RMFS工作流包含两个紧密连接的层次：(i) 长时程工作站规划——在拣货和补货之间切换角色——以及(ii) 短时程运营——为AMR分配任务、路径规划、料箱取还和队列管理，如图1所示（Yang, Jia等, 2026）。由此产生的优化场景具有组合性、随机性和时间耦合性：长期的工作站配置塑造近期的机器人流量和队列，而短期决策又反馈影响长期的库存定位和服务水平（Park等, 2025）。

RMFS运营的决策过程涵盖多个维度，包括订单优先级排序、料箱分配、AMR路径规划、工作站角色切换和料箱归还策略。这些问题相互依赖，必须以平衡长期库存定位与短期运营效率的方式来解决。虽然基于混合整数规划（MIP）和启发式方法的静态调度方法在某些子问题上表现出有效性（Justkowiak和Pesch, 2023; Liu等, 2025; Shi等, 2023; Wang和Wang, 2025），但它们往往无法适应动态需求波动和大规模不确定性（Boysen等, 2017; Chen等, 2025; Gharehgozli和Zaerpour, 2020; Jin等, 2026; Yang等, 2021）。RMFS调度的NP-hard特性进一步加剧了精确优化模型的可扩展性问题（Bai等, 2023; Benavides-Robles等, 2024）。

为了更好地捕捉RMFS的随机和动态特性，队列模型（Lamballais等, 2017; K. Wang等, 2022; Y. Wang等, 2022; Yang等, 2022; Yuan和Gong, 2017）和基于学习的方法（Cheng等, 2024; Subramanian和Chandrasekar, 2024）已被探索。神经求解器，如注意力模型（Kool等, 2018）和具有多个最优解的策略优化（POMO）（Kwon等, 2020），在组合优化中取得了令人瞩目的结果，但在面对复杂运营约束时仍显不足。约束掩码技术在训练期间缓解了不可行性，但在料箱同时作为资源和网络节点的联合约束场景中仍不够充分（Bi等, 2024; Chen等, 2024; Ma等, 2023）。强化学习（RL）因其对动态环境的适应性而展现出巨大潜力（Cheng等, 2024; Gao等, 2025; Wu等, 2023; Y. Zhang等, 2022）。然而，现有RL方法通常面临动作空间过大、奖励稀疏以及多尺度决策平衡困难等问题，这限制了它们的应用范围仅限于孤立的RMFS子问题（Jin等, 2024; Li等, 2024; Luo等, 2023; Yang, Li等, 2026; K. Zhang等, 2022），而非把握RMFS的全貌。

本文提出了一种用于RMFS优化的分层多时间尺度深度强化学习（HMT-DRL）框架，将RMFS的长期运营划分为由两个不同智能体管理的时间尺度：策略智能体和战术智能体。策略智能体在数小时的时间尺度上管理工作站状态转换，而战术智能体专注于实时任务分配和AMR路径规划。这一端到端系统直接从环境反馈中学习，无需人工设计的特征或预定义规则。从空间角度来看，两个时间尺度也意味着两种空间分辨率：策略智能体在宏观拓扑视角（例如，存储区块和工作站之间的聚合工作量和拥堵情况）上进行推理，而战术智能体在微观网格视角（例如，局部机器人-料箱交互和导航图边）上运行，用于实时调度和路径规划。例如，在需求激增期间，策略层可通过重新分配工作站角色来增加拣货能力，而战术层则在更新后的配置下重新规划机器人路径以缓解局部通道拥堵。

我们在RAWSim-O仿真环境中评估了HMT-DRL，使用三种布局（小型/中型/大型）和由马尔可夫调制泊松过程（MMPP）生成的需求，将策略周期设置为八小时以匹配典型的人工班次，而战术步骤则以实时控制频率运行。本文旨在为多时间尺度决策提供一种框架；RAWSim-O作为标准的离散事件仿真器，用于提供可复现的RMFS环境。实验重点关注运营成本以及等待/队列指标，这些是日常运营的核心。在100个独立的一周随机需求测试实例上评估固定训练策略时，HMT-DRL相对于最先进基线方法表现出更低的每周平均成本和更窄的实例级成本离散度；具体而言，在小型、中型和大型布局中分别实现了4.17%、33.0%和57.2%的长期成本降低（相对于最优固定启发式方法），并在MMPP场景下持续降低每日成本（见4.3节）。

这些结果证实了通过稳定的策略更新协调多时间尺度决策的价值。我们的主要贡献总结如下：

- 我们将RMFS问题建模为一个合作多时间尺度马尔可夫博弈，将班次级工作站调度与运营级机器人执行统一起来，将组合性、时间耦合的优化挑战转化为可协调训练的策略。通过嵌入时空注意力（STAtt）通道，我们使策略计划能够预见近期拥堵，同时确保战术控制尊重长时程库存定位，有效地在高层规划与低层控制之间形成闭环。
- 我们通过引入基于优势分解的顺序更新方案来缓解同时多智能体PPO固有的非平稳性，其中战术策略先适应实时信号，然后策略策略使用整合的战术优势进行更新。我们在精确优势估计和有界策略偏移的理想化顺序策略改进下推导了下界条件，并明确区分了分析动机与近似PPO实现，将分层学习者转化为协调优化器。
- 我们开发了一种异构感知架构，针对每个智能体所需的独特状态空间保真度进行定制，采用GNN和ECC来捕获策略决策的图拓扑，以及专为实时战术交互设计的专用GCN。通过实现共享STAtt模块在这些层之间蒸馏关键上下文，我们实现了精确的多尺度特征提取，并确保学习到的策略在不同需求模式下具有稳健的泛化能力。

在RAWSim-O中三种布局和MMPP需求下的广泛仿真实验证据表明，与启发式、队列和RL基线方法相比，HMT-DRL实现了稳健的成本和队列降低。第2节阐述多时间尺度RMFS问题及相关MG/MDP模型的公式化。第3节详细介绍了HMT-DRL架构、顺序更新方案和训练目标。第4节呈现实验设置、基线方法和结果。第5节总结结论、启示和未来方向。

**问题公式化**

本节中，我们正式定义本文所解决的最优化问题，重点关注RMFS中的多时间尺度决策。我们首先概述系统模型和关键假设，然后为策略级和战术级分别给出数学优化公式。随后，我们将问题建模为马尔可夫博弈（MG）（Littman, 1994），并为每个智能体推导马尔可夫决策过程（MDP），以促进基于强化学习的解决方案。这一集成框架……

**HMT-DRL框架概览**

我们提出HMT-DRL框架来解决RMFS运营中的决策挑战。按照第2.3节中的合作马尔可夫博弈建模，HMT-DRL在分层多时间尺度方案中整合了动态工作站资源分配和实时订单执行。图2展示了所提出的HMT-DRL框架的框图。两个智能体在不同时间尺度上运行：策略智能体（小时级）专注于长期资源分配和工作站状态管理，而战术智能体则负责实时任务分配和AMR路径规划。

**实验设置**

本文提出的HMT-DRL框架的实验评估是在RAWSim-O上进行的，RAWSim-O是Merschformann等人（2017）开发的开源、基于智能体的离散事件仿真平台，其源代码可在Merschformann等人（2019）获取。RAWSim-O专为机器人移动履约系统（RMFS）设计，能够建模和评估各种运营场景和决策策略，使其成为RMFS研究的基石（Lamballais等）……

**结论**

在本文中，我们提出了HMT-DRL，一种分层多时间尺度深度强化学习框架，明确将班次级工作站规划与运营级控制在机器人移动履约系统中解耦。策略智能体在长时程内管理工作站角色转换，而战术智能体执行实时任务分配、路径规划和料箱处理。两个智能体通过STAtt模块交换上下文信息，并采用顺序更新方案进行训练。

**CRediT作者贡献声明**

Xiaoying Yang：撰写——审阅与编辑，撰写——初稿，可视化，验证，方法论，调查研究，形式化分析，数据整理，概念化。Fuhua Jia：撰写——审阅与编辑，撰写——初稿，可视化。Tianxiang Cui：撰写——审阅与编辑，监督。Jianfeng Ren：撰写——审阅与编辑，监督。Ruibin Bai：撰写——审阅与编辑，监督，资源，资金获取，概念化。

**生成式AI和AI辅助技术在稿件准备过程中的声明**

声明：在准备本工作的过程中，作者使用了ChatGPT（OpenAI）来帮助语言润色，并在图形摘要中生成仓库图像以帮助读者理解问题。使用此工具/服务后，作者对所提交的内容进行了审查和编辑，并对已发表文章的内容承担全部责任。

**致谢**

本工作部分由宁波市科学技术局（项目编号2023Z237和2025Z197）支持，部分由宁波市科学技术局（宁波公益计划，项目编号2025S114；宁波青年科技创新领军人才计划，项目编号2025QL055）支持，部分由宁波诺丁汉大学控制系统实验室支持，以及部分由宁波数字港口技术重点实验室支持。

Xiaoying Yang | Fuhua Jia | Tianxiang Cui | Jianfeng Ren | Ruibin Bai
数字港口技术重点实验室，诺丁汉大学宁波校区（中国宁波），计算机科学学院，工科学与工程学院，中国，宁波