基于异构协作多智能体深度强化学习的混合流式车间端到端实时调度方法

《JOURNAL OF MANUFACTURING SYSTEMS》：The end-to-end real-time scheduling method for hybrid flow shop based on heterogeneous cooperative multi-agent deep reinforcement learning

　　刘思琪|朱海平|沈立正|李银达|张俊宝
华中科技大学机械科学与工程学院，武汉430074，中国

摘要
个性化定制增加了混合流式车间生产环境的复杂性，这种环境的特点是存在可变的离散事件。机器的缓冲容量以及加工阶段与仓库之间的运输时间会影响整个生产过程。因此，本文研究的问题是在缓冲区和运输时间有限的混合流式车间中的实时调度问题。为有效解决这一具有挑战性的调度问题，本文提出了一种基于离散事件驱动的异构协作多智能体深度强化学习（HC-MADRL）框架。在该框架中，设计了两种类型的异构调度智能体：作业智能体（JA）和阶段-机器智能体（SMAs）。JA采用集成LSTM-指针网络（LPN）架构，根据当前的作业序列状态实时选择最合适的作业；而SMAs则利用基于Transformer的加权网络（TWN）并结合机器掩码机制，根据作业的加工阶段状态将其分配到最优机器上。同时，分别为JA和SMAs设计了八种实时作业状态和五种通用阶段-机器状态。此外，还提出了一种具有奖励塑形的多层次奖励机制，以指导智能体学习优化调度目标。基于此，本文提出了一种独立的多智能体近端策略优化（I-MAPPO）训练算法，该算法整合了两种用于异构多智能体系统的评论网络。最后，实验结果表明，与四种基准实时调度方法（PDRs、DQN、PPO和另外两种先进的多智能体调度器）相比，所提出的方法在调度性能和实时响应性方面表现更优。

引言
随着数字和智能技术的进步，市场对制造业的要求变得越来越严格。生产模式已从大规模制造转向个性化定制[1]。因此，生产环境受到可变离散事件的影响，这对整体制造计划构成了重大挑战。在服装和电子等制造业中，广泛采用了具有无关并行机器的混合流式车间。由于新的生产模式，混合流式车间的生产需要更高的动态性和灵活性。生产调度是制造系统控制中的关键决策组成部分。为混合流式车间设计有效的调度方法可以提高运营灵活性和管理效率，从而应对复杂生产环境带来的挑战。同时，现实世界的工业生产过程包含各种离散事件，这要求调度方法具备实时响应性。因此，在离散事件驱动的制造系统背景下，具有无关并行机器的混合流式车间调度问题（HFSP-UPM）引起了学者们的广泛关注。

关于HFSP-UPM，存在两个子调度问题：作业调度和阶段-机器调度。在实际工业场景中，生产调度还需考虑以下三个约束：首先，每台机器的缓冲容量有限，可能导致相邻加工阶段之间的阻塞；其次，作业在初始时存储在仓库中，运输时间会影响作业在机器上的开始时间；第三，作业具有相同的加工顺序，某些作业会跳过某些加工阶段。然而，大多数关于HFSP-UPM的研究通常假设缓冲容量足够大且所有作业的操作次数相同。为了便于研究，忽略了整个生产过程中的运输时间。因此，考虑上述生产约束将使调度方法更符合实际生产需求[1]。此外，这些额外的生产约束增加了决策的复杂性，使得制定合理有效的调度决策变得更加困难。

车间生产过程可以被视为由多种离散事件驱动的离散事件系统（DES）。由于生产环境的复杂性，动态干扰事件（如作业插入、工人休息）等离散事件可能会扰乱DES的运行。鉴于离散事件的特点，调度方法的设计应具备实时响应性以有效应对这些动态事件。实践中广泛采用优先级调度规则和启发式调度规则，因为它们具有较高的计算效率[2]。然而，调度规则的设计很大程度上依赖于经验知识或预定义的调度目标，这可能导致短视的调度决策。另一种流行的方法是采用基于元启发式的调度方法来应对动态事件[3]。这类方法通常能产生高质量的解决方案，但计算时间较长。相比之下，基于超启发式的调度方法通过操作或管理一组低级启发式规则（LLHs）来推导新的启发式算法[4]。尽管这种方法计算简单，但其解决方案的质量在很大程度上依赖于逻辑运算。随着人工智能技术的发展，深度强化学习（DRL）方法已成为主要的实时调度方法[5]。DRL中的智能体可以与仿真环境交互，收集决策数据，并将这些数据整合起来制定出色的策略，这在组合优化问题中得到了广泛应用[6]。

目前，基于深度强化学习（DRL）的调度方法已成为研究热点，应用于作业车间调度（JSP）和流式车间调度（FSP）。尽管现有研究取得了有希望的结果，但仍存在一些研究空白。首先，忽略了某些实际生产约束（有限的机器缓冲容量、作业运输时间、作业跳过操作）。其次，一些基于DRL的调度方法通常将整个车间视为一个单一的调度智能体，这增加了调度决策的复杂性，并容易受到维度灾难的影响。第三，基于DRL的调度方法的动作空间大多采用固定的调度规则，这限制了对解决方案空间的探索，从而影响最终的调度结果。受上述问题的启发，本文提出了一种基于异构协作多智能体DRL（HC-MADRL）的端到端实时调度方法，以最小化具有有限缓冲区和运输时间的HFSP-UPM的平均作业延迟时间（HFSP-UPM-LB-T）。

主要贡献如下：首先，为HFSP-UPM-LB-T制定了优化模型，以最小化作业的平均延迟时间；同时考虑了作业在仓库中的存储和运输，提出了作业存储策略；其次，设计了由离散事件驱动的生产调度，并构建了部分可观测马尔可夫决策过程（PoMDP）；第三，提出了基于异构协作MADRL的端到端实时调度框架，其中包含两种类型的智能体（作业智能体和阶段-机器智能体）；第四，提出了具有奖励塑形的奖励机制，以指导智能体学习，并开发了基于MAPPO的训练算法，采用集中训练和分散执行（CTDE）的方式。

本文的组织结构如下：第2节回顾了当前的研究现状并指出了现有的研究空白；第3节介绍了HFSP-UPM-LB-T的问题表述并提出了存储-运输策略；第4节介绍了基于异构协作MADRL的端到端实时调度方法及相关技术；第5节展示了所提方法的训练和测试结果，并通过与其他方法的比较验证了其优越性；第6节总结了本文的工作并提出了未来的研究方向。

文献综述
本文研究了由离散事件驱动的HFSP-UPM-LB-T，并提出了一种基于异构协作MADRL的端到端实时调度方法。因此，文献综述包含三个方面：离散事件制造系统和HFSP、智能车间调度方法、基于DRL的车间调度方法。

问题描述
研究问题是具有无关并行机器的混合流式车间调度问题（HFSP-UPM-LB-T），同时考虑了有限的缓冲区和运输时间。HFSP-UPM-LB-T的描述如下：车间内有两个仓库（P1和P2），P1是原材料仓库，P2是成品仓库。原材料仓库有C个存储位置{S1,S2,…,Sp,…,SC}，每个存储位置可以存储NC个作业。需要处理的N个作业{J1,J2,…,Jx,…,JN}具有相同的加工顺序。

基于HC-MADRL的端到端实时调度方法
为了优化HFSP-UPM-LB-T的目标，本文提出了一种基于异构多智能体深度强化学习的端到端实时调度方法。本节首先介绍了由离散事件（DE）驱动的调度生产过程；在此基础上，进一步开发了智能体划分并构建了多智能体部分可观测马尔可夫决策过程（PoMDP）；然后提出了端到端实时调度方法的框架。

仿真环境和问题设置
本节介绍了后续实验的训练仿真环境和调度实例的参数设置细节，具体参数设置见表5。整个车间有一个仓库用于存储作业原材料，仓库包含多个存储位置，每个位置可以存储15个作业。作业的进出策略在第3.2节中介绍。加工区域可以视为5个加工阶段。

结论与未来工作
受实际生产场景的启发，本文考虑了具有无关并行机器的混合流式车间调度问题（HFSP-UPM-LB-T）中的作业运输和有限的机器缓冲容量。同时，为HFSP-UPM-LB-T设计了基于离散事件的调度生产过程，以实现生产活动的实时处理；然后提出了一种基于异构协作多智能体深度强化学习的端到端实时调度方法。

作者贡献声明
沈立正：撰写、审稿与编辑、监督、方法论；
朱海平：撰写、审稿与编辑、监督、项目管理、资金获取、概念化；
张俊宝：撰写、审稿与编辑、监督；
李银达：撰写、审稿与编辑、验证；
刘思琪：撰写、审稿与编辑、初稿撰写、验证、软件开发、方法论研究、概念化；

利益冲突声明
我们声明与提交的工作没有任何商业或关联利益冲突。

致谢
本研究部分得到了中国国家重点研发计划（项目编号2023YFB3307900）的支持。