基于多智能体协作强化学习的机器随机故障下动态柔性作业车间调度

《Computers & Operations Research》：Multi-agent collaborative reinforcement learning for dynamic flexible job shop scheduling under machine random failures

　　

**摘要**

动态柔性作业车间调度问题（DFJSP）要求提高调度效率、缩短生产周期并平衡作业车间机器的加工状态。为此，提出了一种融合图神经网络（GNN）和多头注意力机制的双智能体近端策略优化（PPO）算法，其目标是最小化最大完工时间、降低机器空闲率并提高机器负载均衡率。将DFJSP建模为马尔可夫决策过程（MDP），其中状态空间以异构图的形式构建。定义作业和机器的状态与动作空间，设计一种新颖的多目标奖励函数以最小化完工时间、降低机器空闲率并提高机器负载均衡率，并建立一个具有作业选择和机器分配两阶段协同处理的动态分层调度框架。引入多头注意力机制以增强捕捉作业状态与机器状态之间相关性特征的能力，从而提高策略的泛化性能和抗动态干扰的鲁棒性。消融实验表明，所提出的多头注意力机制、双智能体方法和新颖优势估计均提升了算法性能。对比实验显示，所提出的算法在解质量和泛化性能方面具有显著优势。

**引言**

柔性作业车间调度问题（FJSP）具有灵活性、动态性和不可预测性的特点，能够更好地满足智能制造的发展需求。因此，国内外学者多年来对FJSP进行了研究，并取得了大量研究成果。然而，大多数研究成果针对的是传统FJSP（Li等，2022a），无法处理企业实际生产过程中遇到的突发情况，特别是交期变更或机器故障导致生产系统停机的情况。实际生产中的这些突发情况要求调度系统快速适应这些变化，以确保整体生产过程的稳定性。因此，对动态柔性作业车间调度问题（DFJSP）的研究更符合当前智能制造的生产需求（Tian等，2021）。

通常，求解DFJSP的方法可以分为两类：精确方法和近似方法。

首先分析用于求解DFJSP的精确方法。精确方法需要为动态事件重建数学模型。它在理论上严谨，但对动态事件的响应速度较慢。同时，DFJSP是一个NP-hard问题（Yang等，2025），在合理时间内找到最优解非常困难。因此，大多数研究成果是通过近似方法获得的，包括启发式、元启发式和深度强化学习（DRL）方法。

与精确方法相比，近似方法在当前相关研究中占主导地位。启发式算法使用预设规则进行决策，可以应用于动态事件触发，但优秀的调度规则需要高度专业知识和反复试验（Dauzère-Pérès等，2024），需要大量规划经验，且此类方法无法保证局部最优。因此，大多数研究集中在元启发式和DRL方法上。元启发式方法通过智能搜索找到全局近似最优解，在求解DFJSP方面显示出一定优势，例如：灰狼算法（Fan等，2016；Zhou等，2024；Li等，2022b；Wang等，2025a；Chen等，2025a），遗传算法（Li和Xing，2024；Li等，2025；Ding和Gu，2020；Wang等，2022；Zhou等，2025；Chen等，2025b），鲸鱼算法（Guo等，2025），粒子群算法（Ren等，2022；Jiménez Tovar等，2024），候鸟算法（Wei等，2023）等。

在现有研究中，面对复杂调度环境时，元启发式算法存在迭代次数爆炸和收敛速度缓慢等缺点。虽然它们最终可以获得相对最优的解，但动态事件触发所需的极长计算时间严重影响了解决方案的效率（Zhang等，2024）。因此，机器学习和深度学习方法越来越多地应用于DFJSP，提供了新的有效解决方案。

在一篇论文中（Wan等，2024），提出了一种基于扩散的Transformer和深度强化学习方法。该方法用于编码操作和机器节点，以更好地捕捉节点之间的复杂依赖关系，从而有效提高模型的表示能力。结果表明，在求解DFJSP实例时，D-DRL方法实现了更好的解质量和更高的求解效率。提出了一种两阶段双深度Q网络算法（Yue等，2024）。该算法通过两阶段决策简化了DFJSP，并通过引入外部非支配集存储非支配解来提高网络的训练速度和解质量。最后在基准数据集上进行了实验，结果表明该算法在解质量、收敛速度和动态环境适应性方面具有出色性能。在后续研究中，不同研究者（Du等，2024；Lei等，2023；Wu等，2025）利用深度Q网络的各种变换形式研究了该问题。

然而，深度Q网络算法在求解DFJSP时仍然存在固有缺陷。其随机探索机制容易产生大量无效动作，导致调度效率降低。即使在改进的双深度Q网络算法中，Q值高估问题仍然存在，这使得策略容易收敛到次优解，从而影响调度策略的优化效果。

针对深度Q网络（DQN）在求解动态柔性作业车间调度问题（DFJSP）中的固有缺陷，研究者转向其他深度强化学习（DRL）算法，其中近端策略优化（PPO）算法因其对DFJSP核心特征的良好适应性而成为研究焦点。

研究者探索了PPO算法的各种改进和扩展形式，以增强其在DFJSP场景下的性能。一些研究聚焦于通过PPO算法周期性训练和更新生产策略来优化智能体的决策能力，实验结果表明其在策略性能和抗干扰能力方面优于其他优化方法和调度规则（Zhang等，2022）。

另一个研究方向是将PPO算法与马尔可夫决策过程（MDP）框架相结合：通过将DFJSP转化为MDP，研究者利用PPO算法训练智能体，要么通过设定目标奖励获得最优调度策略（Yuan等，2025），要么通过构建多智能体PPO框架实现协同优化（Yan等，2025）。该方法提高了调度策略对不同规模和复杂度的DFJSP的适应性。

此外，在近期研究中，研究者系统地总结了柔性车间多智能体调度领域中传统多智能体方法——如DQN、QMIX和PPO等——特别是针对经典算法和基本研究场景（Xu等，2025a；Xu等，2025b）。然而，这些研究表现出明显的滞后性；它们缺乏对异构图和多头等注意力机制等增强机制的全面概述，未能系统梳理多目标协同优化等新兴研究方向，在现有研究体系中存在一定空白。

Pang等（2026）提出的单智能体PPO算法和Lv等（2025）设计的基于元路径感知异构图的单智能体算法均采用耦合的单智能体架构；它们仅依赖浅层图或一维扁平化状态表示来编码车间信息，导致信息表示精度不足、收敛效率低且容易陷入局部最优。此外，浅层图方法无法区分工序与机器之间的异构关联关系，导致模型在多尺度场景下的泛化性能较差。Zhang等（2026a）提出的分布式对抗多智能体DDQN和Wang等（2025b）提出的集中式3DQN算法解决了单智能体方法固有的局限性；然而，这些方法缺乏分层决策分支，未能为工序和机器建立差异化的异构特征提取通道，忽略了车间拓扑相关信息，这导致智能体无法对机器资源竞争进行预测，从而在大规模测试用例上的完工时间性能表现不佳。Zhang等（2026b）仅采用了基本的独立对抗DQN，未结合分层决策网络或多尺度特征学习模块。此外，张立祥等人展示了对车间多目标生产约束的建模能力相对较弱；他们的单个浅层神经网络无法捕捉复杂的工序耦合关系，导致在工况或系统规模变化时模型性能显著下降。另一个主流研究方向涉及将PPO算法与马尔可夫决策过程（MDP）框架相结合，通过将动态柔性车间调度问题转化为MDP，然后利用PPO算法训练智能体。这些方法增强了调度策略对不同规模和复杂度的动态柔性车间调度问题的适应性。然而，现有的基于PPO的解决方案仍然存在显著的结构局限性：它们均未采用多头注意力异构图结构，仅使用扁平的手工设计统计特征，未能利用工序与机器之间的高阶耦合拓扑关系；智能体采用同质化设计，未区分工件分配和机器路由两个不同的决策任务，缺乏分层解耦机制，导致动作空间维度过大；此外，奖励函数仅围绕单一完工指标构建，缺乏多目标均衡权重机制，导致在复杂工况下整体调度性能存在明显不足。

综上所述，PPO算法及其改进形式在求解DFJSP中显示出显著优势，有效弥补了传统DQN算法的缺陷，为后续基于DRL的DFJSP优化研究奠定了基础。然而，基于当前研究，基于DQN的方法和现有PPO架构都存在一个共同的结构局限性：要么采用单智能体耦合架构导致动作维度过高；要么缺乏异构图注意力模块，容易丢失拓扑关联信息；要么采用多智能体设计但缺乏分层结构，无法实现高效协同信息处理。迄今为止，尚无任何现有研究构建了分层独立的异构图PPO协同框架。

针对上述研究空白，本文提出了一种具有针对性创新的改进算法。鉴于过去算法存在的问题，本文创新性地提出了一种新的MADAPPO算法。该方法结合图神经网络、双智能体联合决策和多注意力机制来研究动态（机器故障）柔性作业车间调度问题。与现有的DQN、单智能体强化学习方法和传统静态元启发式算法相比，本研究在重新建模、算法方法和工程应用方面具有显著创新。

在重新建模层面，传统模型难以准确找到工件工序-机器的动态相关特征。本文算法可以构建工件-机器图的拓扑特征提取结构，解决传统模型存在的问题。在重新算法方法层面，本文设计了解耦的工件智能体和机器智能体协同的MADAPPO框架。两个智能体逐步独立决策，实现工序与设备分配的协同优化。在奖励机制设置方面，构建了针对随机动态故障的多目标复合奖励函数。该方法显著提高了调度决策在故障干扰下的自适应容错能力。

该算法旨在最小化最大完工时间、平衡机器负载并降低机器空闲率。与传统算法相比，它具有更强的场景泛化能力和动态干扰抑制性能。基于改进基准数据集的实验结果表明，与元启发式算法和深度强化学习算法相比，所提出的MADAPPO算法能够在不同规模的DFJSP中获得高质量的调度方案，并表现出优异的泛化性能。

本文其余部分组织如下：第2节描述DFJSP的数学表达式。第3节描述如何利用深度强化学习算法、异构图构建和MADAPPO算法框架。

第 4 节提供了全面的参数敏感性分析和算法有效性分析。第 5 节提供了多目标实验和计算对比。最后，第 6 节讨论结论并提出了潜在的研究方向。章节片段：故障干扰下 DFJSP 特征描述

带有故障干扰的 DFJSP 涉及一组 N 个工件 J= {J1, J2, J3, …, Jn} 和一组 M 台机器 M = {M1, M2, M3, …, Mm}。每个工件具有固定数量的加工工序，不同工件的工序数量各异。每个工序对应一组可用的加工机器，且每个工序在不同可用机器上的加工时间不同。此外，同一台机器上加工不同工件的时间也可能不同。与 FJSP 不同，异构图表示

DFJSP 采用异构图进行表示，定义为 ??=(??,??,??)，其中 V 表示所有节点的集合，包括工件节点 ????=(????1,????2,?,??????) 和机器节点 ????=(????1,????2,?,??????)，??=????∪????；?? 表示工件与机器之间的分配关系，???????×????，工序 ?????? 在机器 ???? 上加工，则存在一条边 (??????,??????)∈??，用于表示工序与机器之间的可行加工关联；节点矩阵 ??=[????????]∈?(????+????)×m?a?x?msub()

实验与测试 DFJSP 的调度策略直接影响资源利用率和生产效率；因此，策略应在解的质量和速度之间取得平衡。本文通过一系列测试评估了 MADAPPO 方法的性能。由于缺乏故障条件下的标准数据集，故选取 Brandimarte 提出的标准示例进行改进。故障机器设为 ??1 和 ??2，分别在时间步 3 和 5 发生故障，持续时间分别为 3 和 4 个单位

多目标实验与结果分析 为了验证所提出的 MADAPPO 算法在机器故障场景下解决多目标问题的鲁棒性和调度优化能力，对所有参考算法进行了环境和求解目标的适配。相应地设计了两组对比实验：一组与元启发式算法进行比较，如表 6、表 8 所示；另一组与传统深度强化学习算法进行比较，如表 7、表 结论

本研究提出了机器故障条件下 DFJSP 的 MADAPPO 算法动态调度模型。通过参数优化、消融实验和对比实验，验证了模型的有效性、鲁棒性和优异的求解性能。一系列消融实验、超参数敏感性分析和基准对比测试充分验证了所提出模型的优越性。最优超参数组合保证了快速的 CRediT 作者贡献声明

Haoze Wu：写作 – 审阅与编辑，写作 – 原稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查研究，资金获取，形式分析，数据管理，概念构思。Vladimir Golovko：写作 – 审阅与编辑，验证，监督，项目管理，调查研究。Marta Chodyka：写作 – 审阅与编辑，验证，资金获取。Piotr Lichograj：验证，资金获取。利益冲突声明 作者声明他们没有任何已知的相互竞争的财务利益或个人关系，这些利益或关系可能会影响本文所报告的工作。Haoze Wu|Vladimir Golovko|Marta Chodyka|Piotr Lichograj 山东华宇工学院电气工程学院，中国 德州 253034