动态柔性作业车间调度中深度强化学习的广义分数阶动量方法

《Computers & Operations Research》：Generalized fractional order momentum for deep reinforcement learning in dynamic flexible job shop scheduling

　　

**摘要**

动态柔性作业车间调度（DFJSS）在随机到达、异构机器能力和交货期约束下耦合了路由与排序决策。本研究开发了一种分解式深度强化学习框架，其路由策略与排序策略独立训练，并通过广义分数阶导数随机经典动量（GFD–SCM）进行优化。该更新规则以迭代次数为自变量调制动量衰减和梯度尺度，无需存储历史梯度，也不改变每次迭代的计算阶次。在均匀有界随机梯度的条件下，分析证明了内部动量状态的有界性和渐近遗忘性。所提策略采用紧凑状态描述符、松弛敏感奖励和异步转移机制。在主要路由实验中，路由策略的归一化性能较对照法（CT）提升约1.2至4.5个百分点，胜率记录为65%至70%。在另一基准测试中，经Holm校正后，GFD–SCM策略对所产生的累计延迟低于Transformer–RL、Hierarchical–RL和MLP。

**引言**

柔性作业车间调度（FJSP）扩展了经典作业车间调度，允许每个工序从一组可选机器中选择一个。这种灵活性反映了现代制造实践，可以改善资源利用、交付表现和运营效率（Dauzère-Pérès et al., 2024; X. Li et al., 2022; Liu et al., 2024; Lei et al., 2022）。FJSP属于强NP-hard问题，因此精确求解在实例规模增大时计算上不可行（Wang et al., 2023）。因此，混合整数规划、分支定界和拉格朗日松弛等精确方法主要适用于小规模实例。调度规则具有良好的可扩展性，但在随机到达、变化工作负载和异构机器条件下适应性不足。这些局限性促使研究者寻求能在有限计算预算内获得高质量可行调度方案的方法。常见目标包括完工时间、工作负载均衡和延迟（Fan et al., 2024）。

元启发式研究通过蚁群优化、灰狼优化、粒子群优化、差分进化、和谐搜索和哈里斯鹰优化等方法处理了这一权衡。这些方法已被应用于纺织生产、嵌入式执行、随机加工、外包、工人约束、订单拆分和分布式车间等领域（Chen et al., 2024; Zhou et al., 2024; Zarrouk et al., 2022; H. Li et al., 2022; Zhao et al., 2025; Cao et al., 2022; Cheng et al., 2024; Li and Zhou, 2025; Lin et al., 2022; X. Li et al., 2022; Heidari et al., 2019）。混合搜索机制和改进的邻域结构增强了探索能力，但群体多样性的丧失仍可能导致早熟收敛（Kong et al., 2022）。此外，当运行状态发生变化时，元启发式需要重新启动一次新的优化运行，这限制了其在快速事件驱动决策中的直接应用。

强化学习提供了一种互补策略，因为智能体可以从与模拟车间的交互中学习调度决策（Rangel-Martinez and Ricardez-Sandoval, 2025; Gui et al., 2023）。训练完成后，策略可在随机到达和变化工作负载条件下，在每个决策时期快速做出响应（Shakya et al., 2023; Matsuo et al., 2022; Li et al., 2024a）。这种自适应推理不同于在线学习，因为部署期间策略参数可以保持固定。应用领域包括实时车间调度、智能制造、可解释半导体调度、工人协调和人本分布式生产（Ngwu et al., 2025; Li et al., 2024b; Gu et al., 2024; Immordino et al., 2025; Y. Li et al., 2025; X. Li et al., 2025）。

早期DFJSS研究确立了深度Q学习和演员-评论家方法在新到达和部分无等待约束下的可行性（Luo, 2020; Luo et al., 2021; Luo et al., 2022）。后续研究将强化学习与异构图网络、多智能体协调以及随机加工和中断下的运输决策相结合（Song et al., 2022; J.-D. Zhang et al., 2023; Gui et al., 2023; M. Zhang et al., 2023; L. Zhang et al., 2023; Yuan et al., 2023; Zhu et al., 2023）。分层和注意力机制也被用于研究更大规模车间和随机故障问题（Lei et al., 2024; Zhao et al., 2024; Wan et al., 2024），而混合优化与强化学习框架则同时处理多个目标（Xu et al., 2025）。这些研究取得了实质性进展，但大规模状态空间和动作空间、大量训练数据需求以及跨车间拓扑的迁移能力仍是亟待解决的挑战（Dauzère-Pérès et al., 2024）。

分数阶微积分为修改学习动态提供了一种机制。正则化分数阶梯度方法将分数阶记忆与指数正则化相结合，以控制振荡更新和噪声梯度（Naifar, 2026）。分数阶自回归模型同样可以捕捉时间序列中的长时程依赖性（Ben Alaia et al., 2026）。广义分数阶导数随机经典动量（GFD–SCM）利用局部GFD算子将动量递推以迭代次数为自变量进行缩放。与具有非局部性质的Caputo公式不同，它不需要历史梯度信息。第2.3节的分析仅针对内部动量状态证明了有界性和渐近遗忘性；调度性能则通过实验进行评估。

本研究开发了一种用于DFJSS的双智能体分解式DDQN框架，并使用GFD–SCM训练两个策略，遵循Liu等（2022）提出的动态调度DRL框架。路由智能体将工序分配给可选机器，排序智能体从固定动作集中选择一个调度规则。在固定车间拓扑下，使用与队列长度无关的固定维度状态描述符。松弛敏感奖励和异步转移机制将局部决策与延迟结果联系起来。在主要路由实验中，FDRL–RA的归一化性能较CT提升约1.2至4.5个百分点，胜率为65%至70%。排序和集成实验在各自独立定义的协议下评估了相应策略。辅助学习架构和外部数据集研究提供了额外的描述性证据，但未改变主要对比设计。

图1总结了该框架。GFD–SCM在训练期间优化策略网络，之后路由和排序智能体以固定参数做出调度决策。第2节介绍了优化器、动量分析和DFJSS数学模型。第3节定义了两智能体DDQN方法，包括其状态、动作、奖励和转移机制。第4节描述了数据、参数设置和对比设计。第5节报告了路由、排序、集成、辅助和外部评估结果。第6节总结了研究发现和局限性（见表1、表2）。

**分数阶优化器**

该优化器使用局部GFD算子而非非局部Caputo导数。Caputo微分涉及对过去状态的卷积积分，而GFD则对局部导数施加一个分数阶缩放因子。因此，GFD–SCM仅评估当前随机梯度和一个依赖于迭代次数的系数，无需存储历史梯度轨迹。GFD–SCM通过引入广义分数阶导数对随机经典动量进行了推广。

**预备知识**

我们将决策过程建模为马尔可夫决策过程（MDP）$D=(S,A,P,r,\gamma)$，其中$S$为状态空间，$A$为动作空间，$P$为转移核，$r$为奖励函数，$\gamma\in[0,1)$为折扣因子。在时刻$t$，智能体观测到状态$s_t\in S$，在策略$\pi$下选择动作$a_t\in A$，获得奖励$r_t=r(s_t,a_t)$，并转移到$s_{t+1}\sim P(\cdot\mid s_t,a_t)$。目标是通过学习一个策略来最大化期望折扣回报$G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k+1}$。我们使用经经验回放训练的神经网络近似$Q(s,a;\theta)$。

**数据集**

我们研究了一个具有随机作业到达、异构加工时间和不同交货期紧迫性水平的动态柔性作业车间调度环境。模拟车间包含$N_W=3$个工作中心，记为$W=\{W_1,W_2,W_3\}$。每个工作中心包含三台并行机器，因此共有$N_M\coloneqq|M|=9$台机器。设$M_\ell$表示属于工作中心$W_\ell$的机器集合；因此，对所有$\ell=1,\ldots,N_W$，$|M_\ell|=3$。每个作业恰好访问每个工作中心一次，因此$q_j=N_W,\forall J_j\in J$。

**数值实验**

数值评估分为三个阶段：独立路由、独立排序以及路由与排序的集成评估。每个HH、HL、LH和LL场景各包含20个独立生成的生产实例。对于每个生产实例，所有对比方法均使用相同的作业到达时间、加工时间和交货期参数进行评估，从而确保在相同随机条件下进行配对比较。每个生产实例均通过模拟进行...

**结论**

本研究为动态柔性作业车间调度中的分解式DDQN路由与排序策略开发了GFD–SCM方法。该更新规则利用依赖于迭代次数的动量衰减和梯度缩放，同时保持经典动量的计算阶次。在所述梯度与系数条件下，分析证明了内部动量状态的有界性和渐近遗忘性。但并未证明网络参数、学习策略或调度性能的收敛性。

**CRediT作者贡献声明**

Huang Meixin：撰写-初稿、软件、方法论、调查研究、数据整理、概念构思。Zheng Jianguo：撰写-审阅与编辑、方法论、数据整理。

**代码可用性**

主要源代码公开于 https://github.com/HMzhu520/GFD-SCM

**利益冲突声明**

作者声明不存在可能影响本文研究报告工作的已知竞争性经济利益或个人关系。

Huang Meixin | Zheng Jianguo
东华大学旭日商学院，上海200051，中国