FJSPT 自适应调度：一种具有尺度不变动作空间的两阶段深度强化学习方法

《Computers & Operations Research》：Adaptive scheduling for FJSPT: a two-stage deep reinforcement learning approach with scale-invariant action space

　　

带运输的柔性作业车间调度问题涉及复杂的空间 - 时间耦合，这对传统调度方法构成了挑战。尽管深度强化学习提供了希望，但现有方法往往受困于维数灾难，且无法在不同的问题规模间泛化。为了解决这些局限性，本研究提出了一种启用迁移学习的深度强化学习系统，旨在快速适应大规模实例。我们首先构建了一个维度无关的复合动作空间，协调机器和自动导引车调度规则，确保动作维度不随资源数量变化。随后，建立了一个双智能体框架来弥合泛化差距。通用智能体利用 NoisyLinear 增强的探索捕获不变的调度先验，而专用智能体通过迁移的骨干网络和基于 LSTM 的时间投影接口快速适应特定实例。此外，将退火概率采样机制集成到策略网络中，以动态平衡探索和利用，从而防止过早收敛。这种从泛化到适应的机制通过提供可迁移的初始化，缓解了深度强化学习的冷启动训练负担，以便在目标实例上快速微调。在基准测试和大规模合成数据集上的实验结果表明，该方法显著优于经典启发式算法和最新元启发式算法，在复杂制造场景中表现出卓越的稳定性和解质量。

制造业与先进技术，特别是人工智能的融合，正在推动工业转型的范式转变 **(Ghaedy-Heidary 等，2024, Wang 等，2024a)。这一演变的核心是智能制造，它在提升现代工业系统的生产效率、灵活性和可持续性方面发挥着关键作用 (He 和 Bai, 2021, Wang 等，2022)。作为此类系统的基本组成部分，作业车间显著决定了产品制造的效率和质量。因此，生产调度已成为一项关键的操作挑战，直接控制着资源利用率、吞吐量和交付时间线 (Zhang 和 Zhu, 2025)。

柔性作业车间调度问题 (FJSP) 是现代制造中的一个关键问题，在半导体制造 (Lu 等，2024) 和汽车生产 (Homayouni 等，2023) 等行业中得到了广泛研究。作为经典作业车间问题的扩展，FJSP 在机器分配和工序排序方面引入了灵活性，从而提高了其对实际生产环境的适用性 (Huang 等，2026)。然而，传统的 FJSP 模型通常通过忽视物料搬运来简化现实。为了解决这一差距，带运输的柔性作业车间调度问题 (FJSPT) 通过明确考虑机器间的转运时间来扩展了经典模型 (Dai 等，2019)。这一扩展将调度任务从纯粹的排序问题转变为涉及加工机器和物料搬运系统（如自动导引车，AGV）的复杂协调问题。随着生产系统在规模和可变性上的增长，FJSPT 的组合复杂性呈指数级上升，这需要能够处理作业、机器和 AGV 之间复杂耦合的复杂方法 (Han 等，2024)。

传统调度方法，从优先调度规则 (PDRs) (Shady 等，2022) 到元启发式算法（如遗传算法 (Han 等，2024) 和人工蜂群算法 (Lin 等，2013))，已被广泛采用。然而，这些方法在复杂的 FJSPT 环境中表现出明显的局限性。具体而言，它们往往遭受过早收敛和探索能力有限的困扰，导致性能次优，特别是在大规模实例中 (Du 等，2023, Li 等，2022)。此外，它们对静态启发式规则或迭代随机搜索的依赖阻碍了其泛化能力；生产规模的微小变化往往需要耗时的参数重新调整或完全重新优化。因此，迫切需要自适应调度方法，以适应现代制造系统的动态复杂性。

深度强化学习 (DRL) 已成为解决此类 NP 难组合优化问题的一种有前景的范式 (Mazyavkina 等，2021)。通过学习与环境的持续交互来制定策略，DRL 智能体可以有效地处理顺序决策任务 (Wang 等，2024b)。在生产调度的背景下，DRL 促进了智能模型的发展，这些模型能够对动态制造状态做出反应，从而提高响应速度和整体系统性能 (Luo, 2020, Lv 等，2025)。然而，将 DRL 部署到 FJSPT 中面临重大障碍：(1) 维数灾难：机器和 AGV 的同时调度创建了一个巨大的状态 - 动作空间，使标准 DRL 训练不稳定；(2) 泛化差距：大多数 DRL 智能体是在固定大小的实例上训练的，无法泛化到不同规模的问题，限制了其工业适用性；(3) 冷启动延迟：为每一个新的生产场景从头开始训练一个高性能智能体在计算上是禁止的，这使得通过基于迁移的微调来实现快速适应成为必要。

为了解决这些局限性，本研究提出了一种迁移学习增强的 DRL 框架。我们引入了一种新颖的复合动作空间设计，以将问题规模与动作维度解耦，以及一种改进的近端策略优化 (PPO) 算法来提升学习稳定性。至关重要的是，集成了一种迁移学习机制，以实现跨异构问题规模的快速适应。本文的主要贡献总结如下：(1) 可扩展的机器 - AGV 复合动作空间：我们设计了一个紧凑的动作空间，将复杂的机器和 AGV 调度决策集成到一组可解释的复合规则中。这一设计使动作空间维度无关，显著减少了搜索空间，并使智能体能够有效学习处理效率、运输延迟和资源同步之间的权衡；(2) 双智能体迁移学习框架：为了弥合泛化差距，我们开发了一种“从泛化到适应”的框架。首先预训练一个通用智能体，以捕捉不变的调度模式。然后将其特征提取骨干网络迁移到一个专用智能体，该智能体在目标实例上进行微调。该方案通过避免在每个目标实例上进行随机初始化，缓解了冷启动训练负担，允许模型通过基于迁移的微调快速适应未见的问题规模；(3) 增强的 PPO 学习方案：我们提出了一种专门的 PPO 架构以改进探索和收敛。在预训练阶段，集成了 NoisyLinear 层以诱导结构化的参数空间探索。在微调阶段，集成 LSTM 模块以捕获顺序决策过程中的时间依赖关系。此外，引入了一种退火概率采样机制，以动态平衡贪婪利用和概率探索，防止在大离散动作空间中过早收敛。

本文的其余部分组织如下。第 2 节提供了全面的文献综述。第 3 节详细介绍了 FJSPT 的数学公式。第 4 节提出了提出的方法，包括 MDP 公式、网络架构和迁移机制。第 5 节报告了实验结果和消融研究。最后，第 6 节总结全文。

章节片段

带运输的柔性作业车间调度问题的传统方法
车间调度研究可追溯到 20 世纪中叶，其主要目标是在约束条件下分配有限的生产资源，以最小化最大完工时间和生产成本等指标 (Xiong 等，2022)。Johnson 的经典工作 (Johnson, 1954) 通过提出两机和三机系统的最优规则标志着里程碑。后续研究确定大多数作业车间问题都是 NP 难的 (Jain 和 Meeran, 1999, Strusevich, 2022)，这促使了向

问题描述
本文研究的 FJSPT 定义如下。有 n 个作业 (??1,??2,?,????) 需要在 m 台机器 (??1,??2,?,????) 上加工，作业的运输由 l 台 AGV (??1,??2,?,????) 完成。AGV 需要从当前位置行驶到目标作业位置取走作业，然后将其运输到目标机器位置。每个作业有几个工序，工序顺序是预先确定的，每个工序有可变数量的机器可以加工，

提出的方法
在本研究中，我们提出了一种基于强化学习的 FJSPT 调度框架，由高效的 MDP 公式和通过迁移学习增强的改进 PPO 算法组成。为了减轻 FJSPT 的组合复杂性对学习过程的影响，设计了一个紧凑的复合动作空间，使智能体能够根据当前车间状态选择协调的机器 - AGV 调度规则。此外，一种改进的动作采样机制，

实验
在本节中，我们首先详细介绍实验设置，包括训练平台和基准实例生成。随后，进行可行性分析以验证所提方法的收敛性和稳定性。为了验证其适应性和优越性，我们与 PDRs、元启发式算法和最新 DRL 基线进行了广泛的对比实验。最后，提出了一项全面的消融研究，以量化每个

结论与展望
本文提出了一种启用迁移学习的深度强化学习 (DRL) 框架，以解决带运输的柔性作业车间调度问题 (FJSPT) 固有的可扩展性和实时响应性挑战。为了克服传统 DRL 方法中常见的“维数灾难”，我们构建了一个由统计特征组成的维度无关状态空间，并设计了一个复合动作空间，通过

CRediT 作者贡献声明
Chunyan Duan: 写作 – 审阅与编辑，监督，资源，项目管理，方法论，调查，资金获取，形式化分析，概念化。Yuxin Mo: 写作 – 审阅与编辑，写作 – 原稿，可视化，方法论，调查，形式化分析。Zehao Zhang: 写作 – 审阅与编辑，验证。Anhu Li: 写作 – 审阅与编辑。

未引用的参考文献
Kwon 等，2021, Meng 等，2023。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文报告的工作。

Chunyan Duan|Yuxin Mo|Zehao Zhang|Anhu Li
中国，同济大学