面向大规模定制的网状多工厂系统中具有可变交错子批次时的协同批量流调度：一种多动作参数化深度强化学习方法

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Collaborative lot-streaming scheduling in networked multi-factory systems with variable interleaved sublots under mass customization: A multi-action parameterized deep reinforcement learning approach

　　刘明洲|丁正福|张希|凌琳|葛茂根|胡静•研究了基于多品种小批量生产模式下的网络化多工厂协同批次流式调度问题。•设计了一种新型的自适应可变任务分割策略。•提出了一种可扩展的多马尔可夫决策过程框架，用于实现复杂的调度建模。•针对网络化多工厂调度需求，改进了PPO算法。•开发了一种多动作参数化深度强化学习解决方案，具有更优的性能。

引言
在技术创新的推动下，制造业正在经历深刻的变革，这些创新提高了产品多样性、个性化水平以及更新速度，从而加剧了市场复杂性，对系统的响应速度提出了更高要求[1]。虽然大规模定制模式结合了成本效率与灵活性[2]、[3]、[4]，在半导体等行业带来了显著优势[5]，但日益复杂的多样化需求却对系统的响应能力构成了挑战。为此，具备跨区域资源整合与协调功能的多工厂模型[6]以及数据驱动的智能工厂[7]、[8]应运而生。台积电和西门子等领先企业正在推进数字化和物联网技术的发展，以构建智能的分布式制造网络。在这种背景下，制造系统正从集中式架构向分布式架构转变，调度问题也相应地演变为分布式形式[9]。大多数关于分布式调度的研究都集中在并行结构的分布式制造系统中，通常假设采用分批处理和传输的方式。这类假设限制了工厂间的协作，忽视了通过子批次分割所带来的灵活性和效率提升，因而难以适应大规模多样化订单的需求[10]、[11]。相比之下，网络化分布式制造系统通过混合串并联结构增强了协调性和可重构性，支持模块化生产和动态调整[12]。同时，批次流式调度方法因能够将任务分解为多个子批次以便并行处理，从而提高资源利用率并减少在制品数量及等待时间，因此在调度领域得到了广泛研究[13]。常见的任务分割策略包括等大小分割[14]、一致性分割[15]以及可变子批次分割[16]，其中可变子批次分割尤其适用于高混合度、小批量的定制化生产。此外，交错处理策略还能进一步提升系统的效率和灵活性，尤其是在设备密集型行业中[17]。随着大规模定制模式的兴起，网络化多工厂系统中的协同批次流式调度变得越来越重要。通过将工厂间的资源整合与协调相结合，并采用自适应的任务分割策略，可以显著提升系统的效率和灵活性。然而，这一领域仍面临诸多挑战，如大规模多样化订单、多工厂间的协调问题，以及任务分割、子批次分配与异步流程之间的强耦合关系。元启发式方法和超启发式方法虽擅长全局搜索和多目标优化，但依赖于离线迭代搜索，难以适应动态变化的环境，且随着问题规模的增大，计算成本也会急剧上升[18]、[19]。而深度强化学习则能够实现高维特征提取和实时决策，可对具有稳定复杂度的耦合子问题进行并行优化，并能通过经验不断优化策略，从而提升解决复杂问题的性能和适应性[20]、[21]、[22]、[23]。本研究针对网络化多工厂系统中的大规模定制场景下的协同批次流式调度问题，提出了基于可变交错子批次的多动作参数化深度强化学习解决方案，其主要贡献如下：（1）MC-NMFLSP-VIS模型充分考虑了大规模定制环境中任务分割、子批次分配与异步流程之间的强耦合关系，拓展了分布式制造中批次流式调度的研究范围和理论深度。（2）该研究构建了一个具有高维状态空间、混合动作空间以及复合奖励函数的多马尔可夫决策过程模型，为处理强耦合优化问题提供了可扩展的框架。（3）所提出的多近端策略优化架构整合了离散策略和参数化策略，能够在混合解空间中协调各个耦合子问题之间的决策。优先经验回放机制有助于缓解梯度振荡、稀疏奖励问题以及由协同决策带来的高质量样本不足的问题，而基于种群的训练方法则能提升模型的泛化能力，帮助其避免陷入局部最优解。此外，还设计了重新训练机制以实现在线的模型演化更新。（4）自适应可变任务分割策略能够通过连续解空间和压缩高斯策略动态调整子批次的大小，从而大幅提升系统在各种不同需求场景下的适应能力。本文的其余部分结构如下：第2节回顾相关研究文献；第3节定义MC-NMFLSP-VIS问题模型；第4节详细介绍MAPDRL解决方案；第5节展示实验结果并进行分析讨论；第6节总结研究成果并指出未来研究方向。

章节摘录
大规模定制环境下的调度模式
目前，越来越多的企业开始采用大规模定制模式，以满足消费者对个性化产品的需求[2]、[37]。为支持大规模定制模式的实施，众多研究致力于解决各类调度问题，包括流水线调度[38]、作业车间调度[39]、集成装配调度[40]、云制造调度[41]以及柔性制造系统调度[42]，同时还涉及在各种干扰条件下的动态调度问题[43]、[44]。然而，要有效应对大规模定制带来的挑战，高效且灵活的分布式制造系统就显得至关重要。

问题描述
如图1所示，网络化多工厂系统由M个工艺阶段组成，每个工艺阶段又包含Km家工厂Fmk。阶段内的负载平衡与阶段间的工艺驱动式协调共同构成了双层协作机制。最初，有N个订单On相继到达，这些订单具有不同的规模、截止日期和工艺路线。每条工艺路线都包含多个任务，这些任务被分配到特定的工艺阶段，且可以在该阶段内的任意一家工厂执行，各工厂的处理时间和成本也各不相同。在小型系统中，

框架特点
MC-NMFLSP-VIS问题具有高维度、强耦合特性以及混合解空间的特点。高维度会导致复杂的交互情况，从而带来较高的计算复杂度。在混合解空间中，离散决策决定了整体的结构，而连续决策则用于微调局部参数，不同策略产生的梯度在方向和数值上可能存在冲突，进而造成相互干扰。在强耦合环境下，只有

实验结果与讨论
本研究系统地评估了MAPDRL和AVTS算法的有效性。实验内容包括通过消融实验来分析多PPO架构及训练改进措施的贡献，评估MAPDRL算法的收敛速度和调度性能，还将AVTS算法与其它常见的任务分割策略进行了比较。此外，还分析了目标权重对算法性能的影响、算法的扩展性以及泛化能力。所有实验均使用PyTorch框架在Windows 10系统上完成。

结论
本研究提出的MC-NMFLSP-VIS模型为捕捉大规模定制环境中任务分割、子批次分配与异步流程之间的强耦合关系提供了理论框架，进一步拓展了分布式制造中批次流式调度的理论研究范围。该问题被建模为一个具有高维状态、混合动作及复合奖励函数的多马尔可夫决策过程问题，便于对具有强耦合特性的结构和混合解空间进行建模。所设计的多PPO架构

作者贡献说明
刘明洲：撰写——审稿与编辑，撰写——初稿，可视化，验证，监督，软件，资源，项目管理，方法论，研究，资金获取，正式分析，数据整理，概念构思。丁正福：撰写——审稿与编辑，撰写——初稿，可视化，验证，监督，软件，资源，项目管理，方法论，研究，正式分析，数据整理，概念构思。张希：

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：刘明洲表示其研究得到了国家自然科学基金委员会国际合作与交流项目的资助；凌琳表示其研究得到了中国中央高校基本科研业务的资助；张希也表示其研究同样得到了中国中央高校基本科研业务的资助。如果存在

致谢
本研究得到了国家自然科学基金委员会国际合作与交流项目（项目编号：W2411063）以及中国中央高校基本科研业务项目的资助（项目编号：PA2024GDSK0041和PA2025GDSK0031）。