基于关系感知的进化强化学习在调度具有多模块配置的可重构制造系统中的应用

《Advanced Engineering Informatics》：Relation-aware evolutionary reinforcement learning for scheduling reconfigurable manufacturing systems with multi-module configurations

　　

• •
  异构图模型用于表示操作-配置模块之间的依赖关系。
• •
  关系感知学习能够捕捉调度过程中的竞争与协作。
• •
  双向进化强化学习可以改进调度策略。
• •
  与最佳基线相比，按规模重新配置的时间平均减少了23.24%。
• •
  工业装配调度无需重新训练或针对具体案例进行调优即可得到改善。

引言

随着产品种类的日益多样化和生产需求的快速变化，制造系统需要高度的灵活性和快速适应能力[1]。可重构制造系统（RMS）作为一种有效的解决方案应运而生，它能够及时且低成本地改变系统结构和功能[2][3][4]。作为RMS的核心设备，可重构机床（RMT）通过由基本模块和多个辅助模块（AM）组成的模块化架构实现这种适应性[5][6]。通过连接具有特定功能的不同辅助模块（如末端执行器、加工模块或 feeding 模块），RMT 可以被重新配置为不同的操作模式，以支持各种制造任务[7]。在实际应用中，这些配置通常需要从共享的模块池中选取多个特定的辅助模块，因此配置的制定本质上受到模块可用性的限制。图1展示了一个典型的RMS以及RMT、配置和辅助模块之间的关系，这也是后续调度决策的基础。

在RMS中，调度必须同时确定配置选择、模块分配、操作到RMT的分配以及操作的顺序[8][9]。与传统柔性制造系统（FMS）的调度[10][11]不同，RMS调度问题（RMSSP）的特点是配置、模块和操作之间存在强烈的耦合。具体来说，多模块配置（MCs）创建了一个高维的决策空间，在这个空间中，配置选择和模块分配紧密相关，并影响操作的分配和顺序。同时，有限的辅助模块被多个RMT共享，从而产生了动态的资源竞争：不当的占用或延迟释放可能导致冲突或死锁，而重新配置会增加额外的时间，这需要与加工过程协调。此外，重新配置还会修改系统的处理能力和拓扑结构，影响后续调度的可行性，使得调度在时间和结构上都具有动态性。这些特性使得RMSSP比传统的FMS调度复杂得多，因此需要专门的建模和优化方法。

现有的RMSSP研究往往忽略了辅助模块的有限可用性[12][13]，或者将配置简化为单模块设置[14][15]。然而，在实际的RMS中，一个可行的RMT配置需要一组特定的辅助模块，而不仅仅是单个模块，因此配置的可行性本质上取决于模块的可用性。因此，本文研究了带有多模块配置的RMSSP（RMSSP-MCs）。

尽管元启发式算法被广泛用于复杂的调度问题[16][17]，但它们在处理RMSSP-MCs时遇到困难。操作分配、顺序和模块分配之间的强耦合扩大了搜索空间，而多对多配置模块依赖性使得可行性变得非常敏感，因此微小的编码扰动都可能引发冲突、死锁或昂贵的修复[18]。此外，模块的占用和释放具有时间依赖性，加上配置切换导致的动态处理能力变化，使得静态编码和手工设计的操作符难以捕捉这些变化。深度强化学习（DRL）通过将调度问题表述为马尔可夫决策过程（MDP）[19]，提供了一种有前景的替代方法，实现了无需显式模块编码和频繁修复不可行解的顺序决策[20]。此外，基于图的状态表示有助于捕捉配置、模块和操作之间的依赖关系，图神经网络（GNN）可以增强状态学习[21][22]。然而，纯DRL仍然存在探索范围有限和倾向于收敛到局部最优解的缺点。这促使人们将DRL与进化算法（EA）相结合，以改进探索能力并进一步提高调度质量[23]。为了解决这些问题，本文开发了一种基于关系感知的进化强化学习（ERL）框架，称为群体增强型ERL（SERL），该框架使用三维配置耦合的异构离散图（CHDG-3D）来表示耦合的调度状态，关系感知网络将其编码为决策导向的嵌入，而策略学习和进化搜索之间的双向协作则指导策略优化。

主要贡献包括：1）将RMSSP-MCs表述为MDP，并开发了CHDG-3D来表示操作、配置和辅助模块之间的耦合关系，其中虚拟释放机制定义了模块的可用性并防止伪死锁；2）基于CHDG-3D，设计了一种关系感知的异构图融合网络（RAHFN），通过元路径子图和多路径融合来学习优先级、竞争和协作关系，从而生成密集的状态表示；3）在SERL框架内，设计了一种双向协作机制（BCM），使得学习到的策略指导参数空间的进化搜索，并将搜索知识反馈给策略学习，从而改进探索能力并避免过早收敛；4）在包含1560个实例的148个规模上进行实验，并通过一个工业案例验证了RAHFN和BCM的有效性，SERL实现了最佳的平均完成时间和比最强基线低23.24%的重新配置时间。

本文的结构如下：第2节回顾相关工作；第3节描述RMSSP-MCs和CHDG-3D；第4节介绍提出的SERL框架；第5节展示实验结果；第6节总结本文并展望未来研究方向。

章节摘要

RMSSP的相关研究

早期研究主要集中在基本的RMSSP设置及其扩展到更复杂的生产场景。Mahmoodjanloo等人通过将灵活作业车间调度问题（FJSP）扩展到具有配置依赖性处理能力的RMT来研究RMSSP[12]，进一步将其扩展到包括批量生产[24]、分布式生产[25]和人机协作[26]等场景。相关研究还考察了可重构装配系统等更广泛的应用。

问题描述

RMSSP-MCs的定义如下：系统由 m 个RMT组成，M = {M₁, M₂, ..., M_m）。每个RMT M_k 支持一组相互转换的配置 C_k = {c₁, c₂, ..., c_k），其中每个配置 c ∈ C_k 代表由一组辅助模块组成的特定处理能力。共有 a 种类型的辅助模块 A = {A₁, A₂, ..., A_a），每种模块都有 b_a 个相同的副本。如果所有所需的模块都可用，RMT可以在不同的配置之间切换。在 M_k 上从 c₁ 切换到 c₂ 的重新配置时间为

提出的框架概述

如图4所示，SERL是为RMSSP-MCs开发的，旨在解决重新配置和模块竞争下的耦合调度决策问题，同时弥补了传统DRL探索能力的不足。首先将RMSSP-MCs表述为MDP（第4.2节），使得调度可以通过顺序动作选择而不是显式解决方案编码来构建。在每个决策点，环境提供状态 st 并确定当前可用的

数值实验

本节通过消融分析、性能比较、泛化测试和工业案例研究来评估所提出的方法在RMSSP-MCs上的效果。所有实验都在Python环境中使用PyTorch实现，并在配备AMD EPYC 7452 32核CPU（2.35 GHz）和NVIDIA GeForce RTX 4090D GPU的工作站上运行。

结论与未来研究

本文研究了RMSSP-MCs，并开发了一种SERL框架，以解决调度和重新配置决策之间的强耦合问题。通过结合基于MDP的表述方法、关系感知的状态表示学习以及RL和进化搜索之间的协作优化，所提出的方法为复杂可重构制造环境中的调度决策改进提供了有效的框架。在148个实例上的1560个案例进行了广泛的实验

CRediT作者贡献声明

Haoran Li：撰写——原始草案、软件、方法论。Xinyu Li：撰写——审稿与编辑、监督、概念化。Liang Gao：撰写——审稿与编辑、监督、项目管理。Qihao Liu：撰写——审稿与编辑、可视化、方法论。Chunjiang Zhang：撰写——审稿与编辑、可视化、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本项工作部分得到了中国国家重点研发计划（项目编号：2023YFB4705000）、国家自然科学基金（项目编号：52305534）以及中央高校基本科研业务费（项目编号：2024BRA004）的支持。

Haoran Li|Xinyu Li|Liang Gao|Qihao Liu|Chunjiang Zhang