基于图注意力强化学习的印刷设备烘箱钣金车间协同调度方法

《Symmetry》：A Collaborative Scheduling Approach for Sheet Metal Workshops in Printing Equipment Ovens Based on Graph Attention Reinforcement Learning

　　

为了解决卫星式柔版印刷机分色烘箱钣金制造过程中二维钣金排样与柔性车间调度之间的强耦合所导致的协同优化问题，研究人员提出了一种基于双流图注意力网络（dual-flow graph attention network，DS-GAT）和近端策略优化（proximal policy optimization，PPO）的排样与调度协同优化方法。该问题涉及制造操作中固有的结构和资源对称性，并因工艺优先级约束、多资源竞争、人机协作、装配依赖以及排样决策与下游生产节拍之间的动态耦合而进一步复杂化。基于烘箱组件构成和实际生产方法，研究人员构建了集成排样与调度的协同优化模型；建立了离散事件仿真（discrete event simulation，DES）驱动的联合调度环境，以统一建模排样、切割、柔性加工和装配过程。在此基础上，将协同排样-调度过程形式化为马尔可夫决策过程（Markov decision process，MDP），清晰定义了状态空间、动作空间、奖励函数和状态转移机制。为了增强强化学习智能体在高维离散动作空间和强约束动态调度场景下的状态表示能力，研究人员将双流图注意力网络嵌入PPO框架，开发了DS-GAT-PPO算法。该算法同时捕获零件间的空间排样关系以及设备负载、工人疲劳、生产节拍时间等时间动态特征，从而生成可行且高效的联合调度方案。实验结果表明，所提方法在保持高板材利用率的同时，可将完工时间降低约10.9%–33.8%；在强化学习算法对比中，所提方法在大多数测试案例中取得了更优的完工时间，并将收敛步数减少约6.67%–66.67%，验证了其在提升解质量、收敛效率和调度稳定性方面的有效性。这些发现为动态制造环境中协同排样-调度优化的进一步研究和实际应用奠定了基础。

**论文解读：基于双流图注意力强化学习的印刷设备烘箱钣金车间协同调度方法**

**研究背景与问题**

在高端装备制造业中，钣金制造通常涉及排样、切割、加工和装配等多个相互关联的阶段。传统生产规划常将排样和车间调度分开优化，忽略了二者之间的强耦合：排样决策不仅决定材料利用率，还决定下游零件的释放顺序和时机，而调度决策直接影响生产效率和交付表现。卫星式柔版印刷机的分色烘箱是高端印刷设备的核心部件，其钣金结构件制造精度直接影响烘箱干燥性能。然而，该制造过程具有“多品种、小批量”特征，订单需求波动频繁，工艺路线复杂，传统面向批次优化的生产计划方法难以有效适应实际车间运行环境。因此，迫切需要开发能够优化资源配置的智能调度方法。现有研究往往将排样和调度问题分开建模，忽略了两者在加工节奏和作业就绪状态上的强耦合，导致排样决策与下游多阶段生产节奏的动态交互未得到充分捕获，限制了整体生产效率。为此，研究人员开展了排样与调度的协同优化研究，以提升钣金制造系统的整体性能。该论文发表在《Symmetry》期刊。

**研究内容与结论**

研究人员针对印刷设备烘箱钣金制造中的协同优化问题，提出了一种基于离散事件仿真（DES）驱动的双流图注意力近端策略优化（DS-GAT-PPO）框架。通过将排样、切割、柔性加工和装配过程集成到统一的仿真环境中，并结合动态准时制（JIT）截止期限调整、机器切换惩罚、恒定在制品（CONWIP）流控制和疲劳感知等机制，实现了复杂生产过程的联合建模与智能决策。实验结果表明，所提方法能在保持高板材利用率的同时，将完工时间降低约10.9%–33.8%；在强化学习算法对比中，在大多数测试案例中取得更优完工时间，并将收敛步数减少约6.67%–66.67%。消融实验证实了双流注意力结构、动态JIT机制、CONWIP控制、切换惩罚和疲劳感知建模对调度性能、资源协调和系统稳定性的互补贡献。该研究为动态制造环境中协同排样-调度优化提供了理论基础和实践指导。

**主要关键技术方法**

研究人员构建了基于离散事件仿真（DES）的联合调度环境，统一建模排样、切割、柔性加工和装配过程；将协同问题形式化为马尔可夫决策过程（MDP），定义状态空间、动作空间、奖励函数和状态转移机制；开发了双流图注意力网络（DS-GAT）嵌入近端策略优化（PPO）框架的DS-GAT-PPO算法，用于同时捕获空间排样关系和时间动态特征；采用启发式解码层实现物理可执行决策，包括基于JIT需求的延迟调整、疲劳感知的工人分配和CONWIP全局流控制。实验环境基于典型钣金制造企业的实际工艺拓扑构建，包含多尺度基准实例。所有强化学习方法在相同计算环境和50万步训练预算下进行对比。

**研究结果**

**1. 收敛性分析**
通过训练奖励曲线和完工时间演化曲线分析，DS-GAT-PPO在早期训练阶段奖励快速提升，随后逐步稳定，完工时间持续下降并收敛至稳定水平。在大规模实例中，尽管收敛速度相对较慢，但仍能在有限步数内实现稳定收敛，验证了框架的可扩展性和鲁棒性。

**2. 奖励系数与关键超参数敏感性分析**
局部灵敏度评估表明，时间相关、JIT延迟和板材利用率三个奖励系数在基线值附近适度变化时，主要影响各自对应目标，但整体优化倾向保持相对稳定。超参数敏感性分析显示，潜在特征维度128、学习率、折扣因子等参数设置下，DS-GAT-PPO维持了相对稳定的调度性能。

**3. 基线对比**
构建了包含复合启发式（如FFD+FIFO、MWKR+CR）和元启发式（HH-NSGA-II）的多层次基线系统。在八组基准实例上，DS-GAT-PPO在所有实例中均取得最低或接近最低的完工时间，GAP通常低于2%。在大规模实例中，静态复合规则常触发物理死锁，而HH-NSGA-II的离线计算开销超过450秒且解质量下降，DS-GAT-PPO将端到端延迟稳定在20秒内，实现了解质量与计算效率的帕累托最优平衡。

**4. 微观调度特征与典型实例物理演化分析**
通过雷达图多维度指标评估，DS-GAT-PPO在完工时间、平均利用率、切换频率、总休息时间和平均WIP水平五个关键指标上均表现出“外扩”优势，形成近乎平衡的多边形结构。设备级调度甘特图显示任务分配紧凑，上下游同步无缝，装配工作站负载均衡。人员级调度甘特图显示工人任务序列连续，切换合理，且安排了适度休息。基于JIT拉动机制的WIP动态演化分析表明，DS-GAT-PPO在整个调度周期内维持低WIP水平，呈现“低峰值、快下降”模式，符合精益制造原则。

**5. 深度强化学习方法对比**
与SAC、TD3、MAPPO和IPPO四种代表性DRL算法对比，DS-GAT-PPO在大多数基准实例中取得竞争性或更优的完工时间，并在中等和大型案例中优势更明显。收敛曲线显示DS-GAT-PPO虽初速度略慢于SAC，但训练过程更平滑稳定，最终获得更高奖励值。在20产品大型实例上，DS-GAT-PPO平均完工时间为291.38±0.84分钟，较MAPPO、IPPO、SAC和TD3分别降低约1.04%、0.61%、0.45%和2.50%，统计检验表明差异显著。

**6. 消融实验**
从网络架构角度，DS-GAT-PPO在四个基准实例上均优于MLP-PPO、Cross-Only和Graph-Only变体，验证了双流注意力机制的有效性。从机制配置角度，移除JIT机制、切换惩罚或CONWIP控制均导致完工时间增加、系统稳定性下降或WIP水平升高，表明这些机制对生产节奏协调、资源稳定性和流控制具有互补贡献。交叉注意力分布可视化显示，策略对候选零件赋予非均匀重要性，图注意力热图呈现稀疏且差异化关系模式，提供了可解释性。

**讨论与结论**

讨论部分指出，所提方法是一种基于强化学习的近似方法，无法保证理论全局最优。实际实施复杂度高于传统启发式方法，需要大量仿真交互和计算资源，且依赖仿真环境保真度。实验基于自建仿真数据库，泛化性需进一步验证。未来工作将聚焦于提升收敛稳定性、计算效率和跨场景泛化能力，并结合真实生产数据和复杂动态扰动。

结论部分总结如下：
与启发式和代表性元启发式方法相比，DS-GAT-PPO在大多数测试案例中实现了更短的完工时间，同时保持高板材利用率。相对于启发式基线，完工时间降低约10.9%–33.8%，与代表性元启发式方法的差异在约?1.7%–5.9%范围内。与代表性强化学习方法相比，DS-GAT-PPO在八个测试案例中的七个中取得最小完工时间。相对于MAPPO、IPPO和TD3，最大完工时间降低分别约为5.37%、5.06%和5.49%，收敛步数相对于MAPPO减少约20.00%–66.67%，相对于IPPO减少约6.67%–50.00%。消融实验确认了双流注意力结构、动态JIT机制、CONWIP控制、切换惩罚和疲劳感知建模对调度性能、资源协调和系统稳定性的互补贡献。