基于分层强化学习与图注意力网络的两阶段分布式混合流水车间动态协同调度方法

《Journal of Computational Design and Engineering》：An Integrated HRL-GAT Approach for Dynamic Cooperative Scheduling in Two-Stage Distributed Hybrid Flow Shops

本研究针对分布式制造环境下零件生产与产品装配的动态耦合难题，提出了集成HRL与GAT的智能调度方法。通过构建三通道状态矩阵和双GAT机制，实现了跨工厂资源协同与多机装配的动态优化。实验表明该方法在TSDHFSSP问题中显著优于传统算法，为智能制造提供了可扩展的决策框架。

　　

随着经济全球化推动制造业向分布式生产模式转型，企业面临着跨工厂协同调度的严峻挑战。特别是在轴承制造等典型行业，不同工厂分别生产轴承套圈、滚动体等零件，最后进行集中装配的"分布式零件生产-集中装配"两阶段模式，使得零件制造与产品装配的动态耦合问题尤为突出。这种地理分散、多阶段的生产系统对进度同步和资源协调提出了极高要求，传统基于静态假设的调度方法难以应对动态变异性和多机装配的复杂性。

针对这一难题，河南科技大学裴志杰团队在《Journal of Computational Design and Engineering》上发表研究，提出了名为HRL-GAT的创新调度方法。该方法首次将分层强化学习(Hierarchical Reinforcement Learning, HRL)与图注意力网络(Graph Attention Network, GAT)相结合，构建了一个统一可扩展的框架，有效弥合了零件生产与装配调度之间的决策鸿沟。

研究团队首先建立了TSDHFSSP问题的完整数学模型，包含分布式混合流水车间调度问题(Distributed Hybrid Flow Shop Scheduling Problem, DHFSSP)和集中装配阶段的两阶段协同优化模型。该模型通过CPLEX优化器在小规模实例上验证了有效性，其中包含2个工厂、2道工序、3种产品类型和2台装配机器的典型实例，获得了160的最优完工时间。

在方法设计上，研究团队突破了传统调度算法的局限，开发了三大核心技术：首先构建了包含机器ID、剩余时间和零件类型的三通道状态矩阵，通过规则驱动的动态更新机制实时捕捉车间状态变化；其次利用双GAT结构分别建模工厂内设备级依赖关系和跨工厂工序级协调关系，通过注意力权重动态计算实现资源优化；最后设计分层决策机制，高层策略基于机器利用率、最大完成时间等5个全局指标提供调度导向，底层策略在10种分派规则中选择具体操作，形成如SPT-AP（最短加工时间-装配优先）等组合策略。

关键技术方法还包括基于PPO（近端策略优化）的分层协同训练机制，其中CNN（卷积神经网络）负责从状态矩阵提取局部空间特征，GAT捕捉动态依赖关系，高层经验回放缓冲区与低层缓冲区通过轨迹标识符实现跨层经验对齐。针对动态环境，研究还设计了重用策略的动态重调度方法，当新工件到达时快速调整调度方案。

实验结果表明，HRL-GAT方法在160个测试实例上均表现优异。在静态实验中，SPT和MOPNR（最多剩余工序数）规则在第一阶段与LPT（最长加工时间）规则在第二阶段组合时效果最佳，双层DRL结构在81%的实例中优于单层模型。与NSGA-II、IWOA等传统算法相比，HRL-GAT在大规模实例上RPD（相对百分比偏差）显著降低，显示出优越的扩展性。

动态调度实验进一步验证了方法的适应性。当新工件在完成度40%和80%时到达，重用策略在81.1%的情况下获得最优解，显著优于完全重训练（13.5%）和固定预训练策略（5.4%）。特别是在大规模、高到达率场景下，协同增益达到6.3%，证明了两阶段协作机制在资源受限时的有效性。

通过分层奖励函数设计，高层奖励关注全局生产效率η(t)和装配队列长度L(t)，低层奖励强调策略对齐和冲突避免，使模型在最小化完工时间的同时保持跨工厂协调。状态表示演化过程显示，GAT驱动的隐式图结构能有效捕捉15个工序节点的动态关系，通过颜色变化直观展示处理状态转移。

该研究的创新性在于首次系统解决了TSDHFSSP这一复杂混合结构调度问题，通过HRL与GAT的深度融合，实现了从机器级优化到跨工厂协同的多粒度决策。相比传统方法，该框架不仅提高了调度质量，还通过分层规则组合降低了计算复杂度，为动态分布式制造系统提供了切实可行的智能调度解决方案。

研究结论表明，HRL-GAT框架通过协同优化零件生产和装配阶段，显著提升了动态环境下的调度性能。未来工作将聚焦于多目标协同调度，进一步平衡交货期、能耗和成本等指标，推动智能制造系统向更高效、更灵活的方向发展。