基于异构图神经网络的多自动导引车生产系统柔性作业车间深度强化学习调度方法

《Mathematics》：Deep Reinforcement Learning for Flexible Job Shop with Multi-AGV Production Systems via Heterogeneous Graph Neural Networks

　　

柔性作业车间调度问题与多自动导引车（FJSP-AGV）是智能制造中具有挑战性的生产调度问题，其中工序排序、机器分配、自动导引车（AGV）分配与运输决策紧密耦合。现有的精确方法与元启发式方法虽能获得高质量解，但在大规模实例中通常需耗费大量计算时间；而传统调度规则虽能快速决策，却往往难以捕捉工序、机器与AGV间复杂的交互关系。为解决上述挑战，研究人员提出了一种基于异构图神经网络（Heterogeneous Graph Neural Network, HGNN）的端到端深度强化学习（Deep Reinforcement Learning, DRL）框架以求解FJSP-AGV。具体而言，研究人员构建异构图来表示调度状态，将工序、机器与AGV建模为不同类型节点，并通过工序–机器与工序–AGV弧来描述其关系；在此基础上开发异构图神经网络从不同生产资源中提取调度信息，并引入元路径（meta-path）聚合机制以捕捉三者间复杂交互模式；随后采用近端策略优化（Proximal Policy Optimization, PPO）算法以端到端方式训练调度策略。在公开基准实例与真实案例上的实验结果表明，所提方法优于复合启发式规则，且与现有先进方法相比在解质量与计算效率间取得了良好平衡，表明该HGNN-DRL框架对FJSP-AGV环境下的快速智能调度决策具有有效性。

研究背景方面，生产调度是制造系统中的基础性决策问题，决定了生产任务在可用资源上的分配与处理顺序。有效的调度策略可提高设备利用率、缩短生产周期、减少在制品库存并增强制造系统响应能力。柔性作业车间调度问题（Flexible Job Shop Scheduling Problem, FJSP）允许每道工序从可选机器集中选择一台加工，更贴近现代智能制造的高品种小批量生产需求。然而在实际生产系统中，物料与半成品需在机器、缓冲区及装卸站间运输，自动导引车（Automated Guided Vehicle, AGV）被广泛用于柔性自动化物料搬运，因此带多AGV的柔性作业车间调度问题（FJSP-AGV）成为FJSP的重要扩展，其中工序排序、机器分配、AGV分配与运输时机紧密耦合，较FJSP更为复杂且更具现实性。现有求解策略主要包括精确方法、元启发式算法、启发式规则与基于深度强化学习（DRL）的方法。精确方法如混合整数线性规划（Mixed Integer Linear Programming, MILP）与约束规划（Constraint Programming, CP）在小规模实例可获最优解，但大规模下计算负担急剧增加；元启发式算法通过进化机制与迭代搜索表现良好，但需较多计算资源且易陷入局部最优；启发式规则如优先级调度规则（Priority Dispatching Rules, PDR）求解快但依赖专家知识且解质量较差；DRL方法可通过与环境交互学习可复用的调度策略，在不同规模问题上具良好泛化性能，但在FJSP-AGV中如何高效表达调度环境、选用合适网络结构与训练算法仍存挑战。为此，研究人员开展本研究，提出集成异构图神经网络（HGNN）与近端策略优化（PPO）的端到端DRL框架，以在FJSP-AGV环境中联合优化生产运输决策、最小化最大完工时间（makespan），论文发表于《Mathematics》。

关键技术与方法方面，研究人员首先将FJSP-AGV调度状态建模为异构图G=(O,M,V,E_OM,E_OV)，其中O、M、V分别为工序、机器、AGV节点集，E_OM与E_OV分别为工序–机器与工序–AGV弧集，并设计节点与弧的特征向量以表达静态与动态信息；其次构建异构图神经网络（HGNN）框架，分别对AGV节点、机器节点与工序节点进行嵌入，其中工序节点嵌入引入元路径（meta-path）聚合机制以捕捉操作–机器–AGV交互关系，经多层HGNN与均值池化（mean pooling）获得异构图特征向量；然后将工序、机器、AGV节点嵌入与图特征拼接输入多层感知机（Multilayer Perceptron, MLP）得到动作分数并经softmax输出动作概率，动作定义为工序–机器–AGV三元组以联合决策；最后采用近端策略优化（PPO）算法训练HGNN、行动者（actor）与评论者（critic）网络，通过离线训练学习调度策略并在线推理快速生成调度决策。实验所用实例包括公开基准MFJST01-10与MKT01-10及真实生产案例，在Intel Core i7-12700 CPU与NVIDIA T600 GPU环境下基于PyTorch实现。

研究结果部分，各小节结论如下。

5.1. Description of FJSP-AGV Instances，研究人员将实例分为训练集、公开集与真实案例三组，公开集含15种规模如5 * 6、20 * 15等各配2台AGV，训练集每种规模生成10个实例，真实案例含4组分别涉及5、10、15、20个作业，用以评估模型性能。

5.2. Hyperparameter Settings，研究人员通过试错法确定超参数：训练轮次1000，折扣因子0.99，更新轮次10，裁剪比0.2，学习率1×10^?4，熵损失系数0.01、策略损失系数2、价值函数损失系数1，HGNN层数为2，各层可训练权重矩阵输入输出维度按层设定，行动者与评论者网络MLP输入维度不同但结构相同。

5.3. Convergence Analysis，研究人员选取较大规模20 * 15组展示收敛曲线，横轴为迭代次数、纵轴为每轮10个实例平均makespan，结果表明所提方法在训练中保持稳定并收敛，能依据调度状态作出适当决策以引导后续调度步骤。

5.4. Performance Evaluation on the Public Set，研究人员将所提方法与六种复合启发式规则（如FIFO+SPT、MWKR+EET等）、两种元启发式（IGA、DCGA）及精确方法（MILP）比较。结果显示所提方法优于所有复合启发式规则，平均在线推理时间仅0.54秒；与IGA、DCGA限制3秒运行时间相比，所提方法makespan分别提升62.33%与53.60%，单因素方差分析表明在实际生产运行时间内显著优于元启发式；虽无时间限制下IGA、DCGA与MILP最优解更优，但其耗时分别为1688秒与6474秒，所提方法在计算效率与解质量间取得有利平衡。

5.5. Case Study，研究人员在四个真实案例上用5 * 6模型测试，结果显示所提方法平均makespan为71397.5，优于六种复合启发式中最优的MWKR+EET（88466），平均在线时间仅1.014秒；与精确方法MILP1、MILP2相比，后者虽解质量略优但计算时间达2074.7秒甚至超时，所提方法均在数秒内求解，表明训练后的HGNN-DRL能有效提取调度信息并作出优于固定规则的决策，适用于实时调度。

5.6. Offline Training and Online Inference Time，研究人员指出所报时间为在线推理时间，模型需离线训练一次以学习可复用策略，之后对新实例仅需前向传播快速生成决策；而MILP、IGA、DCGA需对每个新实例从头求解或搜索，计算成本随实例重复产生，所提离线训练在线推理范式在实时近实时生产调度中具有优势。

讨论与结论部分，研究人员总结认为，本研究提出集成HGNN与DRL的端到端框架以解决FJSP-AGV并优化makespan，通过异构图建模工序、机器、AGV及工序–机器、工序–AGV关系，设计节点弧特征表达静动态信息，结合元路径聚合的HGNN提取资源信息并用PPO训练策略，实验在公开基准与真实案例验证方法的有效性、稳定性与泛化性。未来研究将考虑节能与动态事件（如机器启停能耗、新作业到达、随机故障、AGV冲突），扩展至多目标FJSP-AGV与能效调度（含机器、AGV与空闲能耗），研究动态环境下的重调度策略，进一步整合AGV路径规划与交通冲突消解，并探索与元启发式算法及大语言模型（Large Language Model, LLM）的结合以提取调度知识、引导算法演化，提升框架的适应性、可解释性与优化性能。结论翻译为：本研究提出一种集成异构图神经网络（HGNN）与深度强化学习（DRL）的端到端框架以解决带多AGV的柔性作业车间调度问题（FJSP-AGV）并优化最大完工时间（makespan）。为准确反映每一步的调度状态，采用异构图对FJSP-AGV进行建模，并专门设计节点与弧的特征向量以表达调度过程中的静态与动态信息；结合元路径技术的HGNN框架有效提取多方面调度资源信息，并采用近端策略优化（PPO）算法训练调度策略。对比结果验证了所设计方法具有良好的有效性、稳定性与泛化性。未来研究将在本工作中考虑节能与动态事件，如机器启停能耗、作业到达、随机机器故障与AGV冲突，并将探索更先进技术以提升算法性能，如集成元启发式算法与利用大语言模型引导方法演化。

需要我帮你把这篇论文解读按“研究背景—方法—结果—结论”的结构整理成一份简洁的汇报提纲吗？