基于HGNN-PPO协同策略学习算法，优化考虑设备故障干扰的柔性制造系统实时重调度机制

《Nature Materials》：Optimizing real-time rescheduling mechanism for flexible manufacturing systems considering equipment fault disturbances using HGNN-PPO cooperative policy learning algorithm

　　

摘要

在柔性制造系统（FMS）中，面对设备故障干扰时的实时重调度问题，一直存在如何平衡响应速度与调度质量这一核心矛盾。为解决这一问题，本文提出了一种基于异构图神经网络（HGNN）和近端策略优化（PPO）的合作式策略学习算法。该制造系统被建模为一个动态图结构，其中工件、机器和工序作为异构节点，而优先级、关联关系以及可加工性关系则作为异构边。当故障发生时，相应的节点及其关联边会同时被冻结，从而实现图结构的实时更新。HGNN通过分层异构注意力机制，在节点层和语义层分别聚合相似特征以及跨类型的异构信息，进而生成能够整合全局制造状态与局部故障信息的工序嵌入向量。该向量会被输入到PPO网络中：执行器网络输出工序与机器的分配概率分布，评估器网络则用于估计状态值；同时，通过截断型替代目标函数来限制策略更新步长，以避免在极端故障情况下策略崩溃。在训练阶段，故障发生时间、持续时间以及出现故障的机器会被均匀随机抽取。以最小化总处理时间为主要奖励信号，以此推动端到端的协同优化。在部署阶段，只需一次前向推理即可得到完整的重调度方案。实验结果表明，在Brandimarte和Hurink提供的所有基准数据集上，该框架在大规模场景下的标准化总处理时间收敛率介于103.9%至105.1%之间。在中等规模及以上的场景中，故障恢复后可用机器的平均利用率可稳定保持在94.0%至94.5%之间。在不同规模和故障强度组合下，端到端的推理时间均小于12毫秒。在训练数据分布之外的高故障率范围（λ_f > 0.50）内，该框架的可行性仍能达到94.1%，这充分证明了其在故障干扰情况下平衡实时性能与调度质量方面的有效性。