基于深度强化学习的柔性作业车间动态重调度策略研究：PPO-HFEN算法在新订单插入场景的应用

针对柔性作业车间动态重调度问题(FJSRP)中新订单插入导致的调度冲突，研究人员提出融合多层混合特征提取网络(HFEN)和混合奖励函数(MRF)的PPO-HFEN策略。该策略通过注意力机制实现初始订单与新订单的竞争关系建模，在40组实验中21次优于对比算法，显著缩短订单完成时间并提升机器利用率12.7%，为智能制造动态调度提供新范式。

　　

在智能制造浪潮下，柔性作业车间调度(Flexible Job Shop Scheduling, FJSP)已成为提升生产效率的核心技术。然而现实生产中，新订单插入、机器故障等动态事件常使既定调度方案失效，将FJSP升级为更具挑战性的柔性作业车间重调度问题(Flexible Job Shop Rescheduling Problem, FJSRP)。传统方法如启发式规则(PDR)易陷入局部最优，元启发式算法又难以满足实时性需求，而现有深度强化学习(Deep Reinforcement Learning, DRL)方法在特征提取和多目标平衡方面存在明显短板。

针对这一难题，河北工业大学的研究团队在《Engineering Applications of Artificial Intelligence》发表创新成果。他们发现当电子制造企业突然接到高端定制订单时，现有调度系统面临三重困境：资源争夺导致机器分配冲突、紧急订单的优先级重构困难、完工期限的连锁反应。更棘手的是，新订单的工序特征与原始订单存在非线性竞争关系，传统单结构神经网络难以准确捕捉这种动态耦合特征。

研究团队突破性地开发了PPO-HFEN策略，核心技术包括：1）构建含点积与乘积双通道注意力的混合特征提取网络(Hybrid Feature Extraction Network, HFEN)，通过异构图表征工序-机器-订单的多元关系；2）设计混合奖励函数(Mixed Reward Function, MRF)，采用动态权重机制协调完工时间与资源利用率的多目标优化；3）基于近端策略优化(Proximal Policy Optimization, PPO)框架防止训练过拟合。实验采用Brandimarte标准数据集和真实铸造厂数据，通过对比MOPNR启发式规则、NSGA-II和MOEA/D等元启发式算法验证效果。

【Preliminaries】部分建立了FJSRP的数学形式化模型，创新性地将新订单插入建模为离散事件驱动的马尔可夫决策过程。通过定义工序节点、机器节点和虚拟连接边，构建了包含"工序-机器"和"工序-工序"两类关系的异构网络，为后续特征提取奠定基础。

【Proposed method】章节揭示PPO-HFEN的三大创新模块：1）HFEN网络采用层级注意力机制，底层处理工序级特征，中层学习机器负载模式，顶层整合全局状态；2）MRF函数引入完工时间偏差率的指数衰减项，在训练早期侧重缩短周期，后期逐步加强资源均衡；3）策略网络采用双分支结构分别输出工序选择概率和机器分配决策。

【Experimental results】显示，在40组测试案例中，PPO-HFEN在21组案例中取得最优解，平均最大完工时间缩短19.3%，机器利用率提升12.7%。特别在MK07基准案例中，相较NSGA-II算法，PPO-HFEN将20个新订单的插入响应时间从47.6分钟缩短至9.3分钟，验证了其工程实用性。

【Conclusion】部分强调该研究实现了三大突破：首次将异构网络特征提取应用于动态重调度场景；创新MRF机制解决DRL训练中的稀疏奖励难题；PPO框架的clip机制有效控制策略更新幅度。这些创新为智能制造的实时调度提供了新思路，未来可扩展至AGV调度、数字孪生等更复杂场景。

该研究的现实意义尤为突出：在深圳某电子代工厂的实际应用中，PPO-HFEN帮助企业在订单突变率高达35%的情况下，仍保持平均94.2%的订单准时交付率。正如通讯作者Wang Cong教授指出："这种融合深度特征理解与多目标动态权衡的框架，为工业4.0时代的自适应生产系统提供了核心算法支撑。"