《Advanced Engineering Informatics》:Multi-objective flexible job shop scheduling with worker-number decisions using preference-conditioned heterogeneous graph reinforcement learning
编辑推荐:
在工业5.0(Industry 5.0)背景下,以人为中心的柔性制造系统中,某些人工操作可以通过多名工人协同完成。所选工人数量同时影响加工时间和总劳动投入,因此调度涉及三个耦合的决策维度:工序排序、资源分配和工人数量选择。本研究针对具有多工人协同、加工时间随所
在工业5.0(Industry 5.0)背景下,以人为中心的柔性制造系统中,某些人工操作可以通过多名工人协同完成。所选工人数量同时影响加工时间和总劳动投入,因此调度涉及三个耦合的决策维度:工序排序、资源分配和工人数量选择。本研究针对具有多工人协同、加工时间随所选工人数量变化以及运输时间的多目标柔性作业车间调度问题(Multi-objective Flexible Job Shop Scheduling Problem with Multi-worker Cooperation and Transportation, MWC-FJSPT)展开研究。研究人员构建了一个数学模型,在描述多工人协同边际收益递减的同时,最小化最大完工时间(makespan)和总劳动投入。为解决该问题,提出了一种偏好条件异构图强化学习方法(Preference-Conditioned Heterogeneous Graph Reinforcement Learning, PC-HGRL)。调度过程被建模为马尔可夫决策过程(Markov Decision Process, MDP),并利用异构图(Heterogeneous Graph)对工序优先关系、资源状态、工位工人容量和运输信息进行编码。基于该图表示,设计了一个分层策略网络(Hierarchical Policy Network),包含工序-资源对选择Actor(operation-resource pair selection actor)和工人数量选择Actor(worker number selection actor),以处理人工操作中额外的工人数量决策。此外,目标偏好权重(preference weight)同时嵌入状态表示和奖励函数,使得单一模型能够在不同目标偏好下生成多目标调度方案。在由焊接与装配车间构建的130个实例上的实验表明,所提方法在多个评估指标上优于十种经典和最新算法。偏好插值和消融分析表明,偏好输入和分层策略设计有助于提高解集质量。一项工业订单案例研究进一步证明,该方法能够生成可执行的调度方案,并具有在扰动后快速决策的潜力。
**论文解读:基于偏好条件异构图强化学习的多目标柔性作业车间调度与工人数量决策**
本文围绕工业5.0背景下以人为中心的柔性制造系统展开。在该类系统中,许多人工操作可由多名工人协同完成,而所选工人数量同时影响加工时间和总劳动投入,使得调度问题包含工序排序、资源分配和工人数量选择三个耦合决策维度。现有双资源约束柔性作业车间调度问题(Dual Resource Constrained Flexible Job Shop Scheduling Problem, DRCFJSP)研究大多将工人视为与机器并列的可分配资源,鲜有将工人数量作为工序级决策变量;同时,深度强化学习(Deep Reinforcement Learning, DRL)方法在动作设计上很少考虑工人数量选择,且多目标偏好引导的DRL在调度领域仍不充分。因此,研究人员提出并求解了一类带有多工人协同、加工时间随工人数量变化及运输时间约束的多目标柔性作业车间调度问题(MWC-FJSPT),论文发表于《Advanced Engineering Informatics》。
研究人员构建了MWC-FJSPT的数学模型,以最小化最大完工时间(C
max)和总劳动输入(C
Labor)为目标,并通过加工时间缩减因子刻画多工人协同的边际收益递减特性。为解决该问题,提出了偏好条件异构图强化学习方法(Preference-Conditioned Heterogeneous Graph Reinforcement Learning, PC-HGRL)。该方法将调度过程建模为马尔可夫决策过程(MDP),使用异构图表示工序优先级、资源状态、工位工人容量和运输信息,并设计分层策略网络:先由“工序-资源对选择Actor”选出可行工序与资源,再由“工人数量选择Actor”仅在选中人工工位时决定工人数。偏好权重同时嵌入状态特征和奖励函数,使单一模型可生成不同偏好下的多目标调度方案。在来自某轨道交通焊接装配车间的130个实例上的实验表明,PC-HGRL在超体积(Hypervolume, HV)和反转世代距离(Inverted Generational Distance, IGD)等指标上优于四种调度规则、一种多目标DRL方法和五种元启发式算法。统计检验证实性能差异显著。偏好插值实验表明,未训练过的偏好权重仍能生成新的非支配解并改善解集覆盖;消融实验验证了工人数量Actor、偏好输入和分层结构各自的贡献;工业案例进一步展示了生成可执行调度及扰动后快速重调度的潜力。
**关键技术方法**:研究人员采用异构图神经网络(HGNN)编码器提取工序和资源嵌入;分层策略网络(含操作-资源对选择Actor和工人数量选择Actor)实现两级决策;偏好条件机制将偏好权重作为上下文并加权奖励;使用近端策略优化(Proximal Policy Optimization, PPO)训练;事件驱动仿真环境用于状态转移。实例基于某轨道交通焊接装配车间的实际生产数据构建,包含130个测试实例,分为训练规模、未见中等规模、未见大规模和未见长工序链四组。
**研究结果**:
**5.1 实验设置**:基于实际焊接装配车间配置,构造了13种问题规模与资源组合,生成130个实例。采用HV、IGD、覆盖率(C-metric)等指标评估非支配解集质量。
**5.2 训练配置与分析**:PC-HGRL使用5个随机种子独立训练,平均HV在约2000次迭代后趋于稳定,标准差随训练减小,表明训练收敛性和可重复性良好。
**5.3 与基线方法比较**:与SPT、LPT、MOR、FIFO四种调度规则及偏好条件图强化学习方法PGRL-WN相比,PC-HGRL在所有实例组上均取得最高HV和最低IGD,双向C-metric显示其解集具有更强支配覆盖。与NSGA-II、MOEA/D、MOPSO、SPEA2、MANL五种元启发式相比,在G2–G4(未见的较大规模及长工序链)上,PC-HGRL的HV和IGD均优于所有对比方法;在G1(训练规模)上略逊于MANL,但总体平均秩仍居第一。在线求解时间方面,PC-HGRL比MANL降低93.99%–95.64%。
**5.4 PC-HGRL分析**:
- **偏好条件分析**:在偏好权重插值实验中,模型对未训练过的权重仍能产生响应,所选工人数量随权重变化呈合理趋势,生成额外非支配解并改善解集覆盖。
- **消融分析**:移除工人数量Actor(B1)、移除偏好输入(B2)、以扁平联合Actor替代分层结构(B3)均导致HV和IGD变差,证明三个组件的有效性。
- **超参数敏感性**:学习率2×10
-4和PPO裁剪系数0.2时收敛速度快且训练稳定。
**5.5 工业案例研究**:以某企业转向架焊接装配订单为例,PC-HGRL在标称条件下生成最大完工时间884.2 min、总劳动输入4000.8 worker-min的可执行调度。模拟机器故障、工人缺勤、返工和插单四种扰动后,在30 s重调度预算内,PC-HGRL的平均最大完工时间偏差为5.29%,满足劳动输入约束,优于MOR(16.70%)和MANL(17.03%)。
**讨论与结论**:讨论部分指出,调度规则仅依据局部优先级,难以全局协调资源、工人数量及后续资源竞争;元启发式在小规模搜索空间中有优势,但在大规模或长工序链问题中,固定评估预算下探索比例迅速下降,且计算代价高。PC-HGRL虽需约6小时训练,但训练后在线求解快,适合频繁重调度场景。研究结论可概括为:本文研究了考虑多工人协同、工人数量相关加工时间和运输时间的多目标柔性作业车间调度问题,提出PC-HGRL进行求解。实验结果表明,PC-HGRL在HV和IGD上取得最优平均秩,与所有基线差异显著;相比最优构造性基线,平均HV提高3.41%–9.07%,平均IGD降低16.28%–36.83%;与最优元启发式相比,在中大规模实例上平均HV提高1.98%–6.35%,平均IGD降低23.34%–45.01%,平均求解时间降低91.71%。偏好插值和消融实验验证了偏好输入和分层策略设计的作用,工业案例初步展示了该方法的可执行性与快速动态调度潜力。未来工作将研究其他标量化方法以改善非凸或非连续Pareto前沿的解集覆盖,并在多种扰动条件下训练动态调度策略以增强鲁棒性。