双层多智能体协同动态调度用于具有严格时间和有限缓冲区约束的柔性流水车间

《Journal of Industrial Information Integration》：Bi-level multi-agent collaborative dynamic scheduling for flexible flow shops with tight temporal and limited buffer constraints

　　

本研究提出了一种用于自适应柔性流水车间的双层多智能体框架，联合处理了生产系统中的约束耦合和概念漂移问题。通过带有约束嵌入的图神经网络-近端策略优化（GNN-PPO）确保了可行的调度决策。通过Kolmogorov-Smirnov检验和深度Q网络（DQN）的适应性再训练提高了长期鲁棒性。在1198个案例上进行了验证，表现出优越的性能和工业可行性。

**论文解读：面向柔性流水车间的双层多智能体协同动态调度框架**

**研究背景**
在工业4.0背景下，柔性流水车间（FFS）作为高混合、高可变制造（如服装缝纫、半导体制造、汽车装配）的核心生产范式，面临着灵活性与定制化需求增长带来的双重挑战。一方面，多约束耦合问题突出：工艺相关的时间要求限制了在制品（WIP）的允许等待时间，而有限缓冲区容量又可能引发阻塞并阻碍物料流动，二者紧密耦合，共同影响调度可行性，使得同时满足时间和缓冲容量约束的可行调度方案难以生成。另一方面，长期性能退化不可避免：工艺修改、设备老化、季节性变化等因素导致概念漂移，降低模型精度并逐步引发次优调度决策；同时，紧急订单插入、设备故障等频繁扰动进一步削弱了静态调度方法的有效性。现有研究大多孤立处理单一约束或忽略概念漂移，缺乏能够系统集成实时调度与自适应模型维护的统一框架，因而无法在动态、约束密集的工业环境中维持长期鲁棒性。

**研究内容与意义**
面对上述问题，研究人员提出了一种双层多智能体协同调度框架，将实时决策与动态模型维护整合为闭环工作流。该框架包含决策层与维护层：决策层通过预测引导和约束感知策略生成调度决策，维护层通过概念漂移检测与自适应再训练保障模型长期适应性。论文发表在《Journal of Industrial Information Integration》。该研究的重要意义在于：首次从系统层面将预测、策略学习、漂移检测与模型更新闭环耦合，有效解决了约束耦合与概念漂移两大核心挑战，在1198个实际工业调度实例上实现了92%的调度可行性率，为工业4.0智能工厂提供了可行的自适应调度方案。

**关键技术方法**
研究采用的主要关键技术方法包括：（1）基于遗传算法（GA）优化特征选择的多头图注意力网络（GA-MH-GAT），用于设备利用率（EUR）预测；（2）多层感知机（MLP），用于无效等待时间（IWT）预测；（3）基于图神经网络（GNN）的近端策略优化（PPO）调度决策智能体，其中引入约束嵌入参考模块，通过Kullback-Leibler散度（KL散度）正则化将历史可行策略知识迁移至在线学习；（4）基于层次化三水平Kolmogorov-Smirnov检验（K-S检验）的概念漂移检测模块；（5）基于深度Q网络（DQN）优化的加权多窗口再训练策略，用于动态模型库维护。样本队列来源：纺织柔性流水车间1198个实际生产调度实例（覆盖8种产品类型，为期六个月），以及高温香肠生产车间32台机器的跨域验证数据。

**研究结果**
（保留原文小标题，中文翻译）

**5.2 模型训练过程与收敛性分析**
通过对GA-MH-GAT、MLP、GNN-PPO、DQN四个模型的训练过程分析，研究发现：GA-MH-GAT在约1000次迭代后损失稳定收敛至0.0441，MLP在约200次迭代后稳定收敛至0.6622，GNN-PPO累计奖励在约2000次迭代后稳定在0.634，DQN奖励在约400次迭代后达到峰值9.6823。四个模型均表现出良好的收敛性和稳定性，验证了框架各组件的有效性。

**5.3 调度策略决策性能验证**
**5.3.1 不同问题规模下的可扩展性**
在五种生产规模（n=10,30,50,100,200）和三种约束条件下进行实验。结果表明，随着问题规模增大，设备利用率（μ_p）逐渐下降，但在超大规模（n=200）下仍保持0.60以上；负载方差（δ_p²）维持在0.061~0.137，有效防止局部瓶颈；无效等待时间（IWT）增长平缓；调度时间（T_cpu）从约1.2秒线性增长至约11秒，表明框架具有良好的可扩展性。

**5.3.2 不同动态扰动分布下的鲁棒性**
在四种扰动组合（高低频作业到达与高低机器故障率）下测试。设备利用率在低扰动下达到0.73~0.74，在高扰动下仍保持在0.67以上；负载方差在极端条件（同时5台机器故障与30个作业插入）下增加至0.217，但性能退化平缓；IWT变化小于2.5%。表明框架对复合扰动具有强鲁棒性。

**5.4 关键组件消融实验**
**5.4.1 框架级消融**
去除预测奖励模块（V1）后，设备利用率下降约10%，可行性率降至80%；去除模型维护层（V2）后，预测R²降低35.9%，可行性率降至78%；仅保留调度模型（V4）性能最差。完整框架在所有指标上最优，证明预测引导、概念漂移评估与自适应维护三者缺一不可。

**5.4.2 组件级消融**
去除GA特征选择（FCV1）后，R²从0.934降至0.824，MAE翻倍；将多头图注意力网络（MH-GAT）替换为单头（FCV2）后，R²降至0.886；去除约束参考模块（FCV3）后，可行性率从92%降至76.5%，IWT增加约10%。表明各组件均对预测精度和调度可行性有显著贡献。

**5.5 性能比较**
**5.5.1 两阶段渐进预测器GA-MH-GAT+MLP**
与多种图注意力变体（MH-GAT、GA-SH-GAT、SH-GAT）及GA-SAGE比较，GA-MH-GAT在最优学习率（lr=0.01）下取得最高R²（0.933）和最低MAE（0.039），误差分布集中且无系统性偏差。与Deep & Cross Network（DCN）比较，MLP在IWT预测上MAE更低（8.96 vs 9.94），标准差更小，收敛更快且误差分布更稳定。

**5.5.2 调度策略决策智能体GNN-PPO**
与四种元启发式算法（DPSO、WOA、GWO、WSA）相比，GNN-PPO在三种规模下均取得最高设备利用率（0.881~0.930）和最低计算时间（1.25~4.83秒），且方差最小。与五种深度强化学习算法（DQN、REINFORCE、AlphaZero、DDPG、D3QN）相比，GNN-PPO在训练收敛速度、平均奖励（0.626）和调度质量（μ_p=0.808，δ_p²=0.086，IWT=593）上均显著优于对手，且统计检验（p<0.05）表明差异显著。与三种工业调度规则（FIFO、SPT、EDD）相比，GNN-PPO可行性率高达92%，远超规则方法的51%~63%。

**5.5.3 基于K-S检验的概念漂移检测准确性**
与ADWIN和DDM比较，所提多级K-S检验在12个扰动事件中正确检测出8个真实漂移，假阳性率仅0.25，优于ADWIN（0.75）和DDM（0.25但检测率75%），实现了检测灵敏度与误报率的良好平衡。

**5.5.4 DQN历史窗口权重选择策略**
与指数衰减、近期加权、均匀加权等固定策略相比，DQN优化的加权策略（λ=0.5）取得最低MAE（0.0269），且误差分布更集中、对称，表明自适应加权能更有效地平衡历史与近期数据。

**5.5.5 与周期性再训练策略比较**
在六个月仿真中，所提K-S+DQN再训练策略仅触发9次更新，总耗时468分钟，平均MAE为0.0672，方差0.00597；而每7天再训练策略需12次更新，总耗时240分钟，MAE相当但成本更高；每30天再训练策略MAE恶化至0.1389。表明所提策略在精度与效率间取得最佳平衡。

**5.5.6 超参数敏感性分析**
KL散度阈值在0.1时可行性率（92%）与超体积（0.632）达到最佳折中；DQN再训练系数β=0.5、消除阈值ε=0.05时，平均MAE、预测方差、再训练频率与时间均处于合理范围，表明框架对参数选择不敏感，具有稳健性。

**5.6 计算效率与部署可行性实验评估**
在线决策层中，GNN-PPO推理平均耗时1.89秒/决策时刻，加上预测模块总耗时约2.57秒，在滚动时域（分钟级决策间隔）下满足实时要求。维护层中，K-S漂移检测每日耗时<0.1秒，DQN再训练平均52分钟/次，但异步执行不影响在线调度，六个月总再训练时间468分钟，证明了部署可行性。

**5.7 跨域泛化与鲁棒性评估**
**5.7.1 无再训练与有再训练下的未见分布**
在食品加工领域（高温香肠车间）零样本部署时，设备利用率仅0.581；经过领域历史数据再训练后，利用率提升至0.719（改善23.77%），负载方差改善36.23%，IWT降低7.50%。表明框架具备一定零样本泛化能力，再训练可显著提升跨域适应性。

**5.7.2 漂移后全模型与无维护对比**
在概念漂移发生后，无维护模型的设备利用率从0.783降至0.568，而带维护模型始终保持在0.779~0.790，IWT降低2.0%~4.9%，负载方差改善60%以上。证明维护层有效抑制了概念漂移导致的性能退化。

**结论**
本研究针对工业4.0制造环境中具有严格时间约束和有限缓冲区容量的柔性流水车间动态调度问题，开发了一种新颖的双层多智能体框架，将实时决策与长期模型维护相结合。在决策层，采用两阶段预测架构（GA-MH-GAT+MLP）估计全局目标，为具有约束嵌入的GNN-PPO智能体提供信息丰富的奖励信号，从而生成可行的调度决策。在维护层，采用层次化K-S检验和DQN优化权重策略来检测概念漂移并支持自适应模型更新。使用1198个工业实例进行的广泛验证表明，该框架在实际纺织生产环境中实现了92%的调度可行性率，优于广泛使用的元启发式和深度强化学习方法，并以高效推理保持了稳定性能。该框架可以轻松与制造执行系统（MES）数据库集成，以利用实时车间数据并支持连续运行，同时维护过程可以安排以最小化中断。未来工作将通过纳入额外的工业约束（如批次形成）进一步增强该框架，并将其适用范围扩展到更复杂的生产环境，包括半导体和其他先进制造行业的高混合、低批量制造环境。