协同智能体深度强化学习框架在柔性作业车间调度与自动导引车协同优化中的应用研究

为解决柔性作业车间调度问题(FJSP)与自动导引车(AGV)协同调实时求解难题，研究人员提出协同智能体深度强化学习框架(CADRL)，通过设计析取图表征调度信息、开发双编码器-解码器组件及协同训练机制，实现AGV分配规则与智能体协同决策。实验表明，CADRL在基准实例中求解时间仅0.208秒，性能超越现有算法30.78%，为智能制造实时调度提供高效解决方案。

　　

在智能制造浪潮中，柔性作业车间调度问题(Flexible Job Shop Scheduling Problem, FJSP)与自动导引车(Automated Guided Vehicle, AGV)的协同调度成为制约生产效率的关键瓶颈。传统方法如混合整数线性规划(MILP)虽能求得小规模问题最优解，但计算耗时严重；元启发式算法如遗传算法(GA)易陷入局部最优，而优先级调度规则(PDR)过度依赖人工经验。这些方法难以满足实时生产环境对高效、高质量解决方案的需求。

为解决这一挑战，来自聊城大学等机构的研究团队在《Expert Systems with Applications》发表研究，提出协同智能体深度强化学习框架(Cooperative Agent Deep Reinforcement Learning, CADRL)。该框架创新性地将FJSP-AGV分解为AGV分配、机器选择和操作排序三个子问题，其中AGV分配采用规则驱动，后两者由专用智能体通过析取图表征和双编码器-解码器架构协同处理。研究通过设计基于图神经网络(GNN)和深度神经网络(DNN)的异构编码器，结合协同训练机制，在保证求解质量的同时显著提升计算效率。

关键技术方法包括：1) 构建FJSP-AGV的析取图表征以捕获调度拓扑关系；2) 设计双马尔可夫决策过程(DMDP)建模机器选择与操作排序的协同；3) 采用GNN编码析取图状态，DNN编码机器工况；4) 开发协同训练框架平衡训练效率与性能；5) 基于公开基准实例和实际案例验证泛化能力。

FJSP-AGV描述
研究将问题定义为包含多工件、多机器和有限AGVs的协同优化系统，其中工件运输需求由相邻工序的机器分配差异触发。通过析取图整合工序优先级、机器能力和AGV路径约束，为DRL智能体提供结构化状态输入。

CADRL框架
框架采用分工协作架构：AGV分配使用最近空闲车辆规则，机器选择和操作排序分别由独立智能体决策。GNN编码器提取工序间拓扑特征，DNN编码器分析机器负载状态，通过注意力机制解码最优动作。协同训练采用异步策略更新，使双智能体学习速率匹配。

实验验证
在Brandimarte基准测试中，CADRL以0.208秒平均求解时间刷新记录，相对百分比增量(RPI)指标优于现有最优算法30.78%。实际案例测试显示其泛化能力，0.067秒求解时间与最优解差距仅13.17%。协同训练框架使训练效率提升2.08%，性能提高0.21%。

结论与展望
该研究首次实现FJSP-AGV的实时智能决策，其创新点在于：1) 析取图表征突破传统调度模型局限；2) 异构智能体分工解决复杂子问题耦合；3) 协同训练机制平衡计算资源与性能。未来研究方向包括多目标优化和动态环境适应。这项工作为智能制造实时调度系统提供新范式，其方法论可扩展至物流仓储、半导体制造等领域。