基于大型语言模型的动态调度技术,结合多智能体深度强化学习,用于智能混合流水线生产系统

《ADVANCED ENGINEERING INFORMATICS》:Large language model-empowered dynamic scheduling for intelligent hybrid flow shop using multi-agent deep reinforcement learning

【字体: 大 中 小 】 时间:2026年01月07日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  本文提出一种基于大语言模型(LLM)增强的多智能体强化学习(MADRL)方法,用于解决异构并行机器的混合流车间调度问题(HFSP-UPM)。通过构建多智能体制造系统(MAMS),将每个加工阶段建模为独立智能体,结合集中训练与分散执行框架,设计事件驱动的通信机制,并利用LLM增强状态空间和动作选择,显著提升了动态调度效率,实验表明其优于传统调度规则及DRL方法,在330个实例中平均减少8%的调度 Makespan。

  
吴斌顾|曹宇尚|李旭新|李暖东|王磊|唐娜|袁明海|裴凤阔
中国常州213022,河海大学机电工程学院

摘要

随着个性化和小批量生产模式的出现,多智能体制造系统(MAMS)由于其自组织能力而成为智能车间研究的热点。具有无关并行机器的混合流水线调度问题(HFSP-UPM)由于其异构资源和动态环境而面临重大的决策挑战。同时,多智能体深度强化学习(MADRL)是解决复杂决策问题的常用方法。因此,本文提出了一种基于预训练大型语言模型(LLM)的MADRL方法,用于HFSP-UPM,考虑了分阶段协调以最小化制造周期。具体来说,首先开发了一种新的MAMS,其中每个处理阶段都被建模为一个智能体,以实现高自主性并减少决策维度。然后,提出了一种基于集中训练与分散执行范式(CTDE)的多智能体协作调度框架,并提出了智能体之间的通信机制以促进协调和协作。通过结构化提示工程,设计了由LLM驱动的状态空间和动作选择,以增强语义理解和策略更新。最后,采用LLM驱动的多智能体近端策略优化(LLM-MAPPO)来训练调度模型。在330个实例上的实验结果表明,所提出的方法优于调度规则、遗传编程(GP)规则、几种基于DRL的方法以及基线MAPPO,在大多数实例中实现了超过8%的性能提升。此外,泛化实验表明,所提出的方法具有应对生产场景变化的自适应能力,并提供了示例验证来验证所提出的方法和实验平台。

引言

在市场竞争激烈和顾客对个性化产品需求增加的背景下,生产模式的主流趋势已从大规模生产转变为个性化和小批量生产。这种新范式要求制造系统必须能够快速响应订单变化并实时调整生产计划[1],[2]。同时,作为异构制造系统的有效调度范式,具有无关并行机器的混合流水线调度问题(HFSP-UPM)广泛应用于电子和汽车零部件制造等行业,以及具有多个处理阶段和异构并行机器的生产环境中。它能够准确反映异构设备之间的处理时间差异,并支持动态和分布式调度[3]。然而,传统的调度方法难以处理HFSP-UPM中的异构设备和动态事件。因此,设计高效的制造系统架构和动态调度方法仍然是关键的研究挑战。
混合流水线调度问题(HFSP)已被证明是NP难问题,根据并行机器的特性可以分为多种类型。在所有类型中,具有无关并行机器的HFSP-UPM是最复杂的类型之一[4]。如图1所示,其特点是处理阶段是顺序的,并且并行机器之间是无关的:每个作业按相同顺序通过多个处理阶段,每个阶段包含多个独立的并行机器。同时,异构资源和动态环境增加了HFSP-UPM的复杂性和不确定性,使其成为一个尚未解决的调度挑战。
从方法论的角度来看,传统的启发式和元启发式算法已广泛应用于生产调度,但它们的适应性和高时间消耗限制了它们在复杂和动态车间环境中的适用性[5]。最近,强化学习(RL)受到了广泛关注,并为解决生产调度问题提供了另一个方向。它将调度问题视为一个序列决策问题,其决策过程通常被建模为马尔可夫决策过程(MDP)[6]。在MDP中,智能体与环境动态交互。在每个决策点,智能体根据自身观察到的当前状态选择一个动作。一旦动作被环境执行,环境会向智能体返回奖励并进入新状态。最终,通过RL方法,智能体将学习到选择最大化预期奖励的最优策略。然而,传统的RL难以处理车间中庞大的连续状态空间和动作空间。深度强化学习(DRL)通过将神经网络与RL结合,克服了这些限制,并被学者们广泛研究[7],[8]。单智能体DRL(SADRL)方法,如深度Q网络(DQN)[9]和近端策略优化(PPO)[10],已被用于动态调度,但无法有效处理高维动作空间[11]。为了解决这个问题,开发了多智能体DRL(MADRL)方法,如多智能体决斗DQN[12]和多智能体近端策略优化(MAPPO)[13]。然而,MADRL仍然面临关键挑战,如有限的语义理解和部分可观测性。预训练的大型语言模型(LLM)的出现展示了在自然语言理解和基于领域知识的推理方面的显著能力[14],[15]。这些能力使LLM成为潜在的领域专家,可以利用历史数据和自然语言文本来增强智能体的自主感知和自适应学习能力[16]。因此,基于LLM的MADRL是HFSP-UPM的一种有前途的动态调度方法。
在制造系统架构层面,良好的制造系统架构有助于实现高效和自适应的调度。传统的制造系统通常基于集中控制结构。然而,这种架构往往灵活性较低,对智能车间中的动态事件的响应能力有限。为了克服这些限制,多智能体制造系统(MAMS)因其分布式控制和强大的适应性而被广泛使用和研究。它代表了一种先进的制造范式,将制造单元或功能模块视为自主和反应式的智能体。通过多个智能体之间的协作互动和调度决策,智能体可以独立处理各种事件并实现分布式自组织生产[17]。同时,物联网技术(IoT)的应用使得车间中的动态事件能够被实时监控和检测,从而支持MAMS中的实时感知和决策[18]。
基于上述动机,我们为HFSP-UPM开发了一种新的MAMS,并提出了一种基于LLM的MAPPO方法进行分阶段协调。本文的主要贡献如下:(1)提出了一种针对HFSP-UPM的MAMS,其中每个处理阶段都被建模为一个自主智能体。(2)开发了一个基于CTDE的多智能体协作调度框架,并引入了事件驱动的通信机制。(3)提出了由LLM驱动的状态空间和动作选择,并设计了一个奖励函数,然后开发了LLM-MAPPO训练方法,使智能体学会在每个决策点选择适当的动作。(4)在各种问题实例上的实验表明,与复合调度规则、GP规则、两种基于DRL的方法以及基线MAPPO相比,LLM-MAPPO具有优越性,同时在新的生产场景中保持了泛化能力。
本文的其余部分组织如下。第2节回顾相关文献,第3节提出HFSP-UPM的数学模型和新型架构。第4节描述了利用LLM-MAPPO的多智能体协作调度机制。第5节给出了实验结果。最后,第6节总结了研究并概述了未来研究的方向。

章节摘录

文献综述

本文主要关注MAMS的构建,并使用基于LLM的MADRL方法来解决智能车间中的HFSP-UPM问题。因此,第2节包括MAMS、生产调度领域中的MADRL方法研究以及基于LLM的调度优化。

问题描述

根据Meng等人提出的建模方法[4],这是一种经过验证的方法,能够在寻找最优解时提供更好的性能和更精确的下界,HFSP-UPM定义如下:有N个个性化作业j∈1,2,3,??N,这些作业需要通过S个顺序阶段进行处理。对于阶段k∈1,2,3,??S,有c∈1,2,3,??M个无关的并行机器。具体来说,至少有一个阶段包含2个或更多的并行机器。此外,处理

多智能体协作调度框架

为了实现DB-PSA之间的高效协作,本文将HFSP-UPM视为一个完全合作的多智能体环境。车间包含k个处理阶段,每个处理阶段对应一个DB-PSA,这些DB-PSA协作完成订单处理。在这个环境中,所有作业按相同顺序通过这些阶段,但由于每个DB-PSA只能从自己的视角获取信息,因此信息是不完整的。为了

实验结果

在本节中,首先描述了实验环境和问题实例的参数。然后详细介绍了训练和验证过程。为了展示优越的性能,进行了对比实验,将所提出的方法与其他调度方法(复合调度规则、GP规则和基于DRL的方法)进行基准测试。最后,在不同的生产环境中测试了LLM-MAPPO,并提供了一个示例验证

结论与未来工作

本文提出了一种基于LLM和IoT的新型MAMS,然后采用基于LLM的MADRL方法来解决考虑分阶段协调的HFSP-UPM问题。首先,详细设计了多智能体制造系统的架构,其中每个处理阶段本质上作为一个自主智能体。其次,建立了HFSP-UPM的数学模型以最小化制造周期。第三,本文提出了一种基于LLM的MADRL方法,该方法包括环境

CRediT作者贡献声明

吴斌顾:撰写 – 审稿与编辑、可视化、验证、监督、项目管理、方法论、调查、资金获取、形式分析、概念化。曹宇尚:撰写 – 原稿撰写、验证、软件、方法论、调查、形式分析、数据整理、概念化。李旭新:撰写 – 审稿与编辑、可视化、方法论、概念化。李暖东:可视化、验证、软件、方法论。王磊:撰写 –

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

致谢

本工作得到了江苏省自然科学基金(编号:BK20221231)、国家自然科学基金(编号:52575568)和常州市科技计划项目(编号:CM20223014)的支持。作者感谢审稿人的宝贵意见和建议。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号