社会制造中的群体智能:基于联邦PPO的多智能体协同制造方法

《Swarm and Evolutionary Computation》:Swarm intelligence for social manufacturing: a federated PPO-Based multi-agent collaborative manufacturing method

【字体: 大 中 小 】 时间:2026年07月28日 来源:Swarm and Evolutionary Computation 9.6

编辑推荐:

  摘要:随着对服务型制造和协作生产的需求不断增加,社会制造作为一种有效范式,有助于解决中小企业与个体制造商之间的动态协作难题。基于群体智能的自组织协作机制对于将分散的企业整合到制造社区中至关重要。然而,由于社区状态的部分可观测性以及社会制造环境的不稳定性,传统的集中式或规则驱动方法

  摘要:随着对服务型制造和协作生产的需求不断增加,社会制造作为一种有效范式,有助于解决中小企业与个体制造商之间的动态协作难题。基于群体智能的自组织协作机制对于将分散的企业整合到制造社区中至关重要。然而,由于社区状态的部分可观测性以及社会制造环境的不稳定性,传统的集中式或规则驱动方法难以应对这类复杂的协作问题,尤其是在需要保护企业数据隐私的情况下。因此,本文提出了一种联邦深度强化学习方法,用于指导制造社区内各节点的协作与生产策略,在保障企业独立性的同时实现群体协作制造,并保护数据隐私。具体而言,多参与者社会制造系统被建模为多智能体系统,通过构建四个基本模块来模拟真实的社交制造环境。随后明确了该协作问题的优化目标,将其转化为分布式部分可观测马尔可夫决策过程。为此,本文设计了基于联邦学习的近端策略优化算法,详细阐述了本地训练过程和联邦聚合机制。仿真结果表明,与现有基准方法相比,所提出的深度强化学习方法显著提升了制造社区的生产效率,降低了协作成本。

引言:面对日益复杂的市场需求和激烈的制造业竞争,协作制造已成为制造业企业发展和生存的关键。为保持竞争力,企业正在将其核心生产能力与广泛的社会化制造资源相结合,将价值链从单纯的生产环节延伸至更高价值的产品服务阶段。社会制造正是这一转型趋势的直接产物。在这种模式下,分散的社会化制造资源通过信息物理社会系统形成协作网络,从而实现动态配置的生产服务和分布式制造。其核心协作机制在于企业将积压的订单外包给那些拥有闲置产能的其他成员,以此实现更合理的产能和任务分配。这种源自企业个体行为的协作智能能够优化整个社区的绩效,最终降低生产成本并提升效率。在制造运营方面,它凭借灵活性可补充甚至替代大型企业;在生产适应性方面,则远远优于传统的刚性制造结构。

在社会制造环境中,主要参与者包括制造节点、制造订单以及社区云平台。制造节点作为生产者,提供离散的产能和多种技能,它们通常根据本地信息观察市场动态,并独立决定是否进行外包协作及安排生产计划。社区云平台则充当核心协调者,负责全局信息的处理与传递。因此,社会制造系统本质上是一个具有分布式决策、部分可观测性和非稳定性特征的复杂系统。然而,这种主要依赖云平台进行集中协调和规则设定的自组织架构在实践中面临诸多挑战。首先,制造节点的外包和调度策略依赖于局部化、异步且可能不一致的信息,这使得难以准确判断整体系统状态,从而导致决策基于不完整的信息做出。其次,在动态环境中,节点的自主决策和互动会不断改变任务负荷和资源状态,使得传统的集中式优化方法失效。最后,如何协调众多异构智能体的分散决策,形成群体智能范式以实现全局多目标优化,同时确保数据隐私,仍然是一个极具挑战性的问题。

多智能体深度强化学习为解决此类分布式多目标协调问题提供了有力途径。该框架支持多个独立的决策单元在共享环境中并行学习和互动。在此框架下,每个制造节点都作为一个智能体,不断感知本地状态,采取生产或协作行动,并从环境中获得奖励反馈,通过这一过程逐步优化其长期决策策略。这一机制使得所有智能体能够通过经验共享或策略互动,共同探索并逼近系统的全球多目标帕累托前沿。然而,这种协作学习机制的有效运行通常依赖于智能体之间充分、持续的策略互动或经验共享。而在强调数据本地化和隐私保护的社会制造环境中,这无疑是一个重大障碍。例如,企业的订单详情、生产能力及单位成本属于商业机密,共享此类原始数据可能会暴露企业的核心竞争力。因此,数据集中化会带来严重的安全与隐私风险,而孤立的本地训练则会导致策略协调性差。

为解决隐私保护与有效协作之间的矛盾,本文研究了社会制造环境中的多目标生产协作优化问题。该问题涉及多个相互冲突的指标:社区总产出、平均处理时间以及平均运输距离。为应对这一挑战,本文将社会制造系统建模为多智能体系统,并构建了时间、需求、资源和空间四个基本模块,以模拟真实的社交制造环境。每个智能体仅拥有本地观测信息,通过个体行为和奖励反馈进行互动,依靠设定的奖励函数在没有中央控制的情况下追求全局最优目标,从而实现群体智能。随后,该协作决策过程被转化为分布式部分可观测马尔可夫决策过程,本文提出了FedPPO算法来解决这一问题。与其他深度强化学习算法相比,PPO的优势在于其经过裁剪的代理目标函数,能有效缓解因策略更新过频导致的训练不稳定问题,尤其适用于处理部分可观测多智能体场景中因并发动作而产生的非稳定性问题。结合联邦学习后,无需交换原始数据即可实现参数级知识共享,这种方法在保持数据本地化的同时,促进了社区层面的策略协调,提升了整体性能。最后,本文进行了三组实验:超参数调优的正交实验、不同训练模式下的收敛性与稳定性比较,以及在不同需求场景下与基准策略的性能评估。这些实验充分证明了该方法在动态社会制造环境中的适用性和优越性。

本文的贡献如下:首先,为社会制造环境建立了多智能体系统模型,将每家中小企业视为一个自主智能体,通过让中小企业作为智能体参与自组织协作,替代传统的集中式控制,不仅能提升系统灵活性,还能充分利用分布式制造资源。此外,由分散决策产生的群体智能还能进一步引导社区策略走向全局最优解。其次,针对社会制造的多智能体系统模型,以及局部观测、环境非稳定性和数据隐私保护等挑战,将协作优化问题转化为分布式部分可观测马尔可夫决策过程,并提出了FedPPO算法。该算法通过联邦聚合实现参数级知识共享,在有效促进社区层面策略协调的同时,保障了企业数据隐私。最后,通过正交实验确定了最优超参数,比较了集中式训练、分布式训练和联邦训练三种训练模式的效果。在低负载、高负载和变动负载三种市场场景下,FedPPO在社区总产出、平均处理时间和平均运输距离等方面均显著优于固定规则基准策略。

本文其余结构如下:第二节概述了相关研究背景;第三节介绍了用于社会制造的多智能体系统及其基本模块;第四节阐述了社会制造协作优化问题及其转化后的分布式部分可观测马尔可夫决策过程;第五节介绍了为解决该问题而设计的FedPPO算法的本地训练和联邦聚合过程;第六节进行了实验评估;第七节总结了本文的所有贡献。

章节节选:

社会制造与多智能体系统:社会制造是一种创新的制造范式,通过动态分配社会化制造资源,实现按需定制和个性化生产。目前,这种需求驱动的协作范式已成为制造业领域的热点研究方向。相关研究范围不断扩大,包括资源匹配机制、平台架构设计、信任机制和隐私保护等方面。

系统模型:本节将制造社区建模为多智能体系统,其中每家企业被抽象为一个自主智能体,同时建立了描述该社会制造环境的基本模块。

问题建模:本节明确阐述了社会制造中的协作优化问题,定义了决策变量、约束条件及全局目标,还详细设计了奖励函数,将该问题转化为分布式部分可观测马尔可夫决策过程。

研究方法:本节提出了一种基于PPO和联邦学习的深度强化学习算法,详细介绍了该算法的本地训练过程和联邦聚合过程,并给出了算法的总体伪代码。

实验评估:本节说明了社会制造环境的特定参数设置、PPO算法的超参数设置及神经网络架构。后续章节将详细介绍目标联邦PPO模型及数据集。所有实验均在配备CPU(AMD Ryzen 9 8940HX,2.40 GHz)和GPU(NVIDIA GeForce RTX 5070Ti,12 GB VRAM)的电脑上,使用Pytorch框架进行。

结论:为解决社会制造模型中制造节点间的协作优化问题,本文提出了一种基于FedPPO的算法,用于选择外包和生产策略。具体而言,将制造社区建模为多智能体系统,将智能体间的协调问题转化为分布式部分可观测马尔可夫决策过程,再结合联邦学习和PPO算法来解决该问题。实验结果表明,所提出的基于联邦学习的PPO算法能够有效优化模型性能。

CRediT作者贡献声明:唐佳祥:撰写——初稿、方法论、概念设计;李一冰:验证、资源支持;王磊:软件实现、方法论、研究实施;唐洪涛:概念设计;李希行:研究实施、数据整理;刘杰:软件实现、方法论;郭顺生:资源支持、概念设计。

唐佳祥|李一冰|王磊|唐洪涛|李希行|刘杰|郭顺生
中国武汉,武汉理工大学机械电子工程学院,邮编430070
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号