基于数字孪生的多智能体协作在线优化生产调控方法，适用于具备人机协同功能的智能可重构制造系统

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Digital twin-driven multi-agent collaborative online optimization of production regulation for smart reconfigurable manufacturing systems with human-robot collaboration

　　明黄|思涵黄|梁高|魏东|永辉张|曦谷|曾贵高
北京工业大学机械工程学院，北京10081，中国

摘要
在工业4.0时代，高新技术与先进制造技术的同步发展显著缩小了需求与生产之间的差距，而由越来越多机器人组成的智能可重构制造系统是应对动态、不确定和个性化需求的最佳解决方案之一。新兴的工业5.0通过强调以人为中心的理念，为提高生产灵活性提供了全新的视角，从而促进了人机协作的发展。因此，结合工业4.0和工业5.0优势的智能可重构制造系统与人机协作（SRMS-HRC）在未来的生产中展现出强劲的活力，其特点是同时具备高水平的灵活性和智能化。然而，SRMS-HRC的超高度灵活性也给生产组织带来了额外的挑战，包括操作顺序的变化、动态位置分配以及人机配置问题。传统的离线优化方式（先规划后执行）无法满足SRMS-HRC的快速响应需求。因此，本文提出了一种基于数字孪生技术的多智能体协作在线优化方法，该方法利用多目标深度强化学习来生成在线优化方案。该方法构建了一个与状态表示无关的马尔可夫决策过程以及具有明确语义的基于规则的智能体动作集，并采用标准化的切比雪夫奖励聚合方法来实现企业级和以人为中心的目标的同时优化。此外，还开发了一种多目标多智能体孪生延迟深度确定性策略梯度（MO-MATD3）来训练协作智能体。通过对不同规模工业案例的数值实验和仿真验证表明，所提出的方法能够有效生成高性能的在线优化方案，其性能优于单一智能体架构、启发式规则和其他深度强化学习方法。

引言
可重构制造系统（RMS）[1]最初旨在通过实现制造资源的快速结构和功能重构来应对市场需求的不确定性和产品多样性[2]。在工业4.0时代，随着数字孪生技术[3]、执行机器人和人工智能计算[4]的持续整合，RMS逐渐演变为智能可重构制造系统（SRMS）[5]，其中数据驱动的智能、自适应控制和系统级重构能力得到了显著提升。近年来，随着全球制造范式从工业4.0向工业5.0转变，协作机器人（协作机器人）[6]和以人为中心的制造[7,8]概念成为工业转型的主要驱动力。机器人技术和体现智能[9]的进步使得人类创造力与机器人的精确性、重复性和高负载执行能力深度融合[10]，从而推动了SRMS向以深度人机协作为特征的新形态演变。在这种系统中，移动操作机器人集群和人类操作员共同作为执行实体，操作机器人的移动性打破了传统固定位置机床的限制，为加工位置、加工路线和资源分配的选择带来了前所未有的灵活性。结合可重构的机器人末端执行器和可调的人机配置，这种范式催生了具有高度灵活性和智能性的智能可重构制造系统与人机协作（SRMS-HRC）。值得注意的是，该系统不仅能够有效支持多变、不确定和个性化的需求，还与工业5.0倡导的以人为中心的理念高度契合，为实现下一代人机协同智能工厂奠定了关键基础。

尽管SRMS-HRC具有诸多优势，但其超高度灵活性也给生产调节和决策优化带来了重大挑战。特别是在面对多品种、小批量和高度定制化的生产需求[11]时，基于先规划后执行模式的传统离线优化方法逐渐暴露出其局限性，因为它们无法实时响应各种变化。随着生产的进行，设备状况的变化、资源占用率的偏差以及工作负荷的波动等因素会导致实际执行情况与原计划越来越偏离[12]，使得预先制定的计划无法持续指导生产。在这种情况下，数字孪生技术通过构建与物理系统同步的虚拟表示，为在线优化提供了关键支持，实现了实时生产状态监控、干扰感知和双向虚实交互。数字孪生系统持续获取过程数据，识别执行偏差，并为在线决策提供可靠的数据基础。同时，工业5.0倡导以人为中心的价值观[13]，要求优化目标不仅要考虑企业效率指标（如完工时间、成本、能耗），还要兼顾人类操作员的公平性和可持续性（如工作负荷平衡、疲劳风险）。此外，SRMS-HRC的运行涉及多个高度相互依赖和强耦合的子决策，如操作顺序、加工位置分配和人机配置。如果采用单一集中式方法进行处理，决策过程容易受到动作空间维度爆炸的影响，导致实时性能下降。在这种情况下，多智能体协作通过分布式决策、结构分解和高交互性提供了天然的优势。通过充分利用数字孪生提供的实时状态和过程数据，协作智能体可以在线学习和更新优化策略，从而生成更加智能和适应性的优化方案。因此，对SRMS-HRC进行数字孪生驱动的多智能体协作在线优化既是必要的，也是紧迫的，它是未来智能工厂生产调节和决策优化的基础。

在线优化是近年来信息技术和人工智能快速发展的催生方向，旨在实时生成可执行的决策。以往的优化研究主要集中在通过精确算法[14,15]或元启发式方法[16,17]生成全局最优解。然而，由于制造过程中的累积偏差，这些最优解在实践中往往难以应用。因此，具有实际可行性的实时在线优化已成为主要的研究焦点。现有方法大致可以分为以下几类：
1) 基于规则的方法。从某种意义上说，调度规则[18]是最早的在线优化方法之一，能够实现快速且可解释的局部决策。它们的计算复杂度较低，适用于大规模复杂决策问题[19]。然而，这些规则的固定性质往往导致陷入局部最优解，限制了其泛化能力。随后，一些研究开始探索复合调度规则，通过权重和优先级混合规则来提高在线优化的适应性[20]。这种方法仍不需要迭代搜索，但其有效性很大程度上取决于复合策略的设计，并仍受到固定规则的局限性影响。
2) 基于元启发式的超启发式方法。超启发式方法是指设计一个自主程序来管理一组低级启发式规则，以实现最优解的适应性获取[21]。例如，Alain Nguyen[22]设计了五种低级启发式规则，并应用汤普森采样来适应性地获取在线优化的执行启发式规则。一些研究进一步将超启发式方法与元启发式方法结合，以提高解决方案质量。Kletzander和Musliu[23]提出了一种基于进化策略的迭代局部搜索超启发式方法来提升调度优化性能。Zhou等人[24]开发了三种多智能体超启发式方法，利用先验知识来优化机器选择和操作顺序的调度策略。虽然超启发式方法通常比定制的元启发式方法计算时间更短，但其多层管理和选择仍然会导致不可忽视的决策开销。
3) 深度强化学习（DRL）。近年来，DRL已成为在线优化的主流技术。它可以在高维状态动作空间中学习决策策略，其离线训练和在线部署能力能够快速响应实时状态变化。Qiu等人[25]开发了一种多层动作耦合的DQN，用于生成两阶段柔性流水线的在线优化方案。Wang等人[26]提出了一种多智能体独立双深度Q网络，用于优化批量机器流水线的在线调度。为了应对柔性作业车间调度问题，Li等人[27]引入了一种基于多头深度Q网络的在线执行框架，并证明了其在车间现场的部署能力和优异性能。通过精心设计的状态/动作表示和训练方案，DRL能够在不同问题规模和干扰场景下展现出强大的泛化能力。因此，基于DRL的方法被广泛认为是实现在线优化的有效方法。

制造系统中的多目标优化一直是关键的研究焦点。现有研究主要关注企业效益目标，如完工时间、成本和能耗。然而，关于以人为中心的目标（如工作负荷平衡和减少人类疲劳）的研究相对较少。尽管多目标优化并不新鲜，但将其与深度强化学习结合进行实时多目标决策仍处于发展阶段[28]。与传统迭代多目标优化方法相比，多目标深度强化学习可以通过奖励函数在策略学习过程中同时建模多个优化目标，并在不同目标之间进行适应性平衡。此外，其离线训练和在线部署机制使模型能够基于实时系统状态快速生成决策，从而为复杂制造系统中的实时多目标决策提供有效支持。

多目标深度强化学习的核心挑战在于设计和训练奖励结构，以在保持目标平衡的同时有效聚合不同目标。最常用的奖励聚合方法是加权求和[29,30]。然而，制造系统中的优化目标规模往往不均匀，线性加权求和方法可能会遗漏某些解决方案。为了解决这一问题，一些研究提出了基于神经网络的层次化引导奖励聚合方法[31,32]来实现非线性聚合[31,32]。不过，这种方法的数学可解释性通常较弱，且聚合性能无法始终得到保证。此外，某些层次化引导奖励聚合方法使用离散的固定值来设计奖励函数。例如，根据相邻状态之间优化目标的变化，奖励被赋予-1、0或1等离散值。虽然这种方法利用了多个离散值来表征目标变化，但这种粗粒度表示导致奖励与目标之间的耦合较弱，数学一致性较差。值得注意的是，这种离散奖励结构通常需要为不同的应用场景重新定义离散值和相应规则，使其难以在不同制造优化问题中直接重用，缺乏可移植性。因此，设计出既保证学习效率又保证解决方案多样性的尺度不变且可移植的奖励聚合方法仍是该领域的重要挑战。

多智能体系统通过自主智能体之间的协作完成整体任务。其优势包括动作和状态空间的自然分解、并行决策、容错鲁棒性和模块化可扩展性。当前研究主要集中在信息交互机制[34]、集中式/分布式训练和执行模式的选择，以及协作策略的稳定性和可解释性上。多智能体系统的早期应用主要集中在多阶段决策和层次控制问题上，每个阶段或层次都可以自然地分解为多个独立智能体，从而便于任务分配和协作执行。例如，Zhou等人[35]提出了一个包含服务评估智能体、错误补偿智能体和调度优化智能体的三阶段智能体框架，采用分布式训练和集中执行来实现多机器人协作任务的多阶段优化。Yazdanparast等人[36]将再制造系统中的每个部门视为一个智能体，并开发了一个多智能体深度Q网络来实现协作再制造系统的在线优化。Hu等人[37]构建了一个双层多智能体系统，其中车间级和服务单元级智能体参与多智能体游戏，以优化具有多个服务单元的车间调度。最近，多智能体方法已扩展到涉及强耦合子决策的复杂问题。本质上，这些方法将每个子决策映射到一个自主智能体上，从而克服了单一智能体在高维和强耦合环境中的局限性，包括学习效率低下、解决方案精度不足和可扩展性受限等问题。例如，Guo等人[38]将任务选择和计算节点选择建模为独立智能体，以解决分布式制造系统中的云边协作任务卸载问题。Li等人[39]通过操作分配和重构智能体之间的协作学习来解决人机混合可重构制造系统的优化问题。Zhang等人[40]提出了一种协作智能体强化学习架构，将操作选择和机器选择视为分层动作空间，以实现高效协作。值得注意的是，在处理涉及紧密耦合的子决策的制造系统时，设计高效的信息交互和协作机制对于确保多智能体系统能够有效组织协作并实现整体优化至关重要。受先前分析的启发，本研究探讨了基于数字孪生的多智能体协作在线优化在SRMS-HRC生产调节中的应用。主要贡献如下：

1) 本研究首次探索了基于数字孪生的在线优化在SRMS-HRC中的应用，同时考虑了制造灵活性、位置灵活性和人机配置灵活性。
2) 为SRMS-HRC构建了一种新的马尔可夫决策过程，该过程具有与订单大小无关的状态表示，具有很强的泛化能力，并且基于规则的行动集具有明确的语义和可计算性。采用标准化的切比雪夫奖励聚合方法来同时优化企业级目标（生产周期）和以人为中心的目标（人类平衡指数）。
3) 提出了一种多智能体协作在线优化机制，并展示了其在可扩展性、容错性和局部干扰隔离方面的优势，优于单一智能体方法。
4) 设计了一种多目标多智能体孪生延迟深度确定性策略梯度算法（MO-MATD3），将双重评论器、延迟更新和目标策略平滑扩展到多目标和多智能体场景中。通过工业案例的数值实验和仿真研究验证了所提出方法在在线生成高性能优化方案方面的有效性和优越性。

本文的其余部分结构如下：第2节介绍问题表述，描述了具体场景和优化目标。第3节详细介绍了所提出的多智能体协作在线优化机制的实现。第4节展示了工业案例研究的实验结果，并进行了扩展讨论。最后，第5节总结了本文并概述了未来的研究方向。

**问题表述**
目前，SRMS-HRC正在用于生产具有多种类型、可变批次和定制要求的大规模工件产品。如图1所示，一组移动操作机器人和人类操作员共同构成了主要的执行实体。产品由基于底盘的自动化引导车辆（AGV）携带，并根据生产需求在共享的制造空间内动态移动以完成任务。

**提出的方法**
为了解决SRMS-HRC生产调节中的多目标在线优化挑战，本研究提出了一种多智能体协作在线优化方法，该方法能够在高度灵活的制造场景中自主生成可行的优化方案。该方法的特点包括：通过系统级状态建模实现强大的泛化能力；基于多智能体合作的稳健决策架构；可解释的动作规则系统。

**案例研究**
本节评估了所提出的多智能体协作在线优化方法在SRMS-HRC生产调节中的性能，并通过不同规模实例的比较分析展示了其有效性和优越性。所有代码均使用Python 3.12和基于PyTorch 2.8的深度学习架构实现，实验在配备Intel Core i5–12600KF CPU和NVIDIA GeForce RTX 4060 Ti GPU的硬件上执行。

**结论和未来研究**
本研究提出了一种多智能体协作在线优化方法，用于解决SRMS-HRC中的多目标优化问题。该方法结合了分层自治、顺序响应和闭环合作反馈，以实时生成可执行的在线优化方案。构建了与订单大小无关的状态表示和具有明确语义的基于规则的多智能体行动集，实现了多目标优化。

**CRediT作者贡献声明**
黄明：撰写 – 审稿与编辑，撰写 – 原稿，方法论。
黄思涵：撰写 – 审稿与编辑，撰写 – 原稿，监督，资金获取。
高亮：撰写 – 审稿与编辑，监督。
董伟：撰写 – 审稿与编辑，撰写 – 原稿。
张永辉：撰写 – 审稿与编辑，撰写 – 原稿。
顾曦：撰写 – 审稿与编辑，监督。
高增贵：撰写 – 审稿与编辑。