CSPPO：制造产业链产能分配的多智能体强化学习方法

《JOURNAL OF MANUFACTURING SYSTEMS》：CSPPO: A multi-agent reinforcement learning method for production capacity allocation in manufacturing industry chains

　　

• •
  提出一种链主驱动的产能分配架构。
• •
  建立具有隐私保护型链主引导的分层模型。
• •
  设计CSPPO以解决非平稳多智能体策略更新问题。
• •
  在数值实例和汽车玻璃产业链案例上验证CSPPO的有效性。

引言

随着工业5.0的到来，制造业正从孤立的生产单元快速向互联互通的产业链转型[1]。关于数字化转型[2]和供应链数字化[3]的近期研究进一步表明，产业链协同日益依赖于网络化的信息流、价值共创和技术创新。高效的产能分配对于促进这一转型至关重要，因为它影响生产效率、成本效益和市场响应能力[4]、[5]。然而，定制化需求和意外生产中断增加了全球产业链的波动性，并带来了运营挑战[6]、[7]。在此背景下，传统静态调度方法难以维持稳定性和效率。因此，在多层级产业网络中实现自适应和协作的产能分配仍然是学术界和工业界面临的重大挑战。

现有研究主要采用集中式优化方法[8]，如线性规划[9]和遗传算法[10]，来解决产能分配问题。虽然这些方法在静态环境中有效，但在复杂的产业链中往往表现不佳[11]。它们无法克服信息孤岛问题，在动态不确定性下其性能也会下降。深度强化学习（DRL）以其交互式学习范式为特征，为复杂调度场景开辟了新的途径[12]。然而，目前大多数DRL算法的应用仍然局限于单智能体优化，如单个工厂内的车间调度[13]。关于产业链内多智能体优化存在显著的研究空白。此外，产业链异构层级间固有的非合作行为以及链主在全球协调中的战略作用经常被忽视。

为了弥补这些空白，本文提出了一种链主驱动的多智能体强化学习（MARL）方法来解决产能分配问题。这种以链主为主导、基于学习的方法能够在不同层级之间无需完全信息共享的情况下实现自适应的产能分配。本文的主要贡献总结如下。

• (1)
  从整体视角出发，建立了链主驱动的产能分配分层模型，强调跨多层级制造节点的协同优化。
• (2)
  CSPPO通过整合隐私保护型聚合链主引导、动作投影以及SSUM（用于解耦跟随者-领导者PPO更新），为产业链产能分配而开发。
• (3)
  通过基于真实汽车玻璃产业链案例的实证案例研究，验证了该框架的有效性和鲁棒性。

本文其余部分组织如下。第2节回顾相关工作。第3节在多智能体框架下建立产能分配问题模型。第4节详细介绍所提出的方法，包括分层模型和CSPPO算法。第5节展示实验研究并讨论结果。最后，第6节总结全文并展望未来的研究方向。

章节摘要

传统方法

传统的优化方法因其准确性和灵活性而被广泛用于建立和解决产业链中的产能分配问题。精确方法，如混合整数线性规划（MILP），在静态场景中表现良好。Yao等人[14]开发了一个详细的混合整数非线性规划模型，通过明确考虑多个离散和连续的产能调整杠杆，将产能规划与生产调度整合起来。

随着规模……

产业链系统架构

在本研究中，我们在多层级产业链网络的框架下建立产能分配问题模型，如图1所示。与传统的扁平化和点对点供应链结构不同，该系统采用以链主为中心的分层架构。根据每个节点在增值过程中的功能，我们将该产业链网络划分为三个层级：上游、中游和下游。

上游层级充当……

HDec-POMDP建模

现代制造产业链中的产能分配问题本质上是分布式的，并受数据隐私约束。标准的去中心化部分可观测马尔可夫决策过程（Dec-POMDP）模型表示扁平点对点网络下的去中心化智能体。然而，如第3节所讨论的，现实中的产业链网络涉及由链主企业驱动的不对称结构。为了更准确地表示这种领导者-跟随者博弈，我们建立了产能……

实验设置

在应用于特定的现实场景之前，我们首先进行了一系列数值模拟实验，以模拟不同规模下现代产业链的环境。为了标准化这些实例的表示，我们采用了一种特定的命名规范：U$u$M$m$D$d$P$k$。在此格式中，$u$、$m$和$d$分别表示上游节点数、中游节点数和下游节点数，而$k$表示系统中流通的产品种类总数。

为了……

结论与未来工作

本研究解决了制造产业链中的产能分配问题，其中分布式信息、异构生产能力以及领导者-跟随者协调使得传统的集中式或扁平化MARL方法不足。我们提出了CSPPO，一个分层MARL框架，结合了链主引导、去中心化跟随者执行和Stackelberg顺序更新机制。领导者传输隐私保护的层级指导，而SSUM……

作者贡献声明

梁鹏（Peng Liang）：写作–初稿、可视化、验证、方法论。孙雪燕（Xueyan Sun）：写作–审阅与编辑。佘明哲（Mingzhe She）：写作–审阅与编辑。高山岩（Yanshan Gao）：写作–审阅与编辑。刘敏（Min Liu）：写作–审阅与编辑、监督、资金获取、概念化。沈维明（Weiming Shen）：写作–审阅与编辑、监督、概念化。

利益冲突声明

作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究部分由国家重点研发计划资助（批准号：2024YFB3312300）。

梁鹏|孙雪燕|佘明哲|高山岩|刘敏|沈维明