基于多智能体近端策略优化的工业共生网络中循环经济商业模式的自适应运营协调
《Computers & Industrial Engineering》:Adaptive operational coordination of circular-economy business models in industrial symbiosis networks via multi-agent proximal policy optimization
【字体:
大
中
小
】
时间:2026年09月22日
来源:Computers & Industrial Engineering 7.3
编辑推荐:
• 一个采用集中训练和分布式执行的MAPPO框架优化了产业共生网络。
• 多目标奖励整合了利润、排放、废物减量、循环投入比例和需求满足率。
• 明确约束涵盖物料兼容性、物流、存储、质量和治理政策边界。
• 在经济性和循环性指标上优于贪心匹配、静态合同和价格接受型线性规划。
•
• 一个采用集中训练和分布式执行的MAPPO框架优化了产业共生网络。
• 多目标奖励整合了利润、排放、废物减量、循环投入比例和需求满足率。
• 明确约束涵盖物料兼容性、物流、存储、质量和治理政策边界。
• 在经济性和循环性指标上优于贪心匹配、静态合同和价格接受型线性规划。
• 在可行性投影后,需求满足率达到96.7%,残余约束违反率为0%。
## 引言
从线性生产系统向循环经济模式的转型已成为工业可持续性、资源安全和低碳发展的核心优先事项(Geissdoerfer, 2017)。传统工业系统通常围绕原生材料开采、生产、消费和处置的单方向流来组织,这加剧了资源枯竭、废物产生和温室气体排放(Korhonen等人, 2018)。循环经济战略通过促进再利用、回收、资源回收、再制造和闭环物料循环,旨在将工业价值创造与原生资源消耗脱钩(Kirchherr等人, 2017; Morseletto, 2020)。在此背景下,产业共生作为一种特别重要的实施途径应运而生,它使企业能够交换副产品、余热、水、公用事业和残余物料流,从而将一个过程的废物转化为另一个过程有价值的投入(Boons, 2017; Walls和Paquin, 2015)。
产业共生网络通过减少原生材料采购、降低处置成本、提高资源生产率和减少与填埋及初级生产相关的排放,产生同时的经济和环境效益(Neves, 2020; Wadstr?m等人, 2021)。然而,这类网络的设计和操作仍然复杂,因为参与企业在生产计划、物料质量要求、存储限制、合同偏好、风险承受能力和经济激励方面存在差异(Wang等人, 2017)。此外,产业共生系统面临需求不确定性、原生材料价格波动、运输中断、二次资源供应约束和不断演变的排放政策(S?dergren和Palm, 2021)。这些特征使得循环商业模式机制的运行协调成为一个动态的、多参与者、多目标的决策问题,而非静态的资源匹配任务。
先前的研究利用生命周期评估、物料流分析、网络分析、数学规划、投入产出建模和多准则决策方法来处理产业共生规划(Zhang, 2015; Fraccascia和Giannoccaro, 2020; Ye?i?lkaya等人, 2020; La Verne Ramir, 2025)。这些方法为量化环境影响、确定可行交换和优化网络级资源配置提供了有价值的工具(Fraccascia和Giannoccaro, 2020; La Verne Ramir, 2025)。然而,许多传统优化模型假设集中决策、完全信息、固定网络结构或确定性运行条件(Yu, 2023)。这些假设可能限制了它们在真实工业生态系统中的适用性,在这些系统中,企业自主行动,信息分散,交换条件不断演变(Da?等人, 2024; Hajrasouliha和Ghahfarokhi, 2021)。静态合同和短视匹配规则也可能无法捕捉在不确定性和运营压力下维持循环交换所需的自适应行为。
随机规划、鲁棒优化、分布式优化、多目标进化搜索和基于代理的模拟各自可以解决该问题的重要部分,但它们体现的是不同的权衡,而非本质上无能为力。基于场景的随机规划需要显式概率模型,并且随着场景树、整数交换决策和滚动时域的扩展,计算量可能变得十分庞大。鲁棒优化避免了分布假设,但在不确定集较宽时可能过于保守。分布式优化可以保护本地自主性,但通常需要可处理的解析模型、重复通信和收敛兼容的耦合约束。基于代理的模拟对于行为探索很有价值,但它本身并不能学习优化长期部分可观测决策的策略。多目标进化方法可以近似离线帕累托集,但当库存、价格、运输状态或合作伙伴可用性发生变化时,需要反复重新优化。因此,本研究将这些方法视为强力的比较基准和互补工具,而非无效替代方案。
强化学习为动态不确定环境中的序列决策提供了一个有前景的替代方案(Padakandla, 2021; Pourghasemi, 2026; Huang等人, 2024; Zhang和Zhang, 2025; Dolatabadi, 2025)。相比之下,多代理强化学习将这一能力扩展到由相互作用的自主决策者组成的系统(Gronauer和Diepold, 2022; Rezaei和Mirtalebi, 2026)。在产业共生网络中,每个企业可以表示为一个代理,观察本地库存、价格、交换机会、兼容性约束和运营状态。与此同时,一个协调层可以引导网络级目标,如循环性、废物转移、减排和公平参与(Lowe, 2017)。集中训练与分布式执行尤其适合这种场景,因为它允许在训练过程中从系统级信息中学习,同时在部署期间保持分布式决策(Lowe, 2017; Yu, 2022)。尽管有这种潜力,但目前关于将多代理强化学习与产业共生网络中循环商业模式机制的运行协调相结合的研究仍然有限,特别是在涉及物料兼容性、物流可行性、排放政策、合同执行和分配性参与的明确约束下。
相邻的研究方向进一步为所选设计提供了依据。面向Transformer的强化学习研究强调表示和长期决策;合作策略奖励优化强调了行为和评估信号的联合设计;制造领域数字化转型和价值共创的研究强调了组织间信息交换和共同产生的价值;供应链数字化研究将数字集成与技术创新联系起来。这些方向支持了产业共生中序列适应、合作激励、数字中介协调和显式价值分配的需求。本文没有使用技术不相关领域的文献来论证产业共生公式。
本研究提出了一种多代理强化学习框架,用于产业共生网络中循环商业模式机制的自适应运行协调。该框架将异质工业参与者建模为自主代理,并采用多代理近端策略优化(MAPPO),结合集中训练与分布式执行,来学习交换、分配和协调策略。该模型同时考虑了经济绩效、排放、填埋减量、循环投入比例、废物转移、运营可行性和治理相关的参与结果。提出的框架在原始实际基准、信息松弛的集中混合整数上界,以及扩展的受约束、多目标、随机、鲁棒、进化、市场导向和基于代理的比较方法中进行了评估,覆盖基准条件和压力条件。本研究的主要贡献如下:
这里声称的新颖性并非来自MAPPO、集中训练与分布式执行、基于势能的整形、动作屏蔽、原始对偶惩罚或混合整数基准的单独使用;这些都是成熟的方法。其贡献在于将它们针对问题进行特定集成,构建一个异构产业共生Dec-POMDP,该模型耦合了过程转化、物料兼容性、物流、合同、排放、循环性和园区级治理,并配合透明的基准校准、可行性校正诊断以及与更强大的学习和优化替代方案的匹配比较。因此,本研究推进的是一种应用特定的决策架构和评估协议,而非一种新的通用强化学习算法。
• 它开发了一种应用特定的多代理决策架构,用于循环商业模式机制的运行协调,明确表征了制造商、回收商、公用事业、物流参与者、园区运营者和外部市场界面。
• 它将产业共生协调建模为一个受约束的部分可观测多代理决策问题,整合了质量平衡、过程收率、物料兼容性、物流可行性、合同执行、排放惩罚、填埋减量、循环性和有界治理行动。
• 它应用了成熟的基于MAPPO的集中训练和分布式执行架构,并评估了该架构是否适用于在异质本地观测下的混合离散-连续交换决策。
• 它在经过校准的半合成运营场景中对框架进行了评估,包括需求增长、原生材料价格上涨、运输中断、二次材料供应减少、排放政策收紧和组合系统压力。
• 它提供了与实际启发式方法、市场机制、基于代理的模拟、受约束和多目标强化学习、进化搜索、滚动时域随机和鲁棒优化以及信息松弛的集中混合整数上界的匹配比较。
• 它量化了经济、环境、循环性、可靠性、参与、校正前不可行性和投影失真结果,同时将解释明确限定在经过校准的计算基准范围内。
## 研究片段
### 研究设计与方法框架
本研究开发了一个计算框架,用于产业共生网络中自适应多目标运行协调。该框架整合了工业网络流建模、循环性核算和多代理强化学习,以支持异质企业之间重复的资源交换决策(Umirzokov, 2025)。其范围是循环商业模式机制的运行激活、资源替代、交换合同签订和资源回收收入。
### 实验设置与评估场景
实验设置旨在代表一个具有足够结构复杂性的异质产业共生网络,以评估分布式的循环经济决策。如表2所示,该网络包括24个参与实体,涵盖制造商、回收商、公用事业、物流代理、园区运营者代理和外部市场界面。这种配置反映了一个多参与者工业生态系统,其中生产、回收和公用事业交换……
### 讨论
本研究开发并评估了一个基于MAPPO的框架,用于产业共生网络中循环商业模式机制的自适应运行协调。结果表明,在经校准的计算基准中,分布式的交换策略可以改善经济价值、循环资源替代、排放、废物、可靠性和参与。本研究并不声称提出一种新的MARL算法;其贡献在于受约束的产业共生公式。
### 结论
本研究提出了一种多代理强化学习框架,用于产业共生网络中循环商业模式机制的自适应运行协调。通过将制造商、回收商、公用事业、物流参与者、园区运营者和外部市场建模为相互作用的代理,该框架在动态约束下协调了物料交换、二次资源替代、处置避免、共享物流和有界政策激励。
### MAPPO
### 数据与材料可用性
计算工作流、模型规范、预处理步骤、训练配置和评估脚本在一个经过删减的仓库中可用,以允许独立验证建模管道,但受保密和数据治理限制。企业级标识符、商业敏感的成本参数、合同条款和运营记录由于保密协议而未公开。代码库、环境注册表和……
### CRediT作者贡献声明
Yaying Zhou:撰写原稿、可视化、软件、方法论、形式分析、概念化。Aie Li:撰写审阅与编辑、验证、方法论、调查、数据策展。Haytham F. Isleem:撰写审阅与编辑、监督、项目管理、方法论、概念化。Khalid A. Alnowibet:撰写审阅与编辑、验证、调查、概念化。
### 资金支持
本研究未获得任何公共、商业或非营利部门资助机构的特定资助。
### 利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系,这些关系可能影响本文所报告的工作。
### 致谢
作者感谢沙特阿拉伯沙特国王大学通过持续研究资助计划(ORF-2026-305)对这项工作提供资金。
Yaying Zhou | Aie Li | Haytham F. Isleem | Khalid A. Alnowibet
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号