区块链支持的社会制造系统中基于深度强化学习的资源调度

《Engineering Applications of Artificial Intelligence》：Deep reinforcement learning-based resource scheduling in a blockchain-supported social manufacturing system

　　摘要随着社会制造资源与跨企业协作的兴起，可靠且及时的资源配置对于社会制造系统至关重要。然而，资源的动态可用性与生产状态的不确定性使调度决策更加复杂。本文提出一种基于深度强化学习的社会制造系统资源配置方法，该系统采用区块链支持的状态管理，跨企业生产数据、物流记录及资源响应在映射到链下调度器所使用的调度输入之前均需经过验证与确认。资源调度模型以最小化时间、成本和资源响应缺失为目标，同时最大化制造资源之间的竞争-协作效应。随后，提出一种基于自适应奖励回溯机制的决斗双深度Q网络算法（ARB-D3QN）来求解所提出的调度模型。最后，以粤港澳大湾区空调压缩机生产案例对所提方法进行评估。结果表明，ARB-D3QN算法在测试的深度强化学习基线中获得了最高的平均收敛奖励，并在调度目标之间提供了较为平衡的折中，同时在测试场景下比多目标元启发式算法具有更短的求解时间。引言随着个性化客户需求的兴起，社会制造资源应运而生，同时企业在轻资产运营策略下将更多业务外包给专业供应商。因此，提升社会制造资源利用率已成为在社会制造系统中保持竞争力和实现快速响应能力的关键（Ma等，2023）。与传统集中式制造模式不同，社会制造系统具有资源所有权分散、跨企业协作以及异构制造资源动态参与的特点，独立企业通过共享制造网络共同完成定制化生产任务，这使得社会制造系统的调度问题与常规集中式生产系统存在显著差异。社会制造系统中的跨工厂协作既包括同一阶段内相似资源之间的同质协作，也包括跨连续阶段的流程驱动型协作（Ji等，2022）。前者主要涉及工作量共享和资源替代，而后者还涉及工序优先级、阶段间依赖关系以及跨企业物流（Ding等，2018）。虽然社会制造和网络化分布式制造都涉及分散资源和跨工厂协调，但后者通常在相对稳定的工厂网络内运作，而社会制造则更具开放性、需求驱动性，并包含独立资源提供者的动态参与（Jiang等，2016），这使得资源响应缺失、竞争-协作关系以及调度状态可靠性更加突出。设备状态、物流信息和订单需求的动态变化经常改变系统状态，并可能在跨企业间传播，协作资源分配决策往往基于不完整或不确定的信息进行，导致调度可靠性下降和整体资源利用率降低（Ma等，2025）。因此，保持跨企业状态信息的及时性和一致性是社会制造调度中的核心挑战。生产组织在社会制造系统中大致可分为集中式和分布式两类（Bao等，2025）。集中式模型依赖单一决策中心进行数据管理和调度，这可能限制跨企业生产信息的及时获取，并约束协作资源分配（Hadi等，2020）。分布式生产更好地反映了社会制造中分散所有权和动态参与的特点（Daehn等，2024；Dama?evi?ius和Maskeliūnas，2025）。然而，生产数据往往分散在独立工厂中，使得可靠的数据收集和共享变得困难。信息不对称和策略性报告可能进一步导致记录延迟、不完整或不一致。在缺乏统一的数据验证和访问控制规则的情况下，这些问题可能会削弱生产可见性和协调调度能力。区块链为管理跨工厂运营记录提供了一种可能的机制（Zheng等，2023）。通过利用去中心化账本和共识机制，区块链为记录和追踪跨企业的生产过程、资源状态和任务执行数据提供了可靠基础，从而增强数据可信度并实现一致的全