面向网络物理生产系统中生成式数字孪生的基于主动扩散的延迟敏感任务调度

《Journal of Industrial Information Integration》：Proactive diffusion-based latency-sensitive task scheduling for generative digital twins in cyber-physical production systems

　　

摘要
生成式数字孪生 (GDT) 融合了生成式人工智能 (GenAI) 与数字孪生 (DT) 技术，支持信息物理生产系统 (CPPS) 中的数据驱动推理和决策。然而，动态制造环境对生成式孪生任务施加了高计算负载和严格的延迟约束。本文提出了一种面向生成式孪生任务的主动扩散调度方案 (PDST)，以降低同步延迟并提高同步效用。我们将问题表述为马尔可夫决策过程 (MDP)，并开发了一个强化学习框架，其中条件扩散模型在训练期间增强调度状态样本，而调度器则从原始样本和增强样本中学习。离线数值实验表明，PDST 实现了比基准方案更低的延迟、更高的效用和更快的收敛速度，同时在不同任务生成率和系统规模下保持稳定的性能。

引言
随着数字化转型在全球制造业中不断推进，信息物理生产系统 (CPPS) 已成为智能制造的关键使能技术之一 [1], [2]。CPPS 整合了物理制造资源与感知、通信、计算和控制功能，使生产设备、感知系统、控制器和信息平台能够交换运行数据并协调生产活动 [3], [4]。通过这种信息物理融合，制造系统可以监控车间运行状态，分析生产流程的变化，并支持过程控制、资源调度和系统优化的决策制定 [5], [6]。随着工业传感器、执行器、通信网络和分布式计算资源的部署，CPPS 为数字孪生 (DT) 技术和人工智能 (AI) 等先进制造技术提供了所需的物理 - 数字连接 [7], [8]。

数字孪生 (DT) 是建立和维持 CPPS 中物理空间与数字空间之间交互的关键技术。通过持续的数据实时采集和交互，DT 动态更新物理实体的数字表示，以反映其运行状态。在智能制造中，DT 支持操作监控、状态分析、过程预测、优化和决策制定 [9], [10]。随着 DT 技术的不断发展，其在 CPPS 中的部署已从集中式平台逐渐扩展到分布式架构，包括边缘计算、雾计算、云计算和边缘 - 云协作，以满足不同制造场景下对实时响应和计算资源的多样化需求 [11], [12]。然而，在动态 CPPS 环境中，DT 系统仍面临诸多挑战，包括模型构建和持续更新的高成本、现场数据的质量和覆盖范围有限、运营工作负载的波动以及物理空间与数字空间之间巨大的同步开销。这些挑战限制了 DT 在复杂制造环境中的实际部署和实时有效性 [13]。

近年来，生成式人工智能 (GenAI) 的快速发展为扩展 DT 能力提供了新的技术途径 [14]。在此背景下，生成式数字孪生 (GDT) 吸引了越来越多的研究关注。传统 DT 主要侧重于物理实体状态的数字表示和持续更新，而 GDT 进一步利用生成模型来表征复杂操作条件下的潜在状态演变和决策路径 [15], [16]。因此，GDT 被视为 DT 在复杂 CPPS 环境中进一步发展的重要方向，可为维持物理 - 数字同步和优化任务调度决策提供增强的信息和场景支持 [17]。

GDT 系统通常涉及相对较高的计算负载，并要求快速响应。在运行过程中，GDT 系统会产生一系列生成式孪生任务。本文中，这些任务主要包括基于生产设备状态、生产数据和操作日志的数字表示更新任务，以及系统状态评估、场景构建和运行趋势预测的推理任务 [18]。为了支持本地实时响应和系统级分析，本研究考虑的 GDT 系统使用了边缘孪生空间与基于云的全局孪生空间之间的协作。边缘孪生空间使用轻量级模型处理本地状态更新和特征分析任务，从而减少由远程数据传输引起的响应延迟。基于云的全局孪生空间收集来自不同边缘孪生空间的关键信息，并利用更大的计算资源执行系统级场景构建和全局状态分析 [19]。这些生成式孪生任务在数据大小、计算需求和延迟约束方面存在显著差异。如果没有适当的调度，在传输、排队或任务处理过程中可能会出现额外的延迟，这可能会减慢基于物理系统当前运行状态的数字空间更新。因此，有效的生成式孪生任务调度对于在 GDT 系统中保持及时的物理 - 数字同步至关重要。

生成式孪生任务调度直接影响 GDT 系统中的同步延迟和效用。同步延迟可能源于数据传输、排队、任务处理以及边缘 - 云数据交换。尽管通信和计算资源取得了进步，但随机任务到达、边缘资源竞争和特定任务的延迟限制仍然可能阻碍任务的及时完成。此外，生成式孪生任务在响应时间要求、计算需求和处理优先级方面各不相同 [20]。例如，状态更新和本地推理任务需要快速处理，而全局分析任务可能涉及更大的数据量和更复杂的计算 [21]。因此，有效的任务调度对于减少同步延迟和保持同步效用至关重要。基于此分析，确定了三个主要挑战：

•挑战 1：GDT 系统中的物理 - 数字同步过程可能涉及许多生成式孪生任务 [22]。这些任务在延迟敏感性和优先级方面各不相同，其处理效率取决于任务特征、可用的边缘资源和队列条件。因此，第一个挑战是如何构建一个系统模型，以准确描述物理 - 数字同步期间生成式孪生任务的调度过程。

•挑战 2：在本研究中，生成式孪生任务调度旨在降低整体同步延迟并提高同步效用 [23]。许多现有研究主要关注传输效率或任务完成延迟，而 GDT 系统中的调度还需要考虑数字空间更新以反映物理运行状态的速度和有效性。由于生成式孪生任务在最大可容忍延迟、计算需求和处理优先级方面各不相同，调度决策和处理顺序需要根据任务状态、队列状态和资源状态来确定。因此，如何在不断变化的资源和队列条件下做出有效的调度决策是另一个关键挑战。

•挑战 3：现有的基于学习的 DT 任务调度方法通常基于观测到的交互样本和当前系统状态学习调度策略并进行在线决策 [24]。在不断变化的任务到达、队列积压和边缘资源条件下，一些重要的调度状态在训练数据中可能表示不足，这可能会限制延迟敏感场景中的策略探索和决策质量。因此，如何提高重要调度状态的覆盖范围并增强调度策略适应不断变化的运行条件的能力，是另一个主要挑战。

为了解决上述挑战，我们提出了一种面向生成式孪生任务的主动扩散调度方案 (PDST)。我们做出以下主要贡献：

•我们构建了 GDT 系统的生成式孪生任务调度模型。该模型表征了关键任务属性，包括数据大小、计算需求和最大可容忍延迟，并描述了任务调度和处理决策如何影响同步延迟和同步效用。

•我们将生成式孪生任务调度表述为平衡同步延迟和同步效用的长期优化问题。为了支持在不断变化的任务到达、队列积压和边缘资源条件下的顺序决策，我们进一步将调度问题表述为马尔可夫决策过程 (MDP)。

•我们提出了 PDST，一种用于生成式孪生任务调度的扩散辅助强化学习方案。条件扩散模块根据任务、队列和资源状态增强调度状态样本，而强化学习调度器使用原始样本和增强样本学习和更新任务调度策略。这种设计使调度器能够从更广泛的运行状态中学习，并做出同时考虑同步延迟和同步效用的调度决策。

本文其余部分组织如下。第 2 节回顾相关工作。第 3 节介绍系统模型和问题表述。第 4 节详细说明所提出的生成式孪生任务调度方案。第 5 节报告实验结果和分析。第 6 节总结全文并讨论未来研究方向。

章节片段
相关工作
本节回顾了 GDT 在 CPPS 环境中的研究进展和 DT 任务调度方法。

CPPS 中的 GDT 框架
如图 1 所示，CPPS 环境中的 GDT 系统部署在边缘 - 云架构上，由物理空间和数字空间组成。在系统运行过程中，物理空间上传一系列生成式孪生任务。通过调度和处理这些任务，相应的孪生实体在数字空间中得到更新和维护。物理空间包括执行不同制造操作的生产设备。数字空间由边缘

生成式孪生任务调度方案框架
当任务到达、设备状态、队列状态或边缘资源发生变化时，调度器需要动态调整生成式孪生任务调度决策。为了降低同步延迟并提高孪生同步效用，我们提出了 PDST。其主动性体现在训练期间准备调度策略，而不是预测未来工作负载。PDST 使用历史和扩散增强的调度状态样本，以在在线...之前提高训练状态覆盖率

实验设置
(1) 运行时配置
所有离线数值实验均在同一工作站上进行，该工作站配备了 Intel Xeon 多核处理器、64 GB 内存和具有 24 GB 显存的 NVIDIA RTX 4090 GPU。软件环境包括 Ubuntu 20.04、PyTorch 和 CUDA。所有方法均使用相同的硬件平台、软件环境、数值调度参数和任务负载条件进行训练和评估。为了减少随机网络的影响

结论与未来工作
本文研究了 CPPS 环境中 GDT 系统的生成式孪生任务调度问题，并提出了 PDST。该方案集成了基于扩散的样本增强与调度决策优化，以提高在动态任务到达、队列积压和边缘 - 云资源约束下的调度适应性。数值评估结果表明，PDST 实现了更低的同步延迟、更高的同步效用、更快的收敛速度以及更多
CRediT 作者贡献声明
陈向阳：写作 – 审阅与编辑，写作 – 原创草稿。傅秀文：写作 – 审阅与编辑。吴贝：写作 – 审阅与编辑。莫雨昌：写作 – 审阅与编辑。

竞争利益声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能被认为影响了本论文报告的工作。

陈向阳 | 傅秀文 | 吴贝 | 莫雨昌