UAWS:基于深度强化学习的工业制造领域紧急响应型工作流调度
《Internet of Things》:UAWS: Urgency-Aware Workflow Scheduling with Deep Reinforcement Learning for Industrial Manufacturing
【字体:
大
中
小
】
时间:2026年08月29日
来源:Internet of Things 7.1
编辑推荐:
摘要在工业制造中,生产过程通常以工作流的形式存在,并支持灵活的生产需求。然而,大多数任务都有严格的截止时间,而且生产订单往往会随时间波动。这些任务形成了复杂的工作流,不同的任务需要特定的计算能力。由于存在时间关键的工作流,调度决策需要根据异构计算资源进行持续调整。典型的资源包括C
摘要
在工业制造中,生产过程通常以工作流的形式存在,并支持灵活的生产需求。然而,大多数任务都有严格的截止时间,而且生产订单往往会随时间波动。这些任务形成了复杂的工作流,不同的任务需要特定的计算能力。由于存在时间关键的工作流,调度决策需要根据异构计算资源进行持续调整。典型的资源包括CPU和GPU,它们在性能和成本方面存在差异。工业调度系统需要快速评估不断变化的任务紧急程度,以便在合理的时间内重新分配资源。为了解决这些问题,提出了一种基于深度强化学习的紧急感知工作流调度方法UAWS,该方法通过资源选择来满足截止时间约束并降低成本。首先,根据紧急程度对任务进行排序,以确保选择优先级最高的任务以避免错过截止时间。其次,一个交叉注意力模块从选定的任务和异构资源集中提取特征,以构建一个考虑成本的状态表示。然后,将选定的任务和成本感知表示结合起来,作为训练深度Q网络的输入。网络输出最佳资源策略,以平衡截止时间满足和执行成本。最后,我们进行了充分的实验,结果表明,所提出的方法优于已知的基准方法:截止时间满足度提高了12%,执行成本降低了2.03%,资源利用率提高了2.32%。
引言
随着人工智能的发展,工业生产和智能制造发生了迅速变化。现代制造系统面临着不断变化的订单和运营条件。在工业场景中,任务受到严格的時間限制,它们的截止时间会随着生产订单和运营周期的变化而变化[1]。诸如缺陷检测、过程监控和生产跟踪等制造操作通常必须在规定的响应窗口内完成。如果任务未能在预定时间内完成,下游操作可能会延迟,整体生产力可能会下降。此外,在现有调度仍在执行的过程中,可能会出现意外的生产需求。错过截止时间的时间关键任务会导致交货延迟和重大的生产损失。因此,在这种动态的工业环境中,高效的调度仍然具有挑战性[2]。
为了支持灵活的执行,工业任务通常使用具有复杂依赖结构的有向无环图(DAG)来建模[3]。在DAG中,节点代表计算任务,边代表数据依赖关系。然而,在调度过程中,任务的紧急程度并不是固定的。不同的任务对截止时间的满足贡献不同,而且随着系统状态的变化,它们的紧急程度也会改变。因此,调度决策不仅要考虑优先级约束,还要考虑当前可执行任务的动态优先级。这种优先级约束与时间变化紧急程度之间的耦合进一步增加了工作流调度的复杂性。如果没有有效的优先级排序,整体调度性能可能会下降[4]。在存在多种资源类型的异构计算环境中,这一挑战尤为突出。这些资源在配置上存在差异,如计算能力、内存容量、租赁成本和网络带宽[5]。此外,由于工作流调度问题是NP难问题[6],在工业生产系统中实现高可靠性是很困难的。
深度强化学习(DRL)因能够解决这些问题而受到越来越多的关注。DRL非常适合解决顺序决策问题,因为它可以在复杂的状态空间中学习有效的表示。通过代理与环境之间的互动,DRL方法可以在没有固定规则或先验知识的情况下逐步优化调度策略。例如,这些策略能够适应工业环境中任务到达和资源状态的动态变化[7]。然而,在工业制造系统中,由于生产订单的波动,任务的紧急程度可能会实时变化。大多数现有的基于DRL的调度器仍然假设任务的优先级是固定的,并且当出现紧急任务时未能及时更新这些优先级。因此,在任务紧急程度动态变化的现实工业环境中,它们的有效性受到限制。
本文提出了一种针对具有时间关键订单到达的工业制造工作流的紧急感知工作流调度(UAWS)方法,该方法利用深度强化学习。UAWS通过任务紧急程度来表征时间敏感性,并将紧急感知优先级集成到基于DRL的调度框架中。当工业订单波动时,可根据紧急程度动态重新排序可执行的任务,并选择优先级最高的任务进行当前调度步骤。为了表示任务-资源匹配,通过交叉注意力模块对选定的任务和候选虚拟机的特征进行编码。该模块生成一个考虑成本的表示,其中包含资源能力、执行成本和当前系统条件。为了实现强化学习代理,采用了深度Q网络(DQN)。将选定的任务特征和成本感知表示作为DQN的输入。在资源选择之前应用可行性感知的行动屏蔽,以移除不可行的行动,从而只保留可行的调度决策。然后,网络在平衡截止时间满足和执行成本的奖励下进行训练,并为每个选定的任务输出资源选择策略。本研究的主要贡献如下:
(1)提出了一种紧急感知任务优先级策略,以支持工业订单波动下的工作流到达。可执行任务根据紧急程度进行重新排序,其中高调度优先级的任务被分类为高紧急度任务。
设计了一个关注任务-资源表示的基于DRL的框架。任务要求和虚拟机实例的动态状态被联合建模,以提供更准确的值估计。结合了可行性感知的行动屏蔽来过滤不可行的行动,以返回可行的调度决策。
为了处理任务紧急程度的变化,在具有紧迫截止时间的工作流连续到达时,及时更新任务优先级和调度决策。这使得可以选择性刷新相关可执行任务的紧急程度值。
本文的其余部分安排如下。第2节回顾了工作流调度的相关工作。第3节介绍了工作流调度的相关概念并提供了正式定义。第4节详细介绍了用于解决工作流调度问题的方法。第5节描述了实验设置和参数配置。最后,第6节总结了本文并指出了未来的研究方向。
章节片段
相关工作
近年来,工作流调度取得了实质性进展。大多数研究集中在完成时间(makespan)、调度成本、能源消耗和截止时间满足度上。现有方法可以分为四组,包括启发式和元启发式调度、截止时间受限和多目标优化、动态和多工作流调度以及基于DRL的调度。
启发式方法已被广泛研究用于减少完成时间。Fan等人[8]引入了PACP-HEFT
开发的系统模型
整个工作流调度框架及其与应用目标的集成及其工业部署如图1所示。该框架由三个主要层组成,即工作流层、调度层和机器层。调度层实现基于DQN的代理进行优先级排序和任务分配,而工作流层和机器层分别代表提交的工作流和计算资源。
UAWS概述
在这种情况下,工作流的到达是不可预测的,而工作负载强度可能会随时间变化。因此,需要动态资源分配来保持高效的执行。如图2所示,UAWS由三个组成部分构成:紧急程度排序、交叉注意力状态构建和DQN决策制定。环境从工业设备接收工作流任务,并将每个任务建模为带有任务依赖关系的工作流图。它提供当前可执行的任务集
物理配置和数据集
所有实验都在一台配备NVIDIA RTX 4090 GPU和12核AMD Ryzen 9 5900X CPU(运行频率为3.70 GHz)的Ubuntu 20.04服务器上进行。实验中使用的虚拟机配置包括来自美国东区的六种Amazon EC2实例类型。配置如表2所示。为了全面评估所提出的方法,本文采用了两种类型的数据集:
科学工作流数据集:第一个数据源包括四个公开
结论与未来工作
本文提出了一种用于具有异构资源的动态环境中的工业工作流调度的紧急感知DRL方法。可执行任务根据紧急程度进行排名,其中选择最紧急的任务进行调度。然后,一个交叉注意力模块提取任务和资源特征以构建一个考虑成本的表示。该表示反映了制造任务和可用资源之间的匹配关系。选定的任务和成本感知
CRediT作者贡献声明
高宏伟:写作——审阅与编辑,监督。胡文杰:写作——原始草稿,方法论。徐月生:写作——审阅与编辑,监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
高宏伟|胡文杰|徐月生
上海大学计算机工程与科学学院,上海,200444,中国上海
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号