基于深度强化学习的边缘智能控制器依赖任务卸载

《Future Generation Computer Systems》:Deep reinforcement learning-based dependent task offloading for Edge Intelligent Controllers

【字体: 大 中 小 】 时间:2026年09月21日 来源:Future Generation Computer Systems 6.2

编辑推荐:

   **摘要** 面向工业物联网的边缘智能控制器(Edge Intelligent Controllers, EIC)作为工业边缘计算的核心组件,在智能制造中得到了广泛应用。在实际的工业控制场景中,受资源约束的EIC无法持续满足计算密集型任务的服务质量(QoS)要求;因此,部分

  

**摘要**

面向工业物联网的边缘智能控制器(Edge Intelligent Controllers, EIC)作为工业边缘计算的核心组件,在智能制造中得到了广泛应用。在实际的工业控制场景中,受资源约束的EIC无法持续满足计算密集型任务的服务质量(QoS)要求;因此,部分任务必须被卸载到边缘计算服务器(Edge Computing Server, ECS)上执行。考虑到工业应用组件之间的依赖关系,我们将应用任务及其前后顺序关系建模为有向无环图(DAG)。在此基础上,我们提出了一种基于序列到序列(Seq2Seq)的深度学习算法——用于依赖任务卸载的深度强化学习算法(SDRL-DTO),以获得卸载策略。该模型考虑了两个优化目标:时延最小化和时延-能耗效用联合最大化。仿真结果表明,在多种设置下,SDRL-DTO均优于所评估的非穷举基线方法;在传输速率为20 Mbps时,其平均时延与HEFT和Greedy算法相当,同时将EIC侧能耗降低了30%。

**引言**

随着工业物联网(IIoT)的快速发展,越来越多的设备连接到工业控制系统以支持智能制造[1]。由此产生的数据量带来了巨大的计算和通信开销[2]。大量的IIoT数据被传输到基于边缘计算的智能控制器(即边缘智能控制器,EIC)进行处理[3]。然而,EIC的算力和存储容量相对有限,无法提供低时延、高质量的服务。作为边缘计算(EC)的一种特定类型,工业边缘计算(IEC)为协助EIC满足上述需求提供了一个有前景的解决方案。IEC在设备层面提供智能服务,并优化通信、计算和存储资源。通过在工厂附近或直接在工厂内处理数据,IEC建立了一种新的范式。在工业应用中,IEC实现了实时控制,并将敏捷连接、数据优化和智能决策整合到传统的工业控制系统中[4]。利用IEC服务,EIC可以将计算密集型任务卸载到边缘计算服务器(ECS)上,从而获得额外的资源[5]。作为IEC中的关键技术,任务卸载(也称为计算卸载)帮助IIoT设备将计算密集型任务从EIC卸载到网络边缘的ECS上,从而大幅降低时延和能耗。

先前的研究考虑了隐私感知卸载[6]、混合任务划分[7]、二进制执行[8]和在线深度强化学习(DRL)卸载[9],但并未明确保留DAG子任务的顺序约束。在实际工业场景中,IIoT应用由若干内部存在依赖关系的子任务组成,其中某些子任务的输出是其他子任务的输入,每个子任务在逻辑上是执行的最小单元[10]。由于依赖型应用包含固定的任务,不能任意拆分,因此在调度时必须保留其前后顺序关系,如图1所示。如果在任务调度时不考虑子任务之间的内部依赖关系,服务质量将严重下降,边缘计算资源也会被浪费。从结构上看,工业控制系统(ICS)中的依赖任务必须由EIC收集并调度,同时保留其顺序约束。在方法层面,需要一种算法使系统能够做出合理的卸载决策。在现有的解决方案中,大多数卸载策略基于启发式算法。随着IEC应用和IIoT结构复杂度的增加,启发式算法难以应对各种情况。因此,迫切需要解决IIoT中依赖任务卸载的问题。

基于上述动机,我们研究了依赖任务卸载(DTO)问题,并将其建模为IEC场景下的马尔可夫决策过程(MDP)。我们使用DAG建模任务依赖关系,其中节点和边分别代表任务及其顺序关系。然后,我们提出了一种用于DTO的基于Seq2Seq的深度强化学习算法(SDRL-DTO)。具体而言,Seq2Seq神经网络模型和DRL分别用于预测任务卸载决策和适应不同的卸载环境。我们通过改变DAG结构、任务数量、传输速率和ECS计算能力来评估SDRL-DTO的性能。

本文的主要贡献总结如下:

- 我们为EIC-ECS工业边缘系统建立了依赖任务卸载问题的数学模型,并建模了本地执行、有线上传和下载、ECS执行以及EIC侧通信和计算能耗。
- 我们开发了SDRL-DTO,该算法编码了按优先级排序的任务序列并生成二进制放置决策。其QoS目标同时考虑了执行时延和EIC侧能耗。
- 我们使用每个任务的排名代价对每个DAG中的任务进行优先级排序,并按向上优先级降序排列,从而为卸载决策生成符合顺序约束的序列。
- 我们使用DAGGEN在受控参数设置下生成的合成DAG实例进行了广泛的实验。仿真结果评估了该方法在DAG结构、任务数量、传输速率和ECS计算能力变化下的性能,并在所评估的非穷举基线中展示了具有竞争力的表现。

本文的其余部分组织如下:第2节回顾相关工作;第3节提出系统模型;第4节描述SDRL-DTO;第5节计算复杂度分析和第6节仿真结果分别提供复杂度分析和仿真结果;第7节总结全文并展望未来的工作方向。

**相关工作**

随着工业自动化系统智能化的不断深入,越来越多的工业应用需要大量的计算资源。通过有线传输将计算任务从资源受限的EIC卸载到IEC服务器已成为满足工业应用计算资源需求的一种有前景的范式。最近,许多研究致力于探索边缘计算中任务卸载的优化问题。大多数现有研究……

**系统架构**

所提出的依赖任务工业边缘计算系统架构如图2所示,系统模型中使用的主要符号汇总于表2中。该架构由三个主要层次组成,即工业设备层、边缘层和边缘应用层。各类IIoT设备(例如智能传感器、执行器、机械臂等)部署在工业设备层,能够感知IIoT场景中的生产过程,每个设备具有……

**SDRL-DTO设计**

如图4所示,SDRL-DTO将离线训练与在线放置分离。ECS在维护期间收集代表性的DAG实例并训练Seq2Seq策略。然后将活跃策略部署到EIC上,一次前向推理即可生成二进制放置序列。ECS执行卸载的任务并返回结果,而EIC在顺序和资源约束满足时执行本地任务。这种设计避免了PPO在EIC上进行训练……

**计算复杂度分析**

设n为任务数量,d为每个任务的输入维度,h为循环隐藏层大小,Npar为活跃的actor-critic参数数量。输入投影的代价为O(n·d·h)。双向LSTM编码器和两层LSTM解码器的代价为O(n·h2),而Luong注意力机制在每个解码步骤的代价为O(n2·h)。因此,一次前向放置推理的时间复杂度为O(n·d·h + n·h2 + n2·h),当注意力对齐在所有解码步骤上被保留时,工作内存复杂度为O(Npar + n·h + n2)。

**仿真结果**

在本节中,我们进行了广泛的实验来评估SDRL-DTO算法的性能,并使用Python和TensorFlow构建和训练神经网络。我们考虑两个服务目标:最小时延(MD)和最大效用(MU),其中MU同时考虑时延和EIC侧能耗。实验在一台基于GPU的服务器上执行,配备NVIDIA RTX 3090 Ti GPU、第12代Intel Core i9-12900K CPU和64 GB内存。首先设置仿真参数……

**结论**

本文对EIC与可用ECS之间的工业DAG任务依赖感知二进制放置进行了形式化建模。SDRL-DTO将向上优先级任务排序与基于注意力的Seq2Seq策略相结合,并通过PPO进行训练,同时支持时延最小化和归一化的QoS目标,后者同时反映完成时延和EIC侧能耗。在所评估的任务数量、传输速率和ECS容量设置下,SDRL-DTO在非穷举方法中取得了最佳结果……

**CRediT作者贡献声明**

Shang Wenli:撰写-审阅与编辑、撰写-原稿、方法论、资金获取、概念构思。
Jiang Zhenbang:撰写-原稿、软件、数据整理。
Li Gangfu:撰写-原稿、软件、数据整理。
Chen Zhuo:资源、形式化分析。
Chen Wenhui:撰写-原稿、资源、数据整理。
Cao Zhong:撰写-审阅与编辑、撰写-原稿、监督、方法论、概念构思。

**利益冲突声明**

作者声明不存在任何可能影响本文报告工作的已知竞争性财务利益或个人关系。

**致谢**

本研究部分得到了国家自然科学基金(批准号:62173101)的资助。

Shang Wenli | Jiang Zhenbang | Li Gangfu | Chen Zhuo | Chen Wenhui | Cao Zhong
广州大学 电子与通信工程学院,广州 510006,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号