面向工业物联网的自适应辅助任务生成与强化学习增强的多任务多种群进化卸载方法

《Future Generation Computer Systems》：Adaptive auxiliary task generation and reinforcement learning-enhanced multi-task multi-population evolutionary offloading in IIoT

　　

基于工作流的计算卸载已成为提升工业物联网（IIoT）系统执行效率的基本技术。然而，异构工作流结构、复杂的任务依赖关系以及动态的资源条件使得多工作流卸载成为一个具有挑战性的多目标优化问题。现有的进化式卸载方法通常独立优化各工作流，缺乏有效的知识共享机制，导致搜索效率有限，并在异构任务间产生潜在负迁移。为解决这些问题，本文将多工作流计算卸载建模为多任务多目标优化问题，并提出一种基于辅助任务自适应生成与强化学习增强的多种群MOEA/D方法（ATRL-MT-MOEAD）。所提出的框架将每个工作流分配给独立子种群进行协同进化，引入自适应辅助任务以加速收敛，并采用基于强化学习的知识迁移机制动态调节跨任务信息共享，同时抑制负迁移。在具有代表性的IIoT工作流基准上的实验结果表明，所提方法始终取得最优优化性能。与每项指标下最强基线方法相比，所提方法将平均IGD降低72.0%，GD降低80.4%，ACT降低16.8%，AEC降低14.5%，同时始终取得更优的Pareto前沿质量。这些结果验证了所提框架在动态IIoT环境中为复杂多工作流计算卸载提供了更优的收敛性、解的多样性和优化有效性。

引言

随着工业物联网技术和智能制造的快速发展，工业物联网（IIoT）已成为下一代工业系统的基础设施。在智能工厂、工业巡检、预测性维护和能源管理等应用中，大量工业设备持续生成复杂的计算任务。这些任务通常具有计算密集、时延约束严格、工作流结构异构以及能源资源有限等特征，对系统响应性、可靠性和资源管理提出了严格要求。此外，工业工作流应用通常由多个具有复杂优先级约束的相互依赖任务组成，而动态无线信道和波动边缘资源进一步增加了IIoT环境中计算卸载和调度的复杂度[1]、[2]、[3]。

移动边缘计算（MEC）已成为解决IIoT环境计算瓶颈的一种有效范式。通过在网络边缘部署计算和存储资源，MEC为工业设备提供了低时延和高可靠性的计算服务[4]、[5]。在MEC的支持下，计算卸载——即将计算密集型任务从资源受限的设备迁移到边缘服务器——已成为提升系统性能和资源利用效率的关键技术。

尽管计算卸载带来诸多优势，工业环境的复杂性为高效卸载决策引入了一系列挑战。首先，许多工业应用由多个相互依赖的任务组成，可自然地建模为有向无环图（DAG）。任务间的优先级约束将任务调度顺序与卸载决策紧密耦合，意味着任务执行位置的任何变更都可能影响整个应用的完成时间和能耗[6]、[7]。其次，在实际IIoT场景中，多个设备通常并发执行不同应用，而多个边缘服务器协同提供计算服务。运行在不同工业设备上的应用可能在任务规模、工作流结构和资源需求方面存在显著差异，导致高度异构且动态变化的决策空间。此外，工业无线环境受信道波动、资源竞争和动态设备状态的影响，要求卸载策略具备较强的适应性和鲁棒性。传统的基于规则或静态参数的方法通常无法在此类动态条件下保持稳定性能。

为解决IIoT系统中的计算卸载问题，现有研究通常将卸载决策建模为优化问题，并使用启发式算法、凸优化或进化算法求解。尽管这些方法在某些场景中可取得令人满意的性能，但大多数方法仅关注单设备或单应用的优化，且通常假设任务相互独立。近年来，多目标进化算法（MOEAs）因其在处理非线性和非凸优化问题方面的强大能力，被广泛应用于计算卸载研究中。然而，大多数现有工作仍集中于单任务或单场景优化，忽略了不同工业任务间潜在的结构性相似性和可迁移知识。

最近，多任务进化优化（MTEO）作为一种同时求解多个相关优化问题的有前景的范式出现。通过在进化过程中实现任务间的知识共享，多任务优化方法有望提升搜索效率和解的质量。然而，在IIoT计算卸载场景中，来自不同工业应用的任务往往表现出显著异构性。若缺乏适当的迁移控制机制，不加选择地共享知识可能导致负迁移，从而降低优化性能。

尽管基于深度强化学习（DRL）的在线优化方法在动态资源管理中表现出令人瞩目的性能，但它们更适合根据流式系统状态持续更新决策的场景。相比之下，本文研究的计算卸载问题聚焦于应用执行前的工作流级别部署规划。鉴于异构工作流、DAG依赖约束和多个优化目标所带来的庞大决策空间，获取高质量的全球性卸载策略比做出即时决策更为关键。因此，本工作采用离线进化优化范式，在工作流执行前优化卸载策略并在运行时直接应用。与在线DRL方法相比，所提框架避免了在线训练开销和收敛不稳定性，同时提供多样化的Pareto最优解集，以实现完成时间与能耗之间的灵活权衡。这种优化范式尤其适用于工业工作流调度，其中工作流可预先获知，优化质量优先于实时策略学习。

基于上述观察，本文从多任务多目标优化的角度重新审视了IIoT中的工作流计算卸载问题。现有研究仍面临若干挑战，包括缺乏针对异构多工作流应用的统一优化框架、对相关工作流间可迁移知识的利用有限以及静态知识迁移策略在动态工业环境下适应性不足。为解决这些问题，我们提出了一种基于多种群MOEA/D架构的强化学习增强多任务进化优化框架。本文的主要贡献总结如下：

•我们将IIoT中的基于工作流计算卸载建模为多任务多目标优化问题。由不同工业设备执行的多个异构工作流应用被联合优化，在保持工作流依赖约束的同时最小化应用完成时间和设备能耗。

•我们提出了一种基于多种群MOEA/D的多任务进化优化框架，其中每个工作流被分配独立的进化子种群。分解机制在保持搜索多样性的同时实现协同优化，并降低了由异构工作流结构引起的复杂度。

•我们开发了一种自适应辅助任务生成机制，用于构建简化的优化任务，有效引导进化搜索朝有希望的解区域收敛。此外，引入了一种基于强化学习的知识迁移调控策略，根据进化状态动态确定迁移行为，从而促进正迁移并抑制异构任务间的负迁移。

•在具有代表性的IIoT工作流计算卸载场景上进行了大量实验。与最先进的启发式、进化、强化学习和多任务优化方法相比，所提算法在应用完成时间、能耗、收敛质量和Pareto前沿分布方面均取得了更优的优化性能，同时保持了离线优化可接受的计算开销。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍系统模型和问题建模。第4节详细描述所提出的多任务多目标进化卸载算法。第5节通过大量仿真实验评估所提方法的有效性。最后，第6节总结全文并讨论未来研究方向。

相关工作

随着工业物联网（IIoT）的快速发展，基于工作流的计算卸载已成为提升系统效率和资源利用率的关键范式。然而，IIoT应用的固有特征，包括复杂的任务依赖、多目标优化需求和动态环境，对现有优化方法提出了重大挑战。本节从三个视角回顾相关工作：（1）计算……

系统模型

（1）计算模型

考虑由工业终端设备和边缘服务器组成的IIoT系统，如图1所示。设工业设备集合为D={D?,D?,…,D_N}，其中D_i表示第i个工业设备，N表示设备总数。类似地，边缘服务器集合为S={S?,S?,…,S_M}，其中S_j表示第j个边缘服务器，M表示服务器数量。每个工业设备执行一个独立的工业应用。

算法设计

针对工业物联网（IIoT）环境中多个工业设备并行执行异构工作流应用的场景，在动态信道条件和资源竞争下，计算卸载决策变得高度复杂。不同应用在任务规模、拓扑结构以及计算和通信需求方面存在显著差异。因此，所形成的优化问题……

实验场景与参数设置

为验证所提出的多任务多目标进化卸载算法的有效性，构建了一个典型的工业物联网（IIoT）计算卸载仿真环境。该系统由N个工业设备和若干边缘服务器组成。每个设备运行一个工作流应用G_i，并通过无线链路与边缘侧通信。所有工作流均建模为有向无环图（DAG），其中节点表示计算任务，边表示……

结论与未来工作

本文针对工业物联网（IIoT）环境中复杂工作流结构、多优化目标和动态变化系统状态所面临的挑战进行了研究。将多设备计算卸载决策问题建模为多任务多目标优化问题。为提升复杂场景下的整体优化性能，提出了一种基于多种群MOEA/D的多任务进化卸载优化方法。

作者贡献声明

Jun-Jun Ren：撰写——审阅与编辑、撰写——原稿、概念构思。Zheng-Yi Chai：撰写——审阅与编辑、撰写——原稿、方法学、调查研究。Ya-Lun Li：监督、软件。Jun-Jie Li：撰写——原稿、监督、软件。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所述工作。

Jun-Jun Ren现为郑州商学院计算机与大数据工程学院副教授。他的主要研究方向包括物联网和深度强化学习。（邮箱：[e-mail]）

Jun-Jun Ren | Zheng-Yi Chai | Ya-Lun Li | Jun-Jie Li

郑州商学院计算机与大数据工程学院，中国郑州