一种用于云负载均衡优先级工作流调度的强化学习方法

《Parallel Computing》：A reinforcement learning approach to prioritized workflow scheduling for cloud load balancing

　　# 摘要云计算是一种分布式计算系统，根据需求提供资源和服务。管理云计算资源的主要问题是云环境中的任务调度和资源配置。科学过程的计算复杂性和相互依赖性限制了云计算资源管理的使用。通过强调基于利用率的工作流检测和调度来实现负载均衡。本文设计了一种新颖的两阶段框架，以减少工作流调度中无法满足截止日期的作业数量。本文提出了一种新方法，称为混合耳廓狐老鼠群优化（HFe-RSO），为任务分配优先级。然后，开发了一种工作流调度模型，称为增强型软 Actor-Critic 深度强化学习（ESAC-DRL），通过考虑任务优先级和利用率来实现高效的资源管理。使用 Montage、CyberShake、Sipht、Epigenomics 和 Inspiral 等工作流基准来评估所提模型的性能。使用成本、完成时间和利用率来分析所提方法的性能，并与最先进的方法进行比较。使用所提方法，成本为 259.11 美元，完成时间为 99.84ms，利用率为 96.20%。实验结果表明所提方法优于其他现有方法。# 引言近年来，云计算已成为通过互联网进行虚拟计算和资源分配的最有效方法 [1,2]。在云计算中，服务水平协议（SLA）用于向访问云平台的用户提供 服务 [3,4]。云计算平台提供了许多功能，如可扩展性、资源池化、虚拟化和多租户 [5,6]。借助这些功能，云服务提供商实施了各种云服务，如软件即服务（SaaS）和平台即服务（PaaS）。然而，云服务提供商严重依赖于任务调度算法的实施 [7,8]。在任务调度中，一组任务被映射到异构虚拟机（VM）中，工作流被表述为有向无环图（DAG）。DAG 的每个节点表示一个任务，每条边表示依赖关系 [9,10]。在动态场景下，需要高效的任务调度方法来获得更好的资源利用率、完成时间和成本性能 [11,12]。通过使用这些方法，资源在动态工作负载下分配给用户 [13,14]。由于调度任务取决于工作流的任务依赖关系，这确保了为用户提供低成本服务。由于资源配置不当，系统的能源消耗、执行时间、成本和服务质量（QoS）会下降 [15,16]。近年来，已对任务调度和资源配置进行了多项研究 [17,18]。现有的工作流调度方法严重依赖于基于规则的技术或其他启发式程序 [19,20]。这包括基于优先级的方法和其他调度方法 [21,22]。这些方法计算效率高，但需要静态决策规则。此外，适应资源可用性和动态环境使调度过程变得复杂 [23,24]。包括基于群集或进化方法在内的元启发式方法被用于解决与大解决方案空间相关的问题。但是，这些方法的性能因早熟收敛、有限适应性和计算开销而下降 [25]。这可能在执行过程中改变系统状态时发生。最近，基于深度强化学习（DRL）的方法已被纳入云环境中的资源配置。使用 DRL 是因为其学习能力和与环境的自适应交互能力。它是一种半监督方法，用于增强云环境中的 QoS。该方法使用的参数低于其他传统方法 [26]。在讨论工作流调度时，包括将任务持续分配给资源以优化目标函数，如执行时间、成本或能源使用。此外，强化学习（RL）通过学习策略来处理工作流调度是有效的，其中它根据奖励基于其行动的结果接收反馈 [27,28]。与需要大量标记数据集的深度学习（DL）不同，RL 技术直接从系统反馈中学习，使其对异构和分布式系统中的复杂实时调度挑战更具适应性和可扩展性 [29,30]。与工作流调度相关的基本挑战使其成为一个困难的优化问题。最初，调度的灵活性受到依赖约束的限制，需要优先级划分来缓解瓶颈 [31,32]。然后，异构资源环境和云环境的虚拟机资源本质上是动态的。此外，DL 和元启发式方法面临探索与利用之间的权衡挑战 [33]。这导致由于次优调度决策而表现出不稳定的性能 [34]。这些挑战需要开发新颖的方法，整合 DRL 和混合优化方法，以确保自适应和稳定的决策 [35]。上述挑战启发我们引入一种新的混合调度框架，将 DRL 与元启发式方法相结合。所提方法通过使用优先级辅助的 ESAC-DRL 技术克服了依赖约束的限制。本研究的目标是在云计算环境中实施任务调度和资源配置以实现有效的负载均衡。所提方法使用的想法是利用基于适应度的探索 and 任务依赖关系来生成任务优先级值。在所提方法中，调度问题被分解为子问题，包括任务优先级划分和自适应虚拟机调度。HFe-RSO 负责根据完成时间、利用率比和截止日期为任务设置优先级分数。这确保了瓶颈任务的调度并最小化与依赖相关的延迟。所提方法通过为作业分配最佳优先级来优化调度过程，促进效率和稳定性。此外，ESAC-DRL 中的优先级改进状态提供了更大的决策灵活性。正则化熵，从而保持探索与利用之间的稳定平衡。这种组合方法解决了调度行为不稳定性并减少了动态工作负载中的性能偏差。因此，所提解决方案能够克服现有解决方案导致的问题，并能够在动态环境中高效地调度、利用资源并保持完成时间。本研究的主要贡献如下：- 设计和实施了一种新的混合工作流调度方法，整合了 HFe-RSO 和 ESAC-DRL 模型，能够在分布式云环境中考虑优先级和适应性来调度工作流。- 引入了一种任务调度多目标优化和资源配置方法，在云计算平台中优化截止日期、利用率和完成时间。- 提出了一种新颖的 HFe-RSO 算法，用于识别工作流调度的优先级，以避免错过截止日期的任务调度、缓解瓶颈并确保独立任务的并行执行。- 在 ESAC-DRL 模型中调度工作流，由于其连续和动态的调度决策，改进了负载均衡和资源配置。它处理探索-利用问题并减少了不同并行计算情况下的不稳定性。- 在各种性能场景下的标准 DAG 工作流中，与传统技术相比证明了所提方法的有效性和鲁棒性，并验证了所提方法的性能。- 所提框架可以通用方式使用，具有与并行工作流引擎和云资源管理系统集成的能力，使其对实时数据密集和高性能计算环境具有重要意义。本研究的组织结构如下：第 2 节描述了相关工作和问题陈述；第 3 节描述了工作流调度。第 4 节给出了讨论和结果，而第 5 节总结了本研究。# 章节摘要## 相关工作Santos 等人 [36] 定义了使用半监督学习在雾计算平台上进行资源配置。在这项研究中，DRL 技术被引入用于雾云服务提供商。此外，深度 Q 学习（DQL）技术被用作代理，专注于最小化混合整数线性规划（MILP）设计产生的成本。在实验部分，50 个用户请求获得了 3600 秒的执行时间。然而，由于...## 系统模型工作流通常被认为是一系列通过数据或计算需求连接的活动。云工作流管理系统（WMS）是一种在云中执行工作流应用的方法。工作流由 WMS 管理和执行。WMS 将根据操作员的用户定义 QoS 要求为远程属性创建工作流，并与满足用户定义 QoS 要求的远程属性进行 SLA 协商。工作流引擎的数据管理部分...## 结果与讨论所提出的基于 HFe-RSO+ESAC-DRL 的工作流调度是在 CloudSim 平台 [54] 上设计的，并根据完成时间、利用率和执行成本等各种评估指标进行评估。这里，分析是使用五种基准工作流调度配置进行的：Montage、CyberShake、Sipht、Epigenomics 和 Inspiral。此外，传统的工作流调度方法如 GWO [45]、耳廓狐优化（FFO）[46]、老鼠群优化（RSO）[47]、粒子群...## 结论在本研究中，提出了一种使用混合启发式算法和有效 RL 进行工作流调度的方法。引入 HFe-RSO 方法以改善探索和搜索性能，并在云中优先处理工作流请求。将老鼠的打斗行为与耳廓狐的目标捕获行为混合以加快收敛速度。此外，该算法的平衡探索和开发能力得到保持，以...## 资助本手稿的编制未提供任何资助。## CRediT 作者贡献声明**Sanjay Gupta：** 撰写 – 原稿，项目管理，方法论，调查，资金获取，形式分析，数据筛选，概念化。**Sarsij Tripathi：** 撰写 – 审阅与编辑，可视化，验证，监督，软件，资源，概念化。作者：Sanjay Gupta | Sarsij Tripathi