GNN-PO：基于图神经网络和美洲狮优化的云计算智能任务分配模型

《Sustainable Computing: Informatics and Systems》：GNN-PO: A Graph Neural Network Based Intelligent Task Allocation Model for Cloud Computing Using Puma Optimization

　　

- 提出了一种GNN-PO框架，用于云计算环境中的智能任务分配。
- 图神经网络学习异构云环境中的任务-资源关系。
- 美洲狮优化算法最小化完成时间、等待时间和SLA违规。
- 在阿里巴巴集群跟踪数据集v2023上进行了评估，包含50,000个真实世界任务。
- 在收敛性、可扩展性和资源利用率方面优于遗传算法（GA）和粒子群优化算法（PSO）。

**引言**

云计算已成为现代信息系统的基石，为各种应用提供了可扩展、按需且成本效益高的计算资源[1]。云计算服务的快速扩展导致数据中心在高度复杂、多样化和动态的环境中运行，其中工作负载在大小、优先级和资源需求方面持续变化[2]。在此环境下的任务调度是一个极具挑战性的问题，因为糟糕的调度决策可能导致完成时间增加、资源利用不足以及服务级别协议（SLA）的频繁违规[3]。

传统的任务调度和资源分配方法，如基于规则的可扩展计算资源和[1]。云计算服务的快速扩展导致数据中心在高度复杂、多样化和动态的环境中运行，其中工作负载在大小、优先级和资源需求方面持续变化[2]。在此环境下的任务调度是一个极具挑战性的问题，因为糟糕的调度决策可能导致完成时间增加、资源利用不足以及服务级别协议（SLA）的频繁违规[3]。

传统的任务调度和资源分配方法，如基于规则的可缩放方法，无法很好地适应云中动态和易变的工作负载[4]。这些方法通常假设系统条件是固定的，任务和资源之间的交互很少，限制了它们在真实云基础设施中的适用性[5]。随着云系统规模和复杂性的增长，能够考虑任务依赖关系、资源关系和动态系统状态的智能模型越来越受到重视[6]。

深度学习通过使资源管理更加智能化，为云资源管理带来了重大进展[7]。在此背景下，图神经网络（GNN）在表示云环境方面尤为有用，因为它们可以轻松地将任务和资源表示为图中的节点，将它们之间的交互表示为边[8]。GNN通过提取丰富的关系特征，促进了准确的预测，因此可以基于明智的决策进行任务分配，从而提高调度效率和整体系统性能[9]。

基于深度学习的模型并不能始终提供理想的调度决策[10]。这在具有许多冲突目标的大型云环境中尤其如此[11]。元启发式优化算法能够找到最佳的调度解决方案并对其进行改进[12]。模拟美洲狮自然狩猎方式的美洲狮优化算法（Puma Optimization, PO）在探索和利用之间取得了良好的平衡，因此能够处理与云任务分配相关的非常困难的多目标优化问题[13]。选择美洲狮优化是因为其探索-利用机制非常适合云任务分配高度约束和多目标的特性。与可能依赖固定搜索策略的传统优化方法相比，PO提供了对多样化分配解决方案的自适应探索，随后是对有前景解决方案的利用。当必须同时考虑任务依赖关系、异构资源容量、SLA约束和工作负载变化时，这一能力尤为相关。因此，PO通过提供有效的搜索机制来细化任务-资源分配决策，与GNN的关系特征学习能力相辅相成。

上述挑战和机遇促使本研究提出GNN-PO，一种混合智能任务分配框架，将图神经网络与美洲狮优化相结合。该框架旨在减少完成时间和SLA违规，同时提高资源利用率，从而在动态变化的云环境中减少完成时间、提高资源利用率并减少SLA违规。GNN-PO中关系学习和自然启发式优化的结合是一种统一的方法，为云计算任务的智能分配提供了强大且可扩展的解决方案，从而消除了传统方法的缺陷。GNN和PO的整合源于它们在云任务分配中的互补能力。GNN负责学习任务与异构资源之间的结构和上下文关系，从而将任务依赖关系、工作负载特征和资源交互转化为信息丰富的嵌入表示。然而，仅凭学习到的嵌入并不能直接确定在必须同时满足多个调度目标时的最优任务到资源映射。因此，PO使用GNN生成的表示来探索并根据完成时间、任务等待时间、SLA违规和资源利用率来细化候选分配解决方案。在这种顺序设计中，GNN提供数据驱动的关系知识，而PO执行多目标搜索以改进分配决策。与主要依赖预定义规则或不带学习到的关系表示的搜索的传统启发式和元启发式调度器，以及可能需要昂贵的直接决策学习的基于学习的方法相比，GNN-PO将关系特征学习与自适应优化相结合，以更好地考虑任务依赖关系和异构资源约束。

- 提出了一种新颖的GNN-PO框架，将图神经网络与美洲狮优化相结合，用于大规模云计算环境中的智能任务分配。
- 引入了基于图的建模方法，以显式捕获任务依赖关系和异构云资源交互，从而改进调度决策。
- 开发了一种多目标优化策略，在最小化完成时间、任务等待时间和SLA违规的同时最大化资源利用率。
- 通过在真实世界的阿里巴巴集群跟踪数据集v2023上进行广泛实验，展示了所提出框架的可扩展性和有效性。
- 展示了优于传统基于GA和PSO的调度器的性能，实现了更低的完成时间、减少的SLA违规和更高的资源利用率。

**章节结构**

第1节：引言 — 讨论云调度的难点以及采用GNN-PO方法的原因。
第2节：相关工作 — 审视当前的调度技术并指出进一步研究的领域。
第3节：系统模型 — 定义任务、资源以及基于图的问题公式化。
第4节：提出的方法 — 描述GNN-PO架构和优化过程。
第5节：实验设置 — 解释数据集、参数和评估指标。
第6节：结果与讨论 — 分析性能并与现有方法进行比较。
第7节：结论 — 总结结果和未来研究方向。

**文献综述**

Dai等人[14]提出了一项全面的两部分调查，涵盖无线网络中基于图优化和图学习的资源管理，其中网络元素及其之间的交互由图进行建模。作者涵盖了从经典图优化算法到最先进的图学习方法（包括用于功率控制、频谱管理、波束赋形和任务调度的GNN）的广泛方法谱。他们发现，基于图的模型能够……

**方法论**

所提出的方法论将云任务和异构资源建模为任务-资源图，其中多层图神经网络通过学习捕获依赖关系和交互，从而获得信息丰富的任务和资源嵌入表示。这些嵌入表示指导基于美洲狮优化的多目标优化过程，以产生优化的云任务调度方案，并通过完成时间、SLA违规和资源利用率指标进行评估。

图1展示了整体方法论流程……

**结果与讨论**

实验结果表明，GNN-PO框架在所有测量方面均优于传统的启发式和元启发式调度方法。该框架取得了最低的完成时间、最高的资源利用率、最少的SLA违规，并且对于CPU和GPU两种类型的工作负载都实现了最佳的任务完成率。结果证实了在智能云任务分配中采用基于图的学习与美洲狮优化相结合的潜力、可扩展性和鲁棒性。

**讨论**

本文提出了基于图的学习与元启发式优化的集成，这是大规模和异构环境中云任务调度性能的重大进步。GNN-PO框架是一个所提出的解决方案，通过任务-资源图解决了任务依赖关系和资源交互问题，从而允许做出有依据的调度决策，减少完成时间和平均等待时间，同时提高整体资源利用率……

**结论**

在本文中，作者提出了GNN-PO，一种结合图神经网络和美洲狮优化的混合智能任务分配系统，旨在实现高效的云资源管理。该方法通过将任务-资源交互表示为图的形式并学习强大的嵌入表示，有效地识别了任务需求和资源多样性。在阿里巴巴集群跟踪数据集v2023上的实验结果表明，GNN-PO实现了6,876.2秒的完成时间……

**伦理批准**

不适用。

**资助声明**

作者声明，在公共、商业或非营利部门的任何资助机构均未为开展本研究提供特定资助。

**CRediT作者贡献声明**

S Anjali Devi：监督。A Chandrasekar：监督。Mohamed Loey：监督。Mariam S. Alshehri：监督。Mohammed Aljaafari：监督。Ahlem Fatnassi：撰写—原稿。

**利益冲突声明**

作者声明，他们没有已知的可能影响本文报告的研究的财务利益冲突或个人关系。

**致谢**

作者感谢各自的机构提供完成本研究所需要的计算设施和科研环境。作者还感谢阿里巴巴集群跟踪项目提供了公开云工作负载数据集，这极大地促进了本研究中呈现的实验评估。

**利益冲突**

作者声明，他们与本论文的发表没有利益冲突。

**参与同意**

不适用。本研究没有……

Mohamed Loey | Mariam S. Alshehri | Mohammed Aljaafari | Ahlem Fatnassi | S Anjali Devi | A Chandrasekar