利用GNN优化云雾计算中的数据分析工作流调度

《Future Generation Computer Systems》:Optimizing data analytics workflow scheduling in cloud-fog computing with GNNs

【字体: 大 中 小 】 时间:2026年07月11日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  Waralak Chongdarakul|Khomkrit Yongcharoenchaiyasit|Nattapol Aunsri|Sujitra Arwatchananukul|Prasitthichai Naronglerdrit泰国清莱玛哈鲁昂大学应用数字技术学院摘要数据

  
Waralak Chongdarakul|Khomkrit Yongcharoenchaiyasit|Nattapol Aunsri|Sujitra Arwatchananukul|Prasitthichai Naronglerdrit
泰国清莱玛哈鲁昂大学应用数字技术学院

摘要

数据分析工作流在科学和商业领域中被广泛应用,需要在复杂的云雾计算环境中处理大量实时任务。尽管云计算和雾计算在管理这些工作负载方面各有优势,但高效的任务调度仍是一个关键挑战。传统的基于列表的启发式方法虽然普遍使用,但往往无法保证最优的处理时间和最短的完成时间。本文提出了一种新的调度方法,利用图神经网络来提升云雾系统中的工作流处理效率。该GNN模型能够根据特定工作流图的结构动态选择合适的启发式策略,从而降低响应时间和处理时间。通过在不同配置下进行大量测试,将所提出的GNN模型与现有的调度算法进行比较,结果显示,该方法在降低完成时间方面取得了77.32%的成功率。通过与现有启发式方法的对比或超越,这种数据驱动的方法在保持快速、高效和较高吞吐量的同时,优于传统的固定策略。这些结果表明,该方法在云雾环境中的复杂任务调度中具有有效性和适应性。

引言

数据分析工作流是科学研究、工程领域以及商业决策中的重要组成部分,它涉及通过复杂的计算任务来处理海量数据[1]。这类工作流包含大量且复杂的任务,随着用户需求的增加而不断扩展规模。它们通常由云计算系统来管理,这类系统能够提供应用程序、网络和数据存储等虚拟化资源[2]。然而,云计算固有的延迟和高数据传输成本使其不适合用于健康监测或紧急系统等需要实时、低延迟的应用场景。
为了解决这些限制,雾计算将云计算模式延伸到更靠近网络边缘的位置[3]。通过将计算任务放到网络边缘,雾计算系统可以有效降低延迟、减少数据传输时间并消除通信瓶颈,因此成为现代数据分析解决方案中的重要组成部分。
在这样异构的云雾环境中,高效的任务调度对于优化运营成本和提高工作流性能至关重要。工作流通常以有向无环图的形式表示,其中节点代表计算任务,边则表示数据或控制上的依赖关系[4]。面临的挑战在于如何智能地将这些任务分配到最合适的云节点或雾节点上,因为那些需要大量数据或复杂计算的任务往往更适合在云资源上处理,而那些要求低延迟的任务则更适合放在雾节点上[5]、[6]。由于云计算和雾计算在架构上的差异,它们需要不同的调度方法[7],而工作流有向无环图结构上的任意复杂性进一步增加了优化难度。
目前广泛采用的基于列表的启发式调度算法因其简单性和不错的性能而被广泛应用,但在动态且复杂的云雾环境中,它们往往难以保证始终能得到最优结果。虽然这些方法提供了多种任务优先级排序和资源分配策略,但其静态的、基于规则的设计使得它们难以在各种不同的工作流图中始终找到最佳解决方案。这就导致在实际工作中性能难以预测,很难在不了解某种启发式方法适用性的情况下就期望它能始终带来接近最优的结果。
因此,这类方法可能难以灵活适应现实工作中不断变化的结构特征。这有时会导致任务完成时间无法得到充分优化、资源利用率低下或等待时间增加,尤其是在处理大规模或结构极为复杂的有向无环图时。这一特性表明,在当今工作流变化极大的云雾计算环境中,需要更具适应性的解决方案来进一步提升其效率。
为了解决这些问题,本文提出了一种新的调度方法,该方法利用图神经网络,具体来说是GraphSAGE算法。如图1所示,该GNN模型能够根据输入任务图的唯一结构特征和处理器参数,动态学习并预测最适合的现有启发式调度算法。这种数据驱动的方法无需进行逐一的算法比较,因而能够提供一种具备自适应能力和预测功能的解决方案。其目标是通过选择最优的启发式策略,实现更短的任务完成时间、更高的资源利用率以及更好的整体系统性能,其预测能力则通过F1分数和准确率来衡量。
在FogWorkflowSim云雾模拟环境中,对所提出的基于GNN的算法进行了严格评估。测试中使用了多种不同的工作流数据集,包括分布式工作流[8]、开源的WfCommons框架[9]以及Pegasus工作流[10]、[11]。
在多种处理器配置下,将该算法与七种常见的启发式算法进行了性能对比,这七种算法分别是HEFT、CPOP、PEFT、PPTS、HSV、IPEFT和IPPTS。评估重点关注了任务完成时间、调度长度比、加速比、效率以及吞吐量等关键指标。测试结果表明,所提出的基于GNN的方法始终能够提升调度可靠性,显示出其对不同工作流结构的良好适应性,因此可作为一种可靠的解决方案,用于云雾计算中的复杂任务调度。
图1展示了所提出的基于GNN的任务调度方法的整体结构。该图说明了调度系统的各个关键组成部分。用户需求以工作流输入的形式提交,这些输入表现为任务图。在这些图经过数据预处理后,会被送入图神经网络模型中。该模型的运行包含三个核心阶段:任务节点之间通过消息传递实现信息共享、学习特征以完整表征整个工作流,以及后续的调度策略分类。基于学到的任务图特征,模型会选出最合适的启发式调度策略,然后将该策略应用于云资源和雾资源上的任务调度,从而优化任务完成时间、效率及吞吐量等指标。
本文的结构如下:第2节介绍了与启发式调度算法以及基于机器学习的任务调度算法相关的研究内容;第3节阐述了基于列表的启发式任务调度问题;第4节介绍了用于任务调度的机器学习模型,第5节则展示了相关实验结果;第6节为讨论部分,第7节为研究结论。

章节要点

相关研究

有许多研究致力于开发任务调度算法,以提高基于云的网络中的处理效率。这类算法大致可分为两类:一类是用于云雾计算中工作流的启发式方法,另一类则是基于机器学习的任务调度方法。本节将对现有研究进行综合概述,分析传统启发式方法和现代机器学习技术的优点与局限性,其中包括

基于列表的启发式任务调度问题

在云雾计算环境中,高效的任务调度对于优化资源分配、缩短响应时间以及确保任务在各种异构计算节点间顺畅执行至关重要。调度问题的出现是因为需要在考虑计算成本、通信开销以及网络延迟和带宽等系统约束的前提下,动态地将任务分配到云节点和雾节点上。传统的基于启发式的调度方法在

基于GNN机器学习的任务调度方法

随着机器学习的不断发展,出现了一些智能化的任务调度方法,这类方法利用预测模型来改进调度决策。通过学习过去的调度数据以及系统状态,机器学习技术,尤其是图神经网络,能够预测出最优的调度策略。这些模型能够自动化决策过程,减少逐一搜索的需要,从而提高整个系统的效率。本研究提出了一种将机器学习模型与

实验结果

通过使用F1分数和准确率等指标来衡量GNN模型的性能,对实验结果进行了评估。调度结果的评估指标包括任务完成时间、调度长度比、加速比、效率以及各项指标之间的对比情况。

讨论

本研究表明,将GNN分类器整合到调度系统中,可以通过避免对每个任务图都进行逐一的启发式处理,大大降低调度开销。该模型取得了不错的准确率和F1分数,证明它能够在不同类型的工作流中通用。此外,它还显著减少了处理时间,能够在动态环境中有效扩展,并且在处理大量任务时仍能保持较高的速度和效率。
不过,它的性能

结论

本研究提出了一种基于机器学习的调度框架,该框架整合了图神经网络,用于提升云雾计算环境中的工作流调度性能。该框架在包含4台、8台、16台和32台虚拟机的不同配置下,针对分布式工作流、WfCommons以及Pegasus数据集进行了测试,并与HEFT、CPOP、PEFT、HSV、PPTS、IPEFT和IPPTS等主流启发式算法进行了比较。
该框架采用了基于GraphSAGE的GNN分类模型

CRediT作者贡献说明

Waralak Chongdarakul:写作——审阅与编辑,写作——初稿撰写,项目管理,方法论,正式分析,概念设计。Khomkrit Yongcharoenchaiyasit:软件开发,方法论,数据整理。Nattapol Aunsri:写作——审阅与编辑,验证,研究分析。Sujitra Arwatchananukul:写作——审阅与编辑,写作——初稿撰写,方法论,研究分析。Prasitthichai Naronglerdrit:写作——审阅与编辑,验证,方法论,研究分析,

利益冲突声明

作者声明,他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。
某位作者是该期刊的编委会成员/主编/副主编/特邀编辑,但他并未参与本文的编辑评审或发表决定。

致谢

本研究得到了泰国政府科技奖学金学生协调中心(CSTS)和国家科学技术发展局(NSTDA)的支持。作者们衷心感谢玛哈鲁昂大学提供的财政支持,同时也要特别感谢Chidchanok Lursinsap教授给予的宝贵建议和启发。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号