云计算环境中任务故障早期预测的深度学习方法

《Systems and Soft Computing》:A deep learning approach for early prediction of task failures in cloud computing environments

【字体: 大 中 小 】 时间:2026年02月11日 来源:Systems and Soft Computing 3.6

编辑推荐:

  云计算环境中任务故障的预测至关重要,因其对任务执行和资源利用具有关键影响。与任务故障事件相关的潜在风险可能导致依赖云服务的客户不满。因此,理解任务故障的特性和属性以预防故障,或至少发展容忍故障的能力至关重要。尽管已有关于故障分析的研究,但明显缺乏对人工智能(A

  
云计算环境中任务故障的预测至关重要,因其对任务执行和资源利用具有关键影响。与任务故障事件相关的潜在风险可能导致依赖云服务的客户不满。因此,理解任务故障的特性和属性以预防故障,或至少发展容忍故障的能力至关重要。尽管已有关于故障分析的研究,但明显缺乏对人工智能(AI)在表征和预测任务故障方面的应用关注。本研究旨在通过开发一个能够早期识别故障任务并预测代表任务生命周期中任务状态的故障事件类型的故障预测框架来填补这一空白。研究人员提出了一个混合特征提取和分类框架,该框架使用SelectKBest进行特征预选择,并使用门控循环单元(GRU)网络作为序列级特征提取器。提取的特征由GRU用于训练机器学习分类器,以进行多类预测阶段,包括随机森林(RF)、K近邻(KNN)和支持向量机(SVM)。该框架具有多种优势,包括减少资源浪费和服务水平协议(SLA)违规。该框架基于对Google集群轨迹的分析进行评估,其中任务状态包括启用、驱逐、丢失、完成、终止、失败、排队、调度、更新待定和更新运行。研究结果表明,使用前14个特征训练的GRU模型在特征提取方面达到了97.7%的测试准确率,且组合的GRU-RF模型提供了最佳的预测性能(总体均方根误差(RMSE)=0.1415,失败类F1分数=0.99%,每类平均曲线下面积(AUC)>0.98)。
**论文解读:基于深度学习的云计算环境任务故障早期预测方法**

**1. 研究背景、问题与动机**

云计算作为一种按需提供计算资源的服务模式,其大规模、异构和分布式特性使得系统易受故障影响。任务故障不仅会导致资源浪费,还会违反服务等级协议(SLA),严重影响客户满意度和服务提供商的声誉。尽管已有一些研究关注故障分析,但多数工作侧重于传统的机器学习方法,未能充分利用深度学习在捕捉时间序列数据中复杂依赖关系方面的能力。现有方法在处理Google集群轨迹这类具有高维特征和复杂时间行为的数据集时,常受限于无法有效捕获长程依赖和动态工作负载模式,尤其在多类预测任务中表现不稳定。因此,亟需一种能够早期识别故障任务并预测多种故障事件的混合框架,以提升云计算系统的可靠性和资源利用率。

**2. 研究内容与主要结论**

本研究提出了一种集成特征选择、深度特征提取和多模型分类的混合预测框架。该框架基于Google集群轨迹(2019年5月八个Google Borg集群的工作负载数据),旨在早期预测任务故障事件,并区分九种任务事件类型(Enable、Evict、Lost、Finish、Kill、Fail、Queue、Schedule、Update Pending、Update Running)。主要结论包括:

- SelectKBest特征选择方法在选取前14个特征时,使GRU模型达到最高测试准确率97.7%。
- 组合GRU-RF模型在预测性能上表现最优,总体RMSE为0.1415,Fail类的F1分数达0.99,每类平均AUC大于0.98。
- 相较之下,GRU-KNN和GRU-SVM模型的性能略逊,GRU-RF在多数事件类别(如Fail、Kill、Update Pending)上均取得最佳结果。
- 与基于人工神经网络(ANN)的同类模型(ANN-RF、ANN-SVM、ANN-KNN)相比,GRU-RF的RMSE更低(0.14 vs. 0.22),表明GRU提取的时间嵌入特征能有效提升分类器的稳定性和泛化能力。

**3. 主要关键技术方法**

研究人员主要采用了以下关键技术方法:

- **特征选择**:使用**SelectKBest**方法,基于单变量统计分析选择与目标变量(任务事件)最相关的top-k特征,最终确定最佳特征数为14。
- **特征提取**:采用**门控循环单元(GRU)** 网络作为序列级特征提取器,通过训练GRU模型学习输入序列中的时间依赖模式,并从隐藏层提取表示特征。
- **多类分类**:将GRU提取的特征输入三种机器学习分类器——**随机森林(RF)**、**支持向量机(SVM)** 和**K近邻(KNN)** 进行预测。
- **数据集**:使用**Google Borg集群轨迹**(源于Kaggle的Google 2019 Cluster Sample),包含任务的事件、资源请求、使用量等属性。

**4. 研究结果**

**4.1 GRU模型用于特征提取**
研究人员采用SelectKBest测试不同N值,当N=14时GRU模型测试准确率最高(97.7%)。选定的14个特征包括优先级、垂直缩放、调度器、开始时间、结束时间、分配内存、页缓存内存、调度类、CPU资源请求、内存资源请求、平均CPU使用量、平均内存使用量、最大CPU使用量和最大内存使用量。训练5个epoch后,损失降至0.1372,表明GRU有效学习了数据模式。

**4.2 随机森林(RF)模型**
GRU-RF模型在最优超参数(n_estimators=100,max_depth=None,min_samples_split=2,min_samples_leaf=1,bootstrap=True,random_state=42)下表现优秀。混淆矩阵显示,模型能准确预测Evict事件(所有实例正确),对Fail事件仅少数错误分类为Schedule或Finish。ROC曲线显示,Evict、Fail、Finish、Queue、Lost、Schedule事件的AUC接近1,而Kill和Update Pending的AUC略低。

**4.3 支持向量机(SVM)模型**
GRU-SVM模型(C=1,γ=’scale’,degree=3,coef0=0,shrinking=True,class_weight=None)的精度和召回率低于GRU-RF。Fail事件精确率91%,Enable、Schedule、Finish事件平均精确率93%。Lost事件表现良好,但Kill事件预测精度最低(F1=0.67),Update Pending事件精确率完美但召回率仅0.70。

**4.4 K近邻(KNN)模型**
GRU-KNN模型在K=11时达到最高准确率97.6%(weights=’uniform’,algorithm=’auto’,leaf_size=30,p=2)。混淆矩阵显示,Evict、Lost、Schedule事件预测准确,Update Pending事件召回率仅0.76。ROC曲线中Evict、Lost、Schedule的AUC接近1,Enable和Update Pending的AUC略低。

**4.5 模型比较**
综合比较F1-score和特异性:GRU-RF在所有事件类别上F1分数最高(Enable 0.99,Evict 1.00,Lost 1.00,Finish 0.99,Kill 0.97,Fail 0.99,Queue 1.00,Schedule 1.00,Update Pending 0.97)。GRU-KNN次之,GRU-SVM在Kill和Update Pending事件上表现最弱。

**4.6 GRU与ANN模型比较**
将GRU与ANN作为特征提取器分别与RF、SVM、KNN组合,比较RMSE。GRU-RF的RMSE最低(0.14),优于ANN-RF(0.22);GRU-KNN(0.30)优于ANN-KNN(0.38);GRU-SVM(0.40)优于ANN-SVM(0.44)。结论:GRU提取的时间嵌入特征优于ANN,尤其与RF组合时效果最佳。

**5. 讨论与结论**

**讨论总结:** 研究中,GRU-RF模型在大多数事件类别上表现出卓越的预测能力,特别是在Fail和Kill等关键故障事件上。这归因于GRU对时间依赖的有效捕获以及RF对复杂决策边界的稳健处理。GRU-SVM在重叠模式较多的类别(如Kill)上表现相对较弱,而GRU-KNN则通过多数投票机制取得了平衡。GRU相比ANN在降低RMSE方面优势明显,证实了时序特征提取的重要性。该框架无需额外分解步骤,直接利用SelectKBest过滤噪声,GRU内部门控机制抑制不规则波动,从而保持稳定学习行为。

**研究结论翻译:** 所开发的预测模型利用机器学习(ML)和深度学习(DL)算法结合特征选择方法,预测云计算环境中的工作负载故障事件。采用的SelectKBest特征选择器通过测试多个N值来选择最佳N个特征,该方法为所提模型识别出最显著的特征,研究结果表明N=14的SelectKBest方法具有最优性能。该模型利用GRU从数据中提取特征,发挥其捕获复杂模式和相关特征的能力。模型利用GRU提取的特征训练RF、KNN和SVM机器学习算法,有效预测事件。该成果提升了Google集群轨迹中预测过程的效率和可靠性。此外,该模型有助于有效的工作负载管理和主动的资源分配,最终将提升云系统性能和用户满意度。未来建议包括检验不同的深度学习架构,如引入基于注意力的模型进行特征提取,这可能进一步增强框架捕获复杂工作负载动态的能力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号