基于MST-iTransformer模型的云资源工作负载预测方法

《Future Internet》：Cloud Resource Workload Forecasting Method Based on the MST-iTransformer Model

　　

随着云计算技术的广泛采用，现代云平台已变得日益复杂和动态，这对高效资源管理构成了重大挑战。因此，准确预测云资源负载已成为提升服务质量、优化资源利用率和降低运营成本的关键。为应对云负载时间序列的内在特征，包括非线性波动、多尺度时间依赖和冗余高维特征，本文提出了MST-iTransformer模型，该模型集成了多尺度时间编码、稀疏注意力和自适应特征选择机制。具体而言，开发了一个多尺度时间编码模块，用于捕获并融合跨多个周期尺度的时间依赖性。此外，引入了一个自适应特征选择模块，以动态地为资源特征分配重要性权重，增强信息性变量并抑制冗余变量。同时，整合了稀疏注意力机制，以在保持预测精度的同时降低计算开销。所提出的模型在阿里巴巴集群轨迹数据集上进行了评估。实验结果表明，MST-iTransformer的均方误差（MSE）、均方根误差（RMSE）和平均绝对误差（MAE）分别为0.5559、0.7456和0.4968。与原始iTransformer相比，所提出的模型在预测误差和推理延迟方面均实现了同步降低，验证了多尺度时间编码、稀疏注意力机制和自适应特征选择模块在提高预测精度和计算效率方面的有效性。这些改进为云数据中心中的资源调度和弹性伸缩提供了可靠的预测支持。

**论文解读：基于MST-iTransformer模型的云资源工作负载预测方法**

**一、研究背景与问题**

随着云计算技术的普及，云平台规模和复杂度显著增加，用户行为的高度动态性和突发性以及云服务间的复杂依赖关系，导致云资源工作负载呈现非线性、非平稳和多尺度周期依赖等特征。准确预测工作负载是实现按需资源分配、弹性伸缩、能效优化和服务质量保障的关键前提。传统统计模型（如ARIMA）基于线性假设，难以处理非线性和非平稳序列；机器学习方法（如SVR、随机森林）虽能部分建模非线性关系，但依赖人工特征工程，且难以捕捉长期时间依赖。深度学习中的循环神经网络（RNN）及其变体LSTM虽能缓解梯度消失，但其顺序计算范式限制并行效率，且对复杂长序列的长期依赖建模能力有限。近年来，Transformer架构凭借自注意力机制和并行计算优势在时序预测中表现优异，其中iTransformer通过将注意力应用于变量维度而非时间维度，在多变量预测中取得了突破性进展。然而，将iTransformer应用于云资源预测仍面临三大挑战：（1）缺乏显式多尺度时间建模能力，难以捕捉云负载中小时、日、周等多样周期模式；（2）缺少动态自适应特征选择机制，冗余和无关信息可能参与特征表示，影响精度；（3）全变量注意力的二次复杂度导致计算开销高，限制部署效率。针对这些问题，研究人员提出了MST-iTransformer模型。

**二、研究内容与结论**

本研究设计了MST-iTransformer（多尺度稀疏时间iTransformer）模型，该模型整合了多尺度时间编码、稀疏注意力机制和多尺度自适应特征选择三大模块，旨在提升预测精度的同时降低计算开销。在阿里巴巴集群轨迹数据集（Alibaba Cluster Trace v2018）上进行实验，结果表明，MST-iTransformer的MSE、RMSE和MAE分别达到0.5559、0.7456和0.4968，相比原始iTransformer，预测误差和推理延迟均实现同步降低，验证了各改进模块的有效性。该研究为云数据中心的资源调度和弹性伸缩提供了可靠的预测支持，论文发表于《Future Internet》。

**三、主要技术方法**

研究人员采用以下关键技术方法：（1）多尺度时间编码模块：定义多级时间尺度集合（如小时、日、周），利用正弦-余弦编码生成独立位置编码向量，并通过自适应加权融合策略整合不同尺度的周期信息。（2）自适应特征选择模块：为每个资源变量分配可学习门控权重，经Sigmoid函数映射至[0,1]区间，动态强调信息性变量并抑制冗余变量，且支持可选外部先验权重融合。（3）稀疏注意力机制：基于变量全局时间均值计算重要性分数，采用自适应Top-k策略选取信息量最大的变量子集，仅在该子集内执行变量维度注意力计算，将复杂度从O(N2)降至O(k2)。（4）模型基于PyTorch 2.1.0实现，统一采用3层编码器、1层解码器、隐藏维度512、16个注意力头、dropout=0.15，Adam优化器，学习率3×10??，批大小32，最大训练轮次80，并采用早停策略（耐心值10）。实验重复5次取均值与标准差，随机种子1-5全局固定。

**四、实验结果与分析**

1. **预测精度对比**：在12步预测任务中，MST-iTransformer的MSE、RMSE、MAE分别为0.5559±0.017、0.7456±0.012、0.4968±0.013，均优于所有对比模型。相比次优的iTransformer，MSE降低12.5%，RMSE降低6.5%，MAE降低6.3%。传统LSTM基线误差最高，而Transformer变体（如Autoformer、Triformer）虽有所改进，但仍有显著差距。结果表明多尺度时间融合机制有效减少了预测误差的平方量级，且能抑制大偏差预测。

2. **多步预测对比**：在预测步长12、24、48下，MST-iTransformer均取得最低MSE和MAE。相比iTransformer，MSE分别降低12.54%、12.23%、12.92%，MAE分别降低15.59%、16.52%、14.74%。误差增长分析显示，MST-iTransformer的ΔMSE（从12步到48步）仅为0.0444，而Transformer的对应增长为0.0930，表明该模型具有更强的长期预测鲁棒性，有效缓解了长序列预测中的误差传播与累积问题。

3. **消融实验分析**：逐步移除三个核心模块后，模型性能均出现下降，验证了各模块的独立贡献。移除多尺度自适应特征选择模块导致性能下降最显著，RMSE从0.7456增至0.7814，MAE从0.4968增至0.5531，表明动态特征加权对提升表征质量至关重要。移除多尺度时间编码模块后，RMSE增至0.7646，MAE增至0.5394，证实了多周期模式建模的必要性。移除稀疏注意力机制后，RMSE轻微增至0.7503，MAE增至0.5025，但推理时间从941ms显著增至1365ms，说明该模块在保持精度的同时大幅降低了计算开销。整体上，三个模块协同作用，实现了预测精度与计算效率的平衡。

**五、结论与展望**

研究人员针对原始iTransformer在云资源预测场景中的局限性，提出了集多尺度时间编码、稀疏注意力和自适应特征选择于一体的MST-iTransformer模型。实验表明，该模型在阿里巴巴集群数据集上取得了MSE 0.5559、RMSE 0.7456、MAE 0.4968的最佳性能，并在不同预测步长下均保持最低误差。消融研究验证了模型设计的合理性和有效性，为云数据中心弹性资源调度提供了更可靠的预测支持。当前实现侧重于纯数据驱动的自适应特征选择，未来工作将探索学习表示与外部先验知识的自适应融合策略，并在更多公共云负载数据集上验证模型的泛化能力。