基于时序特征注意力与动态堆叠的集群资源负载预测方法

《Symmetry》：Cluster Resource Load Prediction Method Based on Temporal-Feature Attention and Dynamic Stacking

　　

准确预测计算资源工作负载对于容量规划、过载预警与智能系统管理具有重要意义。大规模计算系统呈现出复杂的时间波动、突变变化与多资源耦合特性，使准确工作负载预测颇具挑战。为此，研究人员提出一种混合时序特征注意力增强的多任务堆叠模型（HTAM-Stack）用于多元集群工作负载预测。首先，设计时序特征混合注意力（TFHA）模块，联合捕获时间依赖与跨资源特征交互，自适应提取关键时间模式与重要资源特征。其次，引入多任务学习（MTL）框架，通过利用异构资源变量间的相关性同时预测CPU与内存工作负载。此外，开发动态堆叠（DS）机制，通过权重生成网络自适应调整异构基学习器的贡献，并融入残差校正器（RC）进一步提升预测鲁棒性。在Google Cluster Trace与Alibaba Cluster Trace两个广泛使用的公开集群工作负载数据集上的大量实验表明，HTAM-Stack在复杂动态工作负载条件下取得具竞争力的预测性能：两数据集上MAE分别为0.0012与0.0010，RMSE分别为0.0031与0.0027，MAPE分别为0.20%与0.16%，R2分别为0.9715与0.9782。且HTAM-Stack推理耗时仅3.20 ms、参数量8.60 M，在预测精度与计算效率间取得良好平衡。结果验证了所提框架在公开集群工作负载基准上的通用有效性，而非其对铁路IT系统的直接适用性；因无代表性铁路工作负载数据集，铁路IT仅作为需领域验证的潜在应用情境讨论。

研究背景方面，铁路导向的信息技术（IT）环境及一般大规模集群系统呈现时间依赖、周期波动、突发变异与异构资源（如中央处理单元（CPU）、主存、网络带宽）间相关性等复杂负载特征。传统统计模型（如自回归积分滑动平均（ARIMA）、指数平滑）依赖线性平稳假设，难以刻画非线性相关、突增峰值与多资源耦合；长短期记忆（LSTM）、门控循环单元（GRU）、时间卷积网络（TCN）等深度学习模型偏重单变量或局部时间动态，对跨资源协同与突变响应不足；现有多任务学习（MTL）、注意力机制与堆叠集成亦分别存在跨资源依赖建模不充分、时空联合注意力缺失、固定融合权重难适应负载动态变化等局限。因此，研究人员开展面向多元集群资源负载预测的新框架研究，旨在同时建模时序动态、跨资源交互与自适应集成，以提升复杂工况下的预测精度与效率。论文发表于《Symmetry》。

关键技术方法上，研究人员构建HTAM-Stack框架，样本队列来源于公开基准Google Cluster Trace（2011年，逾12000台机器29天）与Alibaba Cluster Trace（2018年，约4000台机器8天），按时间顺序以8:2划分训练与测试集。核心方法含四部分：时序特征混合注意力（TFHA）通过时间注意力（Query-Key-Value点积缩放）与基于压缩激励（Squeeze-and-Excitation）的特征注意力联合增强表示；多任务学习（MTL）采用硬参数共享，联合优化CPU与内存预测的加权均方误差损失；动态堆叠（DS）以权重生成网络（WGN，多层感知机加Softmax）按样本生成卷积神经网络（CNN）、极端梯度提升（XGBoost）、线性回归（LR）三基学习器融合权重，并由浅层MLP残差校正器（RC）补偿残差；基学习器中CNN含三层一维卷积与全连接，XGBoost含正则化目标，LR捕线性基关系。

研究结果部分，第3节阐述HTAM-Stack方法结构：3.1节TFHA解耦时间域与特征域依赖，经全局平均池化压缩、双全连接激发、Hadamard积重标定，实现关键时间步与资源维度自适应加权；3.2节MTL共享TFHA输出底层表示、独立输出层，以λ平衡双任务MSE损失，利用CPU-内存潜在关联提升一致性；3.3节DS用K折交叉验证生成元特征，WGN出动态权重ω_i=Softmax(MLP(X))，最终预测?i=Σω_im·?im+RCC，残差校正减系统偏差；3.4节给出CNN一维卷积与ReLU、XGBoost目标含树复杂度惩罚、LR最小二乘三基学习器形式化。第4节实验配置表明，PyTorch 2.0实现，RTX 3080 Ti加速，200轮余弦退火，批次256，五折重复。4.2节两数据集CPU分布右偏、阿里内存波动更强。4.3节定义MAE、RMSE、MAPE、R²、训练/推理时间、参数量七指标。4.4节定量比较显示，Google集上HTAM-Stack得MAE 0.0012、RMSE 0.0031、MAPE 0.20%、R² 0.9715，优于CatBoost等最强基线；Alibaba集上MAE 0.0010、RMSE 0.0027、MAPE 0.16%、R² 0.9782，优于TCN等；消融实验去TFHA致R²降至0.5915（Google）/0.6825（阿里），证TFHA贡献最大，MTL、DS、RC依次正向。4.5节定性显示，72步预测HTAM-Stack的MAE增长最缓；TFHA热力图在非均匀权重下，Google集侧重Load与Temp特征、阿里集侧重Temp与CPU，时间维聚焦有限历史步，证模块自适应。

讨论与结论翻译：本文研究复杂集群工作负载条件下具时间依赖、突变波动与异构资源相关的多元资源负载预测。为此，HSAM-Stack集成时序特征混合注意力、多任务学习、动态堆叠与残差校正；TFHA捕时间依赖与跨特征交互，MTL框架借资源类型间相关性联合预测CPU与内存负载，DS机制自适应融合异构基学习器，RC模块补偿变负载下残差预测偏差。在Google Cluster Trace与Alibaba Cluster Trace两公开数据集上的大量实验表明，相较现有机器学习、深度学习与Transformer类方法，HTAM-Stack在MAE、RMSE、MAPE、R²上具竞争力；Google集MAE 0.0012、RMSE 0.0031、MAPE 0.20%、R² 0.9715，Alibaba集MAE 0.0010、RMSE 0.0027、MAPE 0.16%、R² 0.9782，推理延迟3.20 ms、参数8.60 M，在基准上平衡精度与效率。因未评估铁路特定数据，结果不确立对铁路IT直接适用。主要局限为验证限于两公开集群轨迹，未来将用铁路运营数据验证，并探模型压缩与磁盘I/O、网络带宽等资源扩展。