《Energies》:Critical Review of Artificial Intelligence and Machine Learning Methods for Data-Center Load Forecasting
现代数据中心因云服务、人工智能(AI)和大规模数字应用的快速增长,其能耗比以往任何时候都高。随着能源需求持续上升,精确的负荷预测已成为改善能源管理和运营规划的重要工具。然而,预测数据中心电力需求仍具挑战性,因为计算工作负载、冷却系统和设施运行紧密相连且不断变化。本综述回顾了人工智能(AI)和机器学习(ML)技术在数据中心负荷预测中的应用。所调查的文献涵盖了传统统计方法、监督学习算法、深度学习模型、概率预测技术以及物理信息混合方法。还讨论了预测范围、特征选择、性能评估和实际部署挑战等重要主题。综述研究表明,先进方法(包括长短期记忆(LSTM)、门控循环单元(GRU)、基于Transformer的模型和数字孪生(DT)框架)可以提高预测性能并支持更节能的运行。这些方法还可辅助碳感知和电网交互式数据中心管理。仍存在若干挑战,包括数据可用性有限、泛化能力差、可解释性问题以及实时实施约束。本文对调查的研究进行了分类和分析,为从事基于AI的数据中心能源预测的研究人员提供明确参考。
2. 数据中心负荷特征
数据中心负荷与传统商业或工业负荷具有不同特征。这些负荷与计算活动、冷却系统和电力输送基础设施相关联。在传统建筑中,电力消耗主要取决于占用率和天气条件,而在数据中心,主要驱动力是数字工作负载和服务器利用率。现代数据中心作为信息物理系统运行,功率消耗与计算活动成正比,同时改变热量产生和冷却需求。由于这种耦合,负荷行为变得高度动态和非平稳,增加了建模和预测的难度。图2展示了现代数据中心的结构及其主要子系统,包括IT层、冷却系统、电力系统以及可再生能源和电网信号。
2.1. 电力负荷组成部分
数据中心电力使用通常分为三部分:(1) IT设备负荷,(2) 冷却和暖通空调(HVAC)负荷,(3) 辅助基础设施负荷。
(a) IT负荷:现代数据中心大部分能耗来自IT设备(如CPU、GPU、加速器、内存、存储和网络)。IT层能耗主要取决于工作负载强度和应用程序类型。基于CPU的工作负载通常产生更稳定、一致的功率曲线,而GPU和加速器处理的工作负载(尤其是AI训练和高性能计算(HPC))因并行架构和动态电压频率调整(DVFS)机制而表现出高度可变性。近期AI工作负载进一步放大这种效应,产生突然的功率变化和高峰值-平均比,使IT负荷建模高度非线性,特别是短期预测。
(b) 冷却和HVAC负荷:冷却和HVAC系统是数据中心第二大能源消耗者,其作用是移除IT设备产生的热量并维持安全运行温度。冷却需求随IT负荷增加,但也受环境条件(如温度、湿度)强烈影响,系统设计、气流管理和控制策略显著影响冷却效率。冷却能耗并不随IT负荷线性增长,无效气流和次优热设计可能导致冷却能耗超线性增长。
(c) 辅助和基础设施损耗:辅助和基础设施负荷包括不间断电源(UPS)系统、配电单元(PDU)、变压器、照明、监控设备和安全系统等。这些负荷通常比IT和冷却负荷更稳定,但UPS及相关电气基础设施会引入额外能量损耗。辅助负荷被视为“背景”消耗,但代表持续的基准能耗,直接影响电力使用效率(PUE)。准确表征辅助负荷对评估能效、容量规划和长期运营优化非常重要。
2.2. 时间与工作负载驱动模式
数据中心工作负载呈现清晰的时间模式,取决于用户需求、应用程序行为、调度策略和环境因素。与仅在周末占用的商业建筑不同,数据中心全年365天、每天24小时运行。能耗变化发生在不同时间尺度,从秒到周,甚至到年。
(a) 日间、季节性和突发行为:数据中心通常经历日间和季节温度变化。超大规模数据中心因地理分布或多工作负载站点而偏离预期模式。工作负载经常出现突发行为,批处理、分析作业完成时间和实时服务请求会产生持续时间极短(秒到分钟)的需求突发,对准确预测构成挑战。
(b) AI训练与推理工作负载:AI工作负载增加了时间建模的复杂性。训练工作负载持续时间长、计算需求高,产生持续高功耗和热应力;推理工作负载非连续且对延迟敏感,导致高度可变、突发性的需求曲线。训练和推理工作负载共存显著增加了预测复杂性和资源规划不确定性。
2.3. 热-电耦合
数据中心运行的重要特征是电力与热行为之间的强耦合。IT设备消耗的大部分电能转化为热量,必须移除以保持系统安全可靠。高密度计算和AI工作负载加剧了这种耦合,增加了冷却需求。
(a) 冷却-功率相互依赖:冷却系统与IT工作负载紧密相连,形成连续反馈循环。计算需求增加时,服务器功耗增加,产生更多热量,冷却需求随之增加。但冷却能耗不仅取决于产热,还取决于气流、送风温度、设备布局和控制策略,因此电气和热系统难以单独建模或预测。
(b) 空间和机架级效应:功率和温度在数据中心内分布不均,工作负载放置和服务器使用导致机架和区域间差异,可能产生局部热点,需要额外冷却。气流再循环和旁路气流会加剧温度不平衡,因此平均设施测量无法反映局部热行为,导致多尺度、机架级和区域级建模方法用于更好的预测和控制。
2.4. 系统级负荷组成部分与驱动因素
数据中心负荷不仅由IT设备和冷却系统决定,总设施需求还包括UPS、PDU、变压器和配电损耗的开销,以及照明、监控、安全和控制等辅助负荷。外部因素如电价、电网碳强度、可再生能源可用性和需求响应信号也影响整体运行。因此,系统级指标如PUE、开销比和冷却效率对理解设施行为和改进预测模型很重要。图4展示了预测范围及其运行作用:短期预测(秒)支持实时控制如DVFS和功率封顶;中期预测(分钟)支持工作负载放置和热预冷;小时级预测用于需求响应和能源优化;长期预测(天到周)支持容量规划和基础设施扩展。表1总结了基于AI的预测模型中使用的关键负荷组成部分和输入特征,包括IT特征(CPU/GPU利用率、虚拟机密度)、热特征(冷却行为、延迟热效应)以及电网和可再生能源特征(碳感知和价格感知预测)。
3. 数据中心负荷预测的特征工程
特征工程在数据中心负荷预测中起核心作用。数据中心电力需求来源于多个子系统的相互作用,包括IT工作负载、冷却基础设施、电力输送系统以及电网和碳强度信号。基于历史功率消耗或时间模式的传统模型在变化运行条件下常失败,而物理信息丰富且操作上有意义的特征集可提高准确性和鲁棒性。总数据中心功率可表示为 P
total(t) = P
IT(t) + P
cooling(t) + P
infra(t) + P
aux(t),其中各项分别代表IT功率、冷却功率、电力基础设施功率和辅助负荷。电力使用效率(PUE)定义为 PUE(t) = P
total(t) / P
IT(t),但PUE随环境温度、冷却设计和运行策略变化。
3.1. IT利用率指标
IT利用率指标是确定数据中心负荷的关键特征,反映工作负载强度,直接影响功率消耗和热量产生。CPU利用率常作为一阶代理,其基线加活动模型为 P
server = P
idle + (P
peak - P
idle) × u
CPU,其中u
CPU为归一化CPU利用率。现代数据中心依赖加速器,GPU工作负载具有更高峰值功率和更快变化,因此仅CPU建模不足,GPU利用率、内存带宽和加速器级指标对准确预测至关重要。性能计数器如每周期指令数(IPC)、缓存未命中率、内存带宽和I/O活动可量化系统压力,增强短期预测能力。工作负载描述符如作业到达率、队列长度和活跃虚拟机数量提供需求侧信息。时间特征工程包括滞后特征、滚动统计和变化率,以捕捉惯性和突发行为。IT特征向量可表示为 f
IT(t) = [u
CPU(t), u
GPU(t), B
mem(t), L
queue(t), N
VM(t), Δu
CPU(t), u
CPUw(t)]。对于异构服务器,非线性耦合功率模型为 P
server = α
0 + α
1u
CPUf
CPU + α
2u
GPUf
GPU + α
3B
mem + α
4U
uncore + α
5u
CPUu
GPU + α
6s
fan + ε,其中包含频率、交互项和风扇功率,适用于突发性和加速器密集型工作负载。
3.2. 环境与热特征
环境与热特征强烈影响冷却相关能耗,冷却系统占总设施功率的30%-50%。关键环境变量包括室外干球温度、湿球温度、湿度和气流条件,直接影响经济器效率和冷却性能。热遥测数据如服务器进/出口温度、热/冷通道测量捕捉热分布模式,局部热点可增加风扇转速或压缩机运行,即使IT负荷不变。冷却功率可近似为 P
cooling(t) = Q
IT(t) / COP(t),其中COP为冷却系统性能系数。
3.3. 运行与控制参数
运行控制参数定义冷却和电气系统的实时管理方式,包括温度设定点、气流控制、阀门位置、风扇转速和压缩机级数。电气基础设施控制如UPS运行模式、变压器负载和电池充放电周期也引入额外变异性。常用派生特征为开销比:R
overhead(t) = (P
total(t) - P
IT(t)) / P
IT(t),表示非IT开销相对于IT负荷的比例。
3.4. 电网与碳强度信号
现代数据中心日益关注电网感知和低碳运行,外部信号如电价(分时电价、节点边际电价)和碳强度(CI)成为重要预测因子。碳排放可表示为 E(t) = P
total(t) × CI(t) × Δt,其中CI(t)为电网碳强度。边际排放因子比平均值提供更准确的操作洞察。
3.5. 实际特征工程工作流程
数据中心预测采用逐步数据工程管道:第一步对齐不同来源数据(IT遥测、冷却信号、电网数据)到共同时间分辨率;第二步添加滞后变量、滚动统计和变化率变量;第三步创建物理特征间的交互特征(如结合IT利用率和环境温度的热感知指标);第四步应用质量处理技术(异常值检测、缺失值处理)基于物理有效运行范围。有效特征工程需要数据驱动学习与物理系统理解相结合。
4. 预测方法
4.1. 传统统计模型
传统统计方法(如AR、ARIMA、SARIMA、Holt-Winters平滑)仍作为基准模型,提供透明基础以分离可预测结构和复杂运行变异性。但固定参数统计模型难以处理随时间变化的工作负载特征和非线性耦合,因此预测能力受限。尽管如此,统计模型在实践中仍重要,用于评估复杂方法、作为集成系统稳定性参考,有时可减少极端预测误差。
4.2. 机器学习方法
机器学习技术通过建模遥测数据与未来负荷之间的非线性关系提供更大灵活性。常用方法包括正则化回归、支持向量回归、随机森林和梯度提升。树集成模型易于训练和部署,但依赖特征工程提供领域知识。为捕捉时间行为,常添加滞后特征、滚动统计和工作负载描述。机器学习模型效率高,所需数据点少于深度学习,可快速重新训练,可解释性方法(如特征重要性、SHAP分析)增加透明度。但泛化仍具挑战,不同设施间因冷却架构、硬件配置和工作负载差异导致模型迁移困难。
4.3. 深度学习模型
深度学习模型因能对多维数据进行长时间序列建模而变得重要。LSTM和GRU常用于表示工作负载变化与功率响应之间的延迟相关性。时间卷积网络(TCN)用于学习局部时间模式,近年来Transformer和注意力机制模型可学习长时域上多遥测数据流的时间相关性。深度学习还支持结构化预测,可产生多步轨迹预测,对需求响应、峰值负荷管理和能源优化至关重要。概率预测能力(如分位数回归、贝叶斯近似)允许表达不确定性,对数据中心运行风险至关重要。多任务学习可同时预测多个变量,但深度学习需要大量数据和超参数调优,可解释性较差,阻碍在安全关键环境中的应用。
4.4. 混合与物理感知模型
混合和物理感知模型解决纯数据驱动方法在观测运行条件外表现不佳的局限。常见方法包括灰箱建模(简单物理方程与数据驱动参数学习结合)、残差学习(物理模型预测由学习模型校正)以及物理约束学习(如非负功率、有界温度、单调关系)。数字孪生系统在虚拟环境中模拟IT和设施运行,支持工作负载调度、冷却优化和碳感知操作。物理信息学习框架的复合损失函数可表示为 L = L
data + λ
1L
energy + λ
2L
flow + λ
3L
temp,其中物理残差项惩罚能量守恒、质量流连续性和温度限制的违反。表2总结了混合、概率和数字孪生方法,表3和表4提供了定量证据,显示注意力机制模型将MAE从5%降至3.14%,知识蒸馏后的MLP保持精度且参数更少。
5. 数据中心负荷预测的应用
负荷预测已从容量规划支持工具转变为现代数据中心运行的一部分,应用于工作负载调度、冷却控制、电网交互和碳感知优化。
5.1. 需求响应与电网交互
负荷预测的关键应用是参与需求响应计划和电网交互式运行。数据中心可通过调整计算负荷主动支持电网稳定性,短期预测使操作员能在不确定性下主动调整系统设置,包括每小时工作负载重新分配和冷却控制策略。经济上,预测支持动态定价模型(如分时电价),使操作员将灵活工作负载移出高电价时段,降低运营成本和峰值需求费用。预测还可改善本地储能系统运行,匹配电池充放电决策与预期负荷峰值。
5.2. 能量感知工作负载调度
能量感知调度利用负荷预测决定何时何地运行计算任务,通过预计算(预测)的负荷/能量信息优化调度,而非实时响应。预测用于决定立即运行、延迟、迁移或节流。与仅考虑当前系统利用率的传统调度器不同,预测调度利用电价和环境条件的时间变化,在降低冷却需求或电价较低时执行工作负载。对于延迟容忍的工作负载(如批处理分析),预测调度优于反应式调度。
5.3. 碳感知负荷转移
碳感知计算因减少大规模计算基础设施排放的压力而成为现代负荷预测研究的主要驱动力。在碳感知负荷转移中,结合电力需求预测和电网碳强度预测,确定灵活工作负载的最佳调度时间,将计算转移到低碳强度或高可再生能源可用性时段。准确负荷预测至关重要,因为排放不仅取决于电网碳强度,还取决于设施实际功率曲线。近期研究强调边际碳强度优于平均碳强度,更适合数据中心操作决策。
5.4. 与实时控制系统集成
负荷预测正成为实时控制系统的重要新兴用例。现代数据中心将预测作为闭环控制系统的输入,动态管理功率、冷却和工作负载。预测信息使操作员能主动调整控制变量(如气流速率、功率上限、储能调度),而非在偏差发生后反应。模型预测控制(MPC)是典型例子,利用负荷和环境预测确定未来最优控制动作,并随新信息更新。与传统方法相比,预测辅助方法在频繁快速波动的工作负载和有限热容忍条件下表现更优。图6总结了多源数据驱动负荷预测框架,包括历史数据收集、特征工程(数据清洗、缺失值处理、归一化、滞后特征生成、时间编码、滑动窗口形成、特征提取)、深度学习模型(如LSTM/GRU)生成多尺度预测(t+10分钟、t+3小时、t+48小时),并应用于需求响应、能量感知调度、碳感知负荷转移、实时控制集成以及成本优化、可再生能源和热管理。
6. 挑战与研究空白
尽管数据中心负荷预测取得显著进展,仍存在若干重要挑战,限制机器学习在实际中的实施。
6.1. 有限的高质量公共数据集可用性
由于安全、隐私和商业考虑,数据中心运营商限制运行数据访问,许多研究使用专有数据集、合成工作负载或实验性工作负载。公开数据集通常仅包含聚合能耗测量,缺乏工作负载特征、冷却系统性能、环境条件、控制设置和电网碳强度等重要信息,限制了特征工程和模型比较。开发标准基准数据集是重要研究方向。
6.2. 数据中心间泛化
预测模型通常基于单一设施设计和验证,在不同数据中心间性能下降,因为不同设施具有不同基础设施、冷却技术、运行策略和地理环境。研究人员开始利用迁移学习和领域自适应方法,但尚缺乏系统化跨站点预测框架。
6.3. 准确性与可解释性权衡
深度学习模型预测性能好但被视为黑箱,缺乏透明度;物理信息混合模型可解释性更强但准确性较低。弥合可解释性与准确性之间的差距仍是持续挑战。
6.4. 实时部署约束
大多数模型在离线情况下测试,实时部署面临延迟、可靠性和计算效率要求。实际数据流可能因传感器故障、通信延迟、缺失值和噪声而降低精度。周期性重新训练在生产环境中可能不可行。需要开发自适应和鲁棒的预测模型。此外,大型Transformer和深度循环网络需要大量GPU/TPU资源进行训练和推理,其消耗的电力、冷却和碳排放可能部分抵消预测带来的节能。未来研究应评估训练和推理能耗、GPU小时数、计算延迟、重新训练频率及碳排放,并探索轻量级模型架构、模型压缩、量化、知识蒸馏和事件触发重新训练。
6.5. 与控制与优化系统的集成
当前研究缺乏预测模型与优化/控制框架的集成,大多仅使用统计指标(MAE/RMSE/MAPE)评估预测性能,不考虑预测误差对操作决策的影响。实际中预测是需求响应、工作负载调度和MPC的输入。需要联合优化预测准确性和控制目标的方法,将预测不确定性、能效、运行可靠性和控制性能视为相互关联的目标。
7. 未来方向
基于文献综述,未来研究方向可分为近期、中期和长期优先事项。
7.1. 近期研究方向
未来预测系统应量化预测不确定性以支持风险感知操作决策;需要可解释预测模型以提高操作员信任;未来模型应同时预测多个变量(如IT负荷、冷却需求、PUE和碳排放)以提高准确性和降低模型复杂度。
7.2. 中期研究方向
结合AI模型与物理热力学约束可提高预测鲁棒性、可靠性和泛化能力;迁移学习可使模型在不同数据中心间部署,领域自适应方法应对气候、工作负载和冷却技术变化;未来预测模型应与能源管理系统、需求响应计划和智能电网运行集成;应纳入碳强度、可再生能源可用性和可持续性指标支持低碳运行;考虑电价、需求响应信号、可再生能源变率和电网约束支持灵活电网友好运行。
7.3. 长期研究方向
未来数据中心预期利用预测输出进行实时控制、优化、工作负载调度和冷却管理,数字孪生、MPC和强化学习将发挥重要作用;主要研究挑战是开发统一框架,结合预测、控制、优化和决策,同时确保稳定性、安全性、可靠性和可解释性;未来研究应在多个数据中心和不同运行条件下验证预测模型以提高泛化能力。
8. 结论
本文对现代数据中心负荷预测的AI和ML方法进行了批判性综述,涵盖预测模型、特征工程、应用、部署问题和近期研究趋势。综述表明,准确负荷预测对提高能效、热管理、系统可靠性和碳感知运行非常重要。近期深度学习、物理信息模型和数字孪生方法提高了预测性能,有助于更好地协调工作负载、冷却系统和电力系统。但仍存在挑战,包括有限高质量数据、跨站点泛化差、模型可解释性低、实时部署问题和与控制系统集成弱。随着数据中心变得更加AI驱动,负荷预测将在未来能源管理中发挥关键作用。未来工作应聚焦于可解释模型、物理基础学习、自适应预测、多目标优化以及与控制和碳感知策略的更好集成。因此,基于AI的预测将成为智能节能数据中心的重要组成部分。