《Energy and AI》:Electricity price prediction with univariate Long Short-Term Memory and zero-shot foundation transformer models
编辑推荐:
由于非平稳性、极端价格尖峰以及市场特定动态,日前电价预测仍然具有挑战性,而零样本基础模型相对于优化后的监督方法的潜力仍未得到充分探索。研究人员比较了六种预训练的基于Transformer的基础模型(Chronos 2、Chronos-Bolt tiny/sma
由于非平稳性、极端价格尖峰以及市场特定动态,日前电价预测仍然具有挑战性,而零样本基础模型相对于优化后的监督方法的潜力仍未得到充分探索。研究人员比较了六种预训练的基于Transformer的基础模型(Chronos 2、Chronos-Bolt tiny/small/base、Moirai-2、TimesFM 2.5)与超参数优化的单变量长短期记忆(Long Short-Term Memory, LSTM)网络以及三种传统基准模型(LEAR、N-BEATS和季节性朴素基线),用于多步日前电价预测。模型在三个市场(小时级德国EPEX SPOT、半小时级新加坡NEMS和小时级英国N2EX)上以两个预测步长(4步和40步)进行评估,在2020–2023年上进行调参,在2024年上进行测试,并保留2025年作为鲁棒性检验年份。LSTM超参数通过树结构Parzen估计器(Tree-structured Parzen Estimator)贝叶斯优化进行优化,基础模型上下文长度通过穷举搜索确定。最佳基础模型在所有六个场景中的测试平均绝对误差(Mean Absolute Error, MAE)比最佳LSTM低18.4%–40.8%,并在2025年保持了这一优势。Chronos 2在六个场景中的五个中是最准确的基础模型,且没有任何LSTM模型进入2025年模型置信集(Model Confidence Set)。相关驱动停止准则(Correlation-Driven Stopping Criterion, CDSC)在长预测步长上优于早停法,在NEMS市场40步预测中最大降幅为16.7%,而在短预测步长上两种准则并无一致优劣。这些结果表明,在仅使用价格信息的点预测设置及所研究的模型集合内,零样本基础模型可以大幅优于优化后的单变量循环网络和传统电价预测(Electricity Price Forecasting, EPF)基准,且停止准则的价值取决于预测步长和市场波动性。
论文解读
电力市场在过去二十年经历了结构性变革,可再生能源的大规模并网和市场自由化使日前市场参与者必须在交割前24小时提交量价报价,准确的电价预测对规避财务风险至关重要。电价序列具有强多尺度季节性、非平稳性、重尾分布、极端尖峰和负价格等特征,且不同市场之间差异显著,这使预测极具挑战性。现有方法包括统计模型、机器学习模型和深度LSTM网络,但超参数优化往往只关注架构,忽略了上下文长度和停止准则等关键环节。近年来,零样本时间序列基础模型崭露头角,但其在电价预测中相对于优化监督方法的优势尚无系统证据,上下文长度优化和停止准则的选择也缺乏联合研究。为此,研究人员设计了系统的基准实验,以回答零样本基础模型是否能在公平、仅价格信息条件下超越优化LSTM及传统基准,以及交叉验证和停止准则对泛化能力的影响。
研究人员在三个结构不同的日前市场(小时级德国EPEX SPOT、半小时级新加坡NEMS、小时级英国N2EX)上,以两个预测步长(H=4和H=40)构建了六个预测场景。使用2020–2023年调参、2024年测试,并保留2025年作为从未参与调优的鲁棒性样本。最佳基础模型在所有场景中比最佳LSTM的测试MAE低18.4%–40.8%,Chronos 2在五个场景中最优,且优势延续至2025年;没有任何LSTM进入2025年最佳模型置信集。CDSC在长步长上优于早停,但短步长上二者无一致优劣。这一发现表明,零样本基础模型能大幅降低电价预测系统的开发门槛,为能源预测提供了新的高效范式。
关键技术方法:研究人员使用三个市场2020–2025年的日前电价序列(德国EPEX SPOT小时级、新加坡NEMS半小时级、英国N2EX小时级),其中2020–2024用于调参和测试,2025作为保留验证。主要方法包括:单变量LSTM网络,采用树结构Parzen估计器(TPE)贝叶斯优化联合搜索架构、上下文长度、损失函数和停止准则参数;六种预训练Transformer基础模型(Chronos 2、Chronos-Bolt tiny/small/base、Moirai-2、TimesFM 2.5),仅通过穷举搜索优化上下文长度;两种时间序列交叉验证策略(单折扩展验证和四折留一年验证),采用purged and embargoed协议防止信息泄漏;两种停止准则(早停和CDSC);传统基准LEAR、N-BEATS和季节性朴素。评估指标为MAE,并使用Diebold-Mariano检验和模型置信集验证统计显著性。
研究结果如下。
3.1 LSTM性能:通过对比两个交叉验证模式与两种停止准则在六个场景中的组合,发现CDSC在十二个匹配配置中的十个中取得更低测试MAE,在长步长和高波动NEMS市场优势显著,最大降幅16.7%;交叉验证的收益依赖市场和步长,并非普遍最优。
3.1.1 2025保留年份的鲁棒性:在保留的2025年数据上重评估LSTM,排序基本稳定,但CDSC和早停两种LSTM均未进入任何场景的2025年模型置信集,说明即使优化后仍与顶尖基础模型存在代差。
3.2 基础模型性能:对六种基础模型进行上下文长度穷举优化并计算测试MAE,Chronos 2在六个场景中的五个中取得最低MAE,Moirai-2(small)在N2EX长步长上略优。最佳基础模型比最佳LSTM测试MAE低18.4%–40.8%,差距在德国和N2EX市场更大,在NEMS市场较小。
3.2.1 2025保留年份的鲁棒性:Chronos 2在2025年所有六个场景中保持最低MAE,并全部进入模型置信集,验证了优势的跨年份稳定性。
3.3 传统模型结果:N-BEATS在六个任务中的五个取得最低测试MAE,LEAR在德国市场长步长上最优,季节性朴素基线在所有任务中最差,构成准确度的下限。
3.3.1 2025保留年份的鲁棒性:传统模型在2025年的排序基本不变,但除N-BEATS在NEMS短步长和N2EX长步长外,均被排除在2025年模型置信集之外。
3.4 区间分段误差分析:将2024年测试点按正常、尖峰和负价格区间划分后,Chronos 2在所有区间的MAE均为最低,尤其在高难度的尖峰和负价格区间优势更明显;其方向准确率在EPEX和N2EX上约为0.89和0.81,在NEMS上约为0.67。
讨论部分指出,零样本基础模型的优势可能源于大规模预训练语料带来的跨域知识,而单变量LSTM只能使用目标市场自身的历史价格,因此差距反映的是信息可及性和预训练规模而非单纯架构优劣。交叉验证在非平稳市场有利,但长步长和较稳定的市场可能不需要;CDSC的参数具有场景特异性,必须联合优化;上下文长度优化应在日历时间上校准。实际部署建议是:仅有价格历史且需要快速预测时,零样本基础模型是默认选择;若需引入外生变量或定制训练流程,优化LSTM仍有用武之地。
研究结论:本研究比较了单变量LSTM模型、零样本Transformer基础模型和三种传统基准在三个结构不同的日前市场上的表现。LSTM通过联合超参数搜索优化,覆盖架构、上下文长度和停止准则参数;六种基础模型通过系统性上下文长度优化评估。模型在2020–2023年调参,2024年测试,并在保留的2025年样本上重新评估。最佳基础模型在所有六个场景中比最佳LSTM的测试MAE低18.4%–40.8%,尽管完全零样本,该优势在2025年保留。Chronos 2在六个场景的五个中排名第一,Moirai-2(small)在N2EX H=40略优,Chronos-Bolt base和small构成第二梯队。Diebold-Mariano检验和模型置信集证实了这一差距,没有LSTM配置进入任何场景的2025年置信集。CDSC优于早停取决于预测步长:CDSC在所有长步长配置中取得更低测试MAE,最大降幅为NEMS H=40的16.7%;早停仅在NEMS和N2EX的两个短步长单折设置中取得更低测试MAE。将停止准则参数作为可联合优化超参数是有益的,优化设置呈现场景特异性,两种交叉验证策略在不同场景中各有优势。未来工作可包括基础模型微调、引入外生协变量、扩展基准模型、概率预测和经济评估等。这些结果证明,预训练基础模型能大幅降低电价预测系统的开发壁垒,为能源领域诸多问题的解决奠定了基础。