一种融合物理启发的混合注意力机制和多尺度分解的改进补丁时间序列Transformer,用于长期可再生能源预测
《ADVANCED ENGINEERING INFORMATICS》:An improved patch time series transformer with physics-inspired hybrid attention and multi-scale decomposition for long-term renewable energy forecasting
【字体:
大
中
小
】
时间:2026年09月22日
来源:ADVANCED ENGINEERING INFORMATICS 11.5
编辑推荐:
- 提出了IPatchTST用于长期可再生能源发电量预测。
- 所提出的模型能够捕获物理相互作用和长程时间依赖关系。
- 提出了混合JS-GP优化器用于超参数优化。
- 所提出的模型展现出高达15.8%的均方根误差(RMSE)降低。
**引言**
全球能源格局正在经历一场
- 提出了IPatchTST用于长期可再生能源发电量预测。
- 所提出的模型能够捕获物理相互作用和长程时间依赖关系。
- 提出了混合JS-GP优化器用于超参数优化。
- 所提出的模型展现出高达15.8%的均方根误差(RMSE)降低。
**引言**
全球能源格局正在经历一场深刻变革,其驱动力来自脱碳和能源安全的双重需求。包括水电、太阳能光伏(PV)、风能和生物质能在内的可再生能源是这一转型的核心。然而,这些能源固有的可变性和不确定性要求建立稳健的预测框架,以提高可再生能源融入现代电力系统中的可靠性和稳定性。其中,水电是基石技术,提供可靠的发电、电网稳定及储能能力。但由降水、融雪和气候变化所决定的水文过程的随机性为生产带来了显著的不确定性[1]。因此,准确的预测对于基础设施规划、政策设计以及应对动荡的地缘政治局势的韧性至关重要。
与短期运营预测不同,长期预测侧重于未来发电潜力和长期发电趋势。这些洞察使政府和电力公司能够优化电力市场参与度和投标策略,避免因发电和储能资产的过度投资或投资不足而造成代价高昂的后果[2]。通过减少不确定性,预测优化了市场设计、定价机制和长期合同安排,最终降低了系统总成本。此外,长期预测使规划者能够整合高比例的间歇性风能和太阳能,并辅以水电等灵活资源的支持[2]。最近的地缘政治紧张局势凸显了全球能源系统对供应链中断的脆弱性,使能源安全从纯粹的经济问题转变为战略性地缘政治优先事项。长期预测通过减少对进口化石燃料的依赖并促进国家能源自给自足的战略规划来缓解这些风险[3]。
可再生能源的日益整合增加了对准确预测的需求,以支持能源规划、电网稳定性和运营决策。随着可再生能源系统变得更加复杂且数据丰富,传统预测方法往往难以捕捉可再生能源发电的非线性、动态和不确定特性。因此,预测研究已从确定性单输出模型演变为结合机器学习(ML)、物理约束和优化技术的混合及概率框架[4]、[5]、[6]。尽管深度学习(DL)模型展现了卓越的预测能力,但在捕获长程依赖、建模非平稳模式和量化不确定性方面仍面临挑战。此外,许多DL方法仍然是可解释性有限的黑箱模型,而不断增长的数据量则为高维时空预测任务引入了可扩展性挑战[7]。这些局限性凸显了需要更稳健、更具可解释性和可扩展性的预测框架。最近,研究日益聚焦于通过识别关键决策因素和解构注意力机制来增强神经网络和基于Transformer的模型的可解释性[8]。即使在缺乏完全可解释性的情况下,循环神经网络也在预测和分类方面展现了高精度[9]、[10]。为降低噪声并提取潜在时间特征,这些模型通常与信号分解技术相结合,如经验模态分解(EMD)或小波变换(WT)。最近的研究进一步表明,时频分解为多时间尺度预测任务提供了信息丰富的多尺度表示,强化了基于分解的学习在复杂可再生能源预测中的重要性[11]、[12]。Chou等人[11]表明,将WT模态作为输入可以显著提高ML模型的精度。最近的研究还利用改进的自适应噪声完备集合经验模态分解(ICEEMDAN)结合双阶段注意力Transformer进行风电功率预测[13]。混合分解模型已被证明可以将平均绝对误差(MAE)和均方根误差(RMSE)分别降低高达7.87%和3.91%[14]。沿用Wang等人[15]的方法,采用级联滚动窗口策略进行ICEEMDAN分解,以确保每次分解仅依赖历史观测值,从而防止模型开发过程中的信息泄漏。然而,尽管深度学习在风能和太阳能领域的应用日趋成熟,但在水电和生物质能领域的研究相对落后,特别是在长期维护和运营应用方面[16]。
水电仍然是最具成本效益的能源来源之一,提供关键的削峰能力和运营灵活性[17]。近期的方法论进步包括分数阶多元灰色模型,将季节性和时滞效应整合到统一框架中,优于传统方法[18]。在混合系统方面,Su等人[17]开发了基于Wasserstein生成对抗网络(WGAN)的水电-光伏系统实时调度框架,将功率偏差降低了超过20%。此外,利用基于长短期记忆网络(LSTM)预测的混合太阳能-水培农业系统已实现极低的预测误差(MAE ≈ 0.058–0.111)[19]。最后,为应对数据驱动方法的透明度局限,Zhang等人[20]提出了一种可解释的混合AI模型用于梯级水电,利用基于SHAP的分析突出入流和历史发电量的关键影响。与水电相比,生物质能预测研究仍然分散,这归因于其固有的复杂性。生物质能生产依赖于受农业实践、季节循环、天气条件、供应链物流和经济因素影响的异质性原料来源。因此,生物质能数据集通常表现出混合时间尺度、不规则采样频率、稀疏观测和强非平稳行为。此外,现有研究涉及不同的预测目标,如原料可用性、发电量、生物质潜力和生物能源部署,导致输入变量、预测时间和建模假设各不相同[21]。Wang等人[22]通过组合多种预测模型和聚类分析来建模开发适宜性趋势,推进了长期生物质能预测。同样,Aktar等人[23]探索了基于人工智能(AI)的智能电网中生物质电厂预测,尽管他们的研究强调了需要更严格的定量验证和基准测试。
随着大规模能源数据集的普及,研究已转向Transformer变体[24]、[25]、[26]、[27]、时间序列基础模型[28]以及混合Transformer-大语言模型(LLM)框架。例如,Stefenon等人[29]提出了一种用于大坝级预测的自动化时间融合Transformer(AutoTFT),在短期至中期时间尺度上取得了高精度;然而,其计算复杂性仍然是可扩展性的障碍。其他创新包括EvolvInformer[30],它结合了连续时间常微分方程和注意力机制来稳定长程预测。虽然Transformer在可再生能源领域通常优于传统深度学习方法[31],但其在水电和生物质能领域的应用不如风能或太阳能成熟,通常聚焦于径流等水文代理变量[32],而非直接发电量。值得注意的是,近期努力还试图重新确立卷积方法的相关性,如modernTCN[33],以改进时间序列任务中的特征提取。尽管Transformer模型具有预测能力,但许多模型缺乏可解释性和不确定性量化,而这些对决策至关重要。Liu等人[8]通过可解释的特征-时间Transformer(IFTT)解决了这一问题,将误差指标降低了10-20%。其他混合方法将相对重要性分析(CRIA)与信号分解相结合进行风速预测[34]。然而,许多现有模型仍然缺乏在序列建模之前融合特征权重与原始输入的综合机制,限制了精度的进一步提升。大多数现有基于Transformer的方法仅依赖于数据驱动的自注意力,尽管取得了成功,传统自注意力机制本质上是数据驱动的,仅从观测到的统计相关性中学习依赖关系。此类注意力结构并未明确纳入关于物理相互作用或多尺度系统动力学的领域知识。因此,注意力权重可能受到虚假相关性的影响,特别是在气象条件、季节变异和运营因素随时间变化的高度非平稳可再生能源系统中。此外,标准自注意力将所有令牌交互视为等同,难以区分具有物理意义的依赖关系与纯统计关联。为解决这些局限性,近期定制的Transformer架构已纳入应用特定的结构先验以改进特征表示、计算效率和模型稳健性。例如,Luo等人[35]提出了一种DSP增强的Transformer用于电力系统故障检测,通过将特定领域的信号处理知识嵌入注意力机制中,证明了整合结构化先验知识可以显著提高学习性能。这一成功加上传统自注意力在时间序列预测中仍然存在的局限性,促使开发具有结构化归纳偏置的注意力机制,以更有效地捕获可再生能源发电的多尺度和物理驱动特性。
为解决这些差距,本研究介绍了一个将物理注意力(PA)与多头注意力(MHA)通过门控融合机制、变量注意力网络(VAN)以及PatchMixer层相结合的混合框架,这种多尺度、物理启发的架构改进了效率、稳健性和可解释性[8]、[36]。
随着容量价格上升和备用裕度收紧标志着全球可靠性担忧,对改进长期预测的需求至关重要。本研究提出了改进的Patch时间序列Transformer(IPatchTST),这是一个支持多回看窗口以进行稳健可再生能源预测的框架。我们的主要贡献总结如下:
1)**混合融合注意力(HFA)**:我们引入了一种机制,通过自适应融合将PA[37]与MHA[38]相结合,实现对结构化物理局部相互作用和长程依赖的同步建模。在PA组件中,所提出的去切片策略在降维潜在空间中执行自适应令牌聚合,在保持底层物理语义的同时显著实现了有利的计算效率。
2)**层次化多尺度注意力框架**:通过整合VAN、PatchTST和HFA,该模型在统一架构中捕获变量重要性、局部时间模式和全局依赖关系,使其特别适合复杂的多元时间序列。
3)**多尺度特征增强**:采用严格因果滚动窗口策略实施ICEEMDAN,将目标信号分解为固有模态函数(IMF),有效降低噪声并防止信息泄漏,同时捕获多尺度时间动态。作为补充,PatchMixer组件通过基于卷积的特征混合提取局部依赖关系。这些组件共同使混合注意力层能够专注于建模全局依赖关系,从而提高了可扩展性、稳健性和性能。
本文其余部分组织如下:第2节描述数据集;第3节详细介绍所提出的方法、超参数优化和一致性不确定性量化(UQ)方法;第4节呈现实验结果和讨论;第5节提供结论。
**数据集**
本研究利用PJM互联数据矿工2平台[39]的小时发电量数据,时间跨度为2024年1月至2025年6月。数据集包括此处定义为新兴可再生能源(如生物质能和沼气)的"其他可再生能源"(数据集-A)和水电发电量(数据集-B)。作为美国最大的电力市场之一,PJM是可再生能源预测的代表性测试平台。为考虑天气依赖性变异,小时
**概述**
IPatchTST将VAN、PatchMixer层和具有物理注意力的增强Transformer编码器集成到PatchTST模型中,以处理长期时空依赖关系,从而改进可再生能源发电量预测(见图4)。噪声抑制的重要性已在多个工程领域得到广泛认可[13]、[42]、[43]。为确保可靠性,该框架采用ICEEMDAN分解处理非平稳数据,并纳入一致性不确定性
**结果与讨论**
本节评估了所提出模型的性能、稳健性和有效性。4.1节呈现了与几种最先进基准的对比研究。4.2节详细说明了用于可靠性分析的不确定性量化结果,4.3节报告了两类消融研究,一类聚焦于模型架构,另一类聚焦于输入变量配置。4.4节展示了所提出模型的可解释性。最后,
**结论**
本研究通过引入结构化物理洞察和多尺度学习机制增强了PatchTST架构,提出了一个用于长期可再生能源预测的高级框架。所提出的模型通过整合混合融合注意力、VAN、基于PatchMixer的局部特征提取以及滚动窗口ICEEMDAN分解策略(以防止前视偏差),为复杂的多元任务提供了一种可扩展、可解释的解决方案。这些组件使该框架能够
**CRediT作者贡献声明**
Fu-Kwun Wang:撰写-审阅与编辑、验证、监督、资源、项目管理、方法论、资金获取、概念化。William Gomez:撰写-原稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。
**利益冲突声明**
作者声明,他们没有已知的会可能影响本文所报告工作的竞争性经济利益或个人关系。
Fu-Kwun Wang | William Gomez
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号