一种基于变压器的框架，该框架结合了空间自适应嵌入技术和元特征库，用于风电预测

《Energy》：A transformer-based framework with spatially adaptive embedding and meta-feature bank for wind power forecasting

　　张亚娟|郭定伟|王云鹤|连超杰|郑鲁东
河北工业大学人工智能学院，天津，300401，中国

**摘要**
准确的风力发电预测（WPF）对于科学调度至关重要，确保了风能安全地融入电网。当前的基于深度学习的风力发电预测方法在提取数据的空间和时间特征方面取得了显著进展。然而，由于难以表示风力涡轮机的空间信息以及风力发电的高度波动性，导致性能不尽如人意。在本文中，我们设计了一种新颖的基于Transformer的方法，该方法结合了空间特征嵌入和元特征库匹配来进行风力发电预测。在空间建模方面，我们设计了一种基于身份的时空特征嵌入机制，为每个涡轮机分配唯一的空间嵌入，并将其与其他身份特征结合。通过利用Transformer的注意力机制，该方法动态捕捉涡轮机之间的复杂空间关系，解决了空间信息建模的挑战。此外，引入了一个元特征库模块来存储具有代表性的风力发电特征，并通过动态特征检索和融合提高涡轮机特征的表达能力。这有效处理了风力发电的高波动性，提高了模型对复杂天气模式的适应性。在公共和私有数据集上的实验表明，我们提出的模型显著优于现有方法，在公共数据集上实现了约19.2%的平均绝对误差（MAE）降低。它在处理风力发电的高波动性和复杂空间关系方面表现出色，从而大大推动了可持续能源解决方案的发展。代码可在此处获取。

**引言**
在过去几十年中，随着经济和技术的不断发展，人类对能源的需求一直在增加。然而，使用传统的化石燃料（如煤、石油和天然气）会产生污染，破坏环境，并导致全球变暖[1]。此外，由于化石燃料是非可再生且储量有限，过度开采将导致能源资源枯竭。因此，需要可再生能源来解决能源危机和环境问题[2][3]。作为一种清洁和可再生的能源，风力发电受到了全球关注。然而，风能的随机性和间歇性给电网负荷平衡和电力调度带来了实际挑战[4]。准确的风力发电预测有助于制定科学的调度计划，有效缓解这些挑战，确保电力系统的长期稳定性和可靠性[5]。尽管如此，现有的预测模型在高度波动的风力和复杂涡轮机交互条件下仍难以实现稳健和稳定的性能，尤其是在布局不规则的大型风电场中。解决这一限制是本研究的核心目标。为了更好地突出我们工作的定位，我们接下来回顾了相关研究（第1.1节）并总结了我们的关键贡献（第1.2节）。

近年来，凭借强大的建模复杂非线性关系的能力，深度学习方法在风力发电预测领域受到了越来越多的关注。这些算法在从原始数据中提取复杂模式方面显示出巨大潜力[6]，其在WPF中的有效性已在多项研究中得到验证[7]。早期的深度学习模型大多基于单一神经网络架构进行训练，例如卷积神经网络（CNN）[8]、循环神经网络的变体（RNN）：长短期记忆（LSTM）[9]和门控循环单元（GRU）[10][11]。然而，单一模型在复杂的发电场景中常常面临收敛问题或过拟合问题。为了解决这些问题，研究人员提出了将分解技术与混合深度学习框架结合的方法。例如，赵等人[12]引入了VMD-CNN-GRU模型，该模型使用变分模式分解（VMD）进行去噪，CNN捕捉多个特征之间的相关性，GRU提取时间特征。向等人[13]提出了SATCN-LSTM模型，该模型将自注意力时序卷积网络（SATCN）与LSTM结合，以实现超短期WPF。此外，吕和王[14]通过多目标特征选择和卷积长短期记忆网络（ConvLSTM）提高了短期风速预测的性能。这些混合模型在一定程度上提高了WPF的准确性。然而，在WPF领域，增加预测范围往往会导致预测性能下降[15]。基于注意力的模型，特别是Transformer[16]，作为一种强大的序列级学习替代方案出现了。例如，宁立等人[17]提出了EMD-CCTransformer模型用于超短期WPF。然而，上述方法缺乏有效的时空建模设计，因为它们将WPF视为一个简单的时间序列预测问题，而忽略了空间信息。

目前，基于深度学习的风力发电预测模型通常涉及风电场内的多个涡轮机，并将任务视为一个时空预测问题，而不仅仅是一个时间序列问题。早期研究人员已经深入研究了时空分析。李等人[18]应用k最近邻算法识别目标涡轮机的相邻节点，利用这些信息增强目标涡轮机的数据以捕捉空间相关性，并使用GRU提取时间相关性。此外，CNN及其变体在提取高维空间特征方面也被证明是有效的[19]。例如，Abou Houran等人[20]使用CNN提取空间特征。李等人[17]引入了一种基于深度注意力的卷积循环网络来捕捉时空相关性中的非线性特征。余等人[19]提出了一种改进的CNN，从具有点云分布的多个风电场中提取空间特征。然而，基于CNN的方法通常将涡轮机之间的空间关系视为2D网格数据，忽略了它们之间的复杂非欧几里得拓扑关系。

图机器学习[21]的发展引入了创新方法，有效地表示了风力涡轮机的空间依赖性[22]。这些时空模型倾向于使用图神经网络（GNN）或其变体来建模空间相关性。例如，在[23]中提出了一种用于多节点海上风速预测的时空相关图神经网络，结合了图卷积网络（GCN）来捕捉空间依赖性。类似地，参考文献[24]使用皮尔逊相关性构建邻接矩阵来表示空间拓扑，然后将GCN与LSTM结合以捕捉复杂的时空特征。近年来，研究人员开始探索更高级的架构，进一步改进时空特征的提取。刘等人提出了ST-GCL模型[11]，并利用对比学习机制提高了模型表示时空特征的能力。此外，图注意力网络（GAT）也被应用于从原始风力发电数据中提取时空特征[25]。例如，在[26]中，研究人员首先使用GAT提取风力涡轮机之间的空间信息，然后使用Informer[27]进行时间序列预测。为了更全面地捕捉风力涡轮机之间的复杂时空关系，侯等人提出了STMGDDT模型[15]。该模型整合了距离图、皮尔逊图和FastDTW图，并将GCN应用于融合图，以探索风力涡轮机之间的空间关系，旨在提高风力发电预测的准确性。传统图建模方法的性能高度依赖于预定义的图结构。然而，涡轮机之间缺乏明确的邻接关系以及复杂地形、环境变量和电力波动的动态耦合特性，使得难以有效地表征固定图拓扑的时空特征。这导致特征提取有限，实际性能降低。

为了克服这些限制，最近的时空预测进展转向了潜在结构学习。特征嵌入和元特征库机制在相关任务（如交通流和空气质量预测[28]）中展现了强大潜力。这一领域的代表性模型包括STID[29]，它引入了显式的时空身份表示作为归纳偏差，及其后续扩展如STAEformer[30]，它在Transformer架构内进一步结合了自适应空间和时间嵌入。同时，MegaCRN[31]采用元节点库来重建潜在图结构，以增强表示学习。表1总结了代表性风力发电预测方法的系统比较，包括它们的建模策略和局限性。然而，将这些耦合架构直接应用于风力发电预测并不简单。由于风电场表现出高度不规则的涡轮机布局、复杂的非欧几里得空间关系以及由快速变化的气象条件引起的强烈波动性，现有模型中固有的对称性假设——将时间动态与空间拓扑以相同的自适应刚性对待——导致模型的归纳偏差与物理现实之间存在不一致。因此，在这种场景下，完全耦合的嵌入引入了冗余和过拟合风险。

为了弥合这一差距，我们通过采用不对称解耦策略重新设计了嵌入机制：我们严格保留自适应嵌入用于空间建模（捕捉静态涡轮机异构性），同时使用专门的元特征库通过模式检索来处理时间波动性。这种物理感知的适应使所提出的模型能够有效捕捉非欧几里得空间依赖性，而不受波动性时间动态的负面影响。这种设计明确地将预测目标分解为两个互补的子目标：通过自适应空间嵌入建模静态和非欧几里得空间异构性，以及通过基于检索的模式增强来减轻时间波动性。除了提高预测准确性外，这种表述还有助于实现更稳定和可解释的风力发电预测，这对于可靠的风电场运营、调度和电网集成至关重要。为了进一步澄清现有时空预测范式与我们提出方法之间的概念差异，表2对比了基本假设、架构角色和学习机制。

为了应对风力发电预测中的高波动性和复杂非欧几里得空间依赖性挑战，本研究的核心目标是开发一个强大的时空预测框架，该框架能够同时建模涡轮机异构性并在快速变化的气象条件下稳定预测。为了实现这一目标，我们将预测任务分解为几个具体的子目标及其相应的实施步骤：（1）在不依赖预定义图结构的情况下学习稳健的特定涡轮机空间表示；（2）通过模式感知的特征增强来减轻时间波动性的影响；（3）在统一的基于Transformer的架构中整合空间和时间表示，以实现动态预测。

总之，本工作的具体贡献如下：
1. 我们提出了一种时空特征嵌入机制，该机制通过自注意力模型特定涡轮机的空间身份特征，并动态捕捉风力涡轮机之间的复杂非欧几里得空间依赖性，无需预定义或静态邻接图。
2. 为了明确应对风力发电的高波动性，我们引入了一个元特征库匹配机制，该机制检索并融合具有代表性的历史模式与当前时空特征，从而在快速变化的气象条件下提高预测稳定性和泛化能力。
3. 在多个真实世界风电场数据集上的广泛实验表明了我们模型的优越性。它在不同的风电场和运营条件下的性能优于现有预测方法。我们的方法的有效性和稳健性通过比较分析和消融研究得到了验证。

**问题陈述**
在本文中，预测场景设定在一个有N个风力涡轮机的风电场中。风力发电预测的目标是利用历史风力发电数据X={Xt(1),Xt(2)...Xt(N)}t=1H∈RH×N×O，来预测未来的风力发电Y?={Y?t(1),Y?t(2)...Y?t(N)}t=H+1H+P∈RP×N×1，其中H是历史序列的长度，P是预测序列的长度。Xt(n)∈RO表示时间t时涡轮机n记录的O维特征信息，如风速。

**提出的方法**
如图1所示，STFEB-WPF模型框架包括四个核心模块。数据准备模块预处理原始数据以符合模型的输入规范。特征嵌入模块生成时间和空间特征嵌入，然后应用元特征库匹配生成库特征嵌入。注意力机制模块利用时间Transformer捕捉时间序列数据中的长期依赖性，空间Transformer捕捉

**数据集**
为了进行更全面的比较，本文评估了我们提出的模型和所有基准模型在两个不同数据集上的预测性能。值得注意的是，这两个数据集来自规模、涡轮机数量和运营特性不同的风电场。SDWPF代表一个在相对稳定运营条件下的大型风电场，而HHL16对应于一个受到高度波动风模式影响的小型风电场。

**结论**
在本文中，我们提出了一种创新的时空风力发电预测框架STFEB-WPF，该框架将时空特征嵌入与元特征库匹配机制结合，以应对复杂的空间依赖性和风力发电生成固有的高波动性。自适应空间嵌入为涡轮机分配特定的身份表示，而基于Transformer的空间注意力动态捕捉非欧几里得涡轮机间关系，克服了

**作者贡献声明**
张亚娟：撰写与编辑、验证、监督、资源管理、项目管理、方法论、资金获取、正式分析、数据管理、概念化。邓伟国：写作——审稿与编辑；写作——初稿撰写；软件开发；资源管理；项目管理；方法学研究；数据整理。王云鹤：写作——审稿与编辑；数据验证；研究监督；正式数据分析；数据整理；概念构建。连超杰：数据可视化；结果验证；利益冲突声明。作者声明他们没有已知的可能影响本文研究工作的财务利益冲突或个人关系。