GPTNLF：一种基于大型语言模型的短期多任务电网负荷预测增强方法

《Expert Systems with Applications》：GPTNLF: A Large Language Model Enhanced Method for Short-term Multi-task Net Load Forecasting

　　张凤华|任玉玲|谭毛|刘伟|吕新伟|曾陈瑞
湘潭大学自动化与电子信息学院，湘潭，411105，中国

**摘要**
对于分布式能源资源（DERs）渗透率较高的电力系统而言，稳定且准确的净负荷预测至关重要。然而，由于气象不确定性、噪声干扰和数据稀缺性，这一任务仍然充满挑战。考虑到这些问题，本研究提出了GPTNLF，这是一种通过大型语言模型（LLM）增强的短期多任务净负荷预测方法。该方法基于全面相关性评估（CCE）的特征选择机制，选取了对净负荷预测具有重要影响的气象特征。随后构建了一个外部气象特征增强模块，以指导模型充分学习气象特征信息，从而重构与净负荷相关的特征表示，并提升模型对外部信息的感知能力。GPTNLF在GPT2基础模型中整合了三种类型的时-频-FFT适配器进行微调，实现了对负荷相关性和时间依赖结构的深度学习，有效提升了模型的预测稳定性。实验结果表明，GPTNLF在净负荷预测、噪声干扰和少量样本学习方面显著优于传统方法，证明了微调大型语言模型在净负荷预测任务中的稳定性和有效性。

**引言**
近年来，分布式能源资源（DERs），如分布式光伏发电和分散式风电，由于其本地消耗、低碳排放和灵活部署的优势而发展迅速（Zhang, Hu, Ghias, Xu, & Chen 2023a）。然而，DERs的高渗透率显著改变了区域电力消费模式和负荷分布（Yousri, Farag, Zeineldin, & El-Saadany 2023），导致了众所周知的“鸭峰曲线”现象，并对电力系统的稳定性和运行灵活性提出了严峻挑战（Kamil, Chong, & Hashim 2023）。因此，短期净负荷预测（STNLF）变得至关重要，因为它支持系统的最优运行和管理，减轻了可再生能源引入的波动性和不确定性，并使新电力系统的运营商能够高效地控制和管理电网资产（Su, Xu, Liu, Tan, Wang, Yang, 2025; Tziolis, Lopez-Lorente, Baka, Koumis, Livera, Theocharides, Makrides, Georghiou 2024）。

目前，净负荷预测可以通过两种方法实现：直接方法和间接方法（Li, Yan, Hu, Wang, & Zhang 2021）。直接方法直接利用单一净负荷的历史数据来预测净负荷（Hu et al. 2024）。Zhang等人（Zhang, Zhou, Xu, Shen, & Chang 2024）提出了PSGformer模型，该模型结合了多尺度序列分解、图注意力机制和分段迭代趋势模块，提高了多变量净负荷预测的准确性和稳定性。Wu等人（Wu, Xiao, Wang, Zhang, & Wen 2025）提出了AND-Weibull模型，该模型将加性神经分解与Weibull注意力相结合。通过将净负荷明确分解为稳定模式和高频残差成分，并通过时频联合STE损失函数进行优化，在高可再生能源渗透率下显著提高了短期净负荷点和区间预测的准确性。尽管直接方法通过深度学习结构增强了模型的表达能力，但它们主要依赖于历史净负荷特征，未能充分利用外部气象因素对负荷预测的影响。多任务学习通过利用共享表示和辅助的气象及日历任务，增强了特征共享并捕获了不同任务之间的相关性，从而提高了预测准确性和鲁棒性（Liao, Tan, Li, Chen, Wang, Su, 2024; Yang, Zhang, Jia, Wang, Qiao, Dong, Wang, 2024; Zhang, Chen, Cao, Tan, 2023）。

相比之下，间接方法通过分别预测需求负荷和可再生能源发电负荷，然后计算其差值来获得净负荷预测结果（Khodayar et al. 2020）。Pei等人（Pei, Liu, Shi, & Ding 2025）提出了一种基于iTransformer和多任务学习的次日净负荷预测方法，该方法通过结合外部气象特征和历史净负荷数据作为辅助任务，提高了不同数据集的预测准确性。然而，深度学习模型通常需要大量历史数据进行训练，以准确捕捉复杂的非线性特征关系并提高预测准确性。当历史数据有限或缺失时，这类模型的预测性能往往受到显著限制。为了解决这个问题，针对特定领域任务的中小型模型微调研究迅速发展（Ding et al. 2023；GPT4TS Zhou, Niu, Sun, Jin et al. 2023）。GPT4TS首先通过微调GPT2的位置嵌入和规范化参数验证了大型语言模型（LLMs）的有效性，在少量样本和零样本场景中表现出色（Gruver, Finzi, Qiu, & Wilson 2023）。Time-LLM（Jin et al. 2024）通过引入重新编码层实现了时间和文本标记的对齐，进一步提高了在参数冻结条件下的预测准确性。同时，Tan等人（Tan, Merrill, Gupta, Althoff, & Hartvigsen 2024）指出，LLM预训练主要依赖于自然语言语料库，限制了其在纯数值时间序列上的泛化能力。TEMPO（Cao et al. 2024）和S2IP-LLM（Pan et al. 2024）通过基于提示的学习和语义空间对齐提升了预测性能，使LLM能够更好地捕捉内在时间结构并提高对多样化时间序列的泛化能力。此外，最近的研究将基于LLM的架构扩展到了数据稀缺和领域特定的能源预测场景中。通过定制的微调策略和多模态学习方法，这些努力显著提高了能源负荷预测的性能（Huang et al. 2025; Liang, Hu, Weng, Xi, & Yin 2025）。

在高可再生能源渗透率条件下的短期净负荷预测领域，研究人员在直接和间接预测策略上都取得了显著进展，LLM的应用也取得了初步成果。然而，仍存在一些挑战需要解决：基于LLM的数值净负荷预测研究仍然有限，特别是在数据稀缺和噪声干扰的情况下。尽管LLM已被引入时间序列预测，但大多数现有研究集中在多模态设置或通用基准数据集上，对特定领域的数值净负荷预测关注不足。此外，预训练LLM背骨中编码的知识及其对下游预测任务的影响仍需进一步探索。为填补这些空白，本研究提出了一个参数高效的、基于微调优化的间接STNLF框架，系统地研究了预训练知识的作用，并在数据有限和噪声条件下提高了预测稳定性。

本文提出了GPTNLF，这是一种基于LLM的短期多任务净负荷预测方法。本研究的主要贡献如下：
（1）据我们所知，这是首次采用预训练LLM增强方法进行STNLF任务的研究，该方法充分利用了多源历史信息来捕捉电力需求和可再生能源发电之间的复杂耦合关系，与传统方法相比，表现出更优的预测性能和可转移性。
（2）提出了一种气象特征增强方法，用于解决由于气象波动的高不稳定性和不确定性导致的净负荷预测差异问题，通过特定机制过滤学习到的气象特征重构目标特征，从而在高可再生能源渗透率场景下提高预测准确性。
（3）提出了一种带有时-频-FFT适配器的LLM微调架构，用于解决现实世界场景中的数据稀缺和噪声干扰问题，通过预训练的知识转移机制缓解数据稀缺问题，同时利用时频特征和通道相关性，从而在噪声较多和样本量较少的条件下实现更稳定的净负荷预测。

本文的其余部分安排如下：第2节阐述了净负荷预测任务并分析了相关挑战；第3节详细介绍了提出的GPTNLF框架；第4节在三个不同的真实世界数据集上进行了全面实验验证；第5节总结了本研究的工作。

**问题描述**
本节介绍了用于定义间接净负荷预测的提出方法，并讨论了使用真实世界数据集预测净负荷时面临的挑战。

**GPTNLF预测方法**
本节介绍了专为净负荷预测设计的GPTNLF框架，详细介绍了模型的整体架构、气象特征选择机制及其两个核心模块的工作原理和实现细节。该方法旨在减轻由气象因素引起的不确定性及可再生能源发电高波动性导致的净负荷预测误差，同时在数据稀缺和噪声条件下提高预测稳定性。

**实验与分析**
本节描述了用于评估所提模型的实验设置，包括数据集、评估指标、基线模型和实现细节。同时还对不同场景下所提方法与基线模型之间的实验结果进行了全面比较分析。

**结论**
本文提出了一种通过大型语言模型增强的短期多任务净负荷预测方法GPTNLF。基于CCE的气象特征选择机制和外部特征增强模块的集成被验证为更有效地学习气象信息提供了支持。这种设计有效缓解了可再生能源对净负荷预测的不确定性和高波动性的影响，降低了平均误差指标（MAE）。

**作者信息**
张凤华：0009-0003-0940-0422
任玉玲：0000-0002-9897-0595
谭毛：0000-0002-2246-440
刘伟：0009-0006-6605-6690
吕新伟：0009-0004-1481-0247
曾陈瑞：0009-0003-9137-6061

**作者声明**
张凤华（第一作者）：概念制定、方法论、软件开发、调查、形式分析、撰写 - 原始稿；
任玉玲（通讯作者）：数据整理、撰写 - 审稿与编辑、方法论；
谭毛：可视化、调查、监督、撰写 - 审稿与编辑、资金获取；
刘伟：资源协调、监督；
吕新伟：软件开发、验证；
曾陈瑞：可视化、软件开发。

**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文报告的工作。