结合大语言模型的双流表征学习用于电力需求预测

《Engineering Applications of Artificial Intelligence》：Dual-stream representation learning with large language models for electricity demand forecasting

　　

摘要
电力需求预测对于电力市场的可持续管理和电力系统的可靠运行至关重要，特别是在快速城市化和能源消耗密集的城市背景下。准确的负荷预测有助于高效的能源调度，减少运营低效，并通过更好地整合清洁和分布式能源资源来降低碳排放。鉴于与人口增长相对应的电力消费上升，随着时间的推移，预测电力需求的精确度和准确性对于实现节能且具有韧性的城市基础设施变得越来越重要。在这一方向上，本研究提出了一种新的混合框架，该框架集成了先进的数据预处理、双路径特征提取和大型语言转换器建模，以提高智能电网环境中负荷预测的准确性。该方法从高斯平滑开始，以减轻噪声并纠正原始消费数据中的不一致。双流模块同时分析时间序列数据块并计算关键统计摘要，产生鲁棒的数据块嵌入和独特的提示词元。提示词元作为上下文信号用于部分微调的生成式预训练转换器（GPT-2），而基于原型的数据块重编程模块则通过将数据块嵌入与一组可学习的原型向量进行对齐来持续增强数据块嵌入。这种设计使转换器的自注意力机制能够有效捕获电力需求中存在的局部波动和长期时间依赖性。在精选的区域数据集上进行的彻底实验展示了印度南部四个邦的电力负荷模式，结果显示所提出的方法优于传统的深度学习和混合技术，平均均方根误差（RMSE）为1.054，平均绝对误差（MAE）为0.8579。所提出的框架展示了所需的泛化能力，通过参数高效地适应大型语言模型进行电力预测，使其适用于负荷生成、管理和规划活动。研究结果为数据驱动方法与大型语言模型如何结合以提高能源预测和实现可持续发展提供了新的视角。

引言
居民家庭的电力消耗正随着人口增长和生活水平的提高而快速增长。《2024年世界能源展望》预测，从2023年到2035年，年度电力需求增长率将上升到3%（国际能源署，2024）。英国石油公司（2024）的类似展望发现，基于当前趋势和净零情景，印度的电力消耗到2035年将大致翻一番，到2050年将增长两倍多。鉴于如此巨大的电力消耗，政府和社区正在探索创新方法来根据用电量分配电力负荷。这对于电力市场和电力系统的管理以及有效管理和调度各种能源相关操作至关重要（Hernandez等人，2014）。电力公司必须维持电力生产和消费之间的精确关联。为了实现这一点，供应商和制造商必须拥有时间精度最高的准确预测，而人工智能领域的快速增长和发展已被证明在这方面非常有效。

机器学习和人工智能模型历史上已被用于许多预测领域，如预测股票价格趋势、供应链管理分析和电力需求预测（Phuoc等人，2024，Kagalwala等人，2025，Bedi和Toshniwal，2018）。电力需求预测一直是重大研究的主题，可以分为三个领域：机器和深度学习技术、混合技术和基于转换器的技术。线性回归、随机森林和支持向量机（SVM）等算法是预测能源需求的广泛使用的方法（Bianco等人，2009，Li等人，2018，Liu等人，2020）。然而，它们主要用于具有较少相互依赖性的小型数据集，因为特征提取相当困难且耗时。相反，深度学习模型由于能够分析和识别关键特征，更适合预测任务。深度学习领域的最新发展允许利用各种模型（Chandrasekaran和Paramasivan，2024，Michael等人，2024，khan等人，2024，Jang等人，2024），包括深度神经网络、循环神经网络、长短期记忆网络等。这些神经网络旨在保留顺序信息并识别时间序列数据中的线性和非线性依赖性（短期和长期）。许多研究人员已经采用深度学习方法和其混合形式结合传统技术来评估居民电力消耗（Fan等人，2024，Zhang和Jáno?ík，2024）。尽管如此，深度学习和混合方法在复制能源消耗的空间和时间方面时遇到困难，因为电器数量和人口增加导致能源消耗每日波动。

最初为机器翻译任务设计的转换器模型，由于利用注意力机制有效捕获局部和长期依赖性，也成为了负荷需求预测的可行选择（Zhang等人，2024，Tian等人，2024，Ferreira等人，2025）。然而，基于转换器和大型语言模型（LLM）的解决方案耗时且计算成本高昂，使得在预测系统中的实际部署变得困难，通常需要混合方法或模型简化来实现准确性和计算效率之间的平衡。为了克服这些限制，本研究提出了一种基于大型语言模型的方法来预测每日电力负荷需求，使所提出的方法与最先进的预测方法相比极其有效和准确。所提出的方法集成了各种技术，包括数据预处理、双路径特征建模和大型语言模型的转换器架构，以开发统一的泛化预测模型。与基于转换器的预测模型（Liu等人，2025）如Informer、Crossformer和PatchTST（Nie等人，2022）不同，这些模型依赖于时间注意力和基于数据块的序列建模，所提出的方法引入了基于提示的双流特征建模来表示，以捕获局部和长程时间特性。此外，与现有的基于LLM的预测方法（例如Time-LLM Jin等人，2024）主要依赖文本提示对齐不同，我们的方法应用了具有可学习原型向量的数据块重编程模块来映射和细化时间嵌入并减弱电力负荷中的噪声波动。这些贡献增强了所提出的架构在处理复杂和高非线性电力消耗模式时的鲁棒性和准确性。当前研究的关键发现如下：

•能源负荷数据高度复杂，存在由多种因素（包括测量误差、不一致的模式和异常值）引起的非线性波动。数据中的这些突然变化会阻碍预测模型的建立，导致模型效率低且准确性差。为了应对这一问题，当前方法采用高斯平滑在使用数据训练模型之前提高数据质量。高斯平滑是一种有效的方法，旨在消除数据中的不规则性和不一致性，使模型能够更高效地泛化并提高预测准确性。

•与使用原始数据块的常规基于数据块的转换器模型不同，所提出的方法使用双流特征提取策略，将原始数据块数据与关键统计摘要结合以生成数据块嵌入和提示词元，使大型语言模型能够理解并捕获数据中存在的复杂细节以及全局时间趋势。

•与利用生成嵌入的现有转换器和基于LLM的预测方法不同，引入了一个将原始数据块嵌入与一组可学习原型向量进行比较的数据块重编程模块，通过减少噪声并展示嵌入中的显著特征来动态改进数据块嵌入。这一过程帮助GPT-2有效理解和捕获数据中复杂的时间趋势和依赖性，从而提高了所提出方法的有效性和准确性。

•所提出的方法在包含印度南部四个邦每日电力消耗的大量数据集上进行了评估，使用了有效且广泛采用的评估指标，即RMSE、MSE和MAE。评估结果优于最先进的方法，证明了所提出方法在电力负荷预测领域的有效性。

文献
电力消耗的快速增长凸显了组织和管理有效能源相关操作方法的必要性，包括但不限于资源分配、输电优化和能源生产管理。电力需求预测对这些操作至关重要，文献中提出了多种预测方法。这些方法分为三个领域：机器和深度学习方法。

方法论
本节描述了用于预测电力需求所提出方法的方法论。该方法包括通过清洗和规范化数据对数据进行预处理和结构化，并进一步创建数据重叠数据块。还计算了每个数据块的关键统计摘要。预处理和结构化的数据作为我们方法的输入，该方法从双流特征提取策略开始以创建数据块嵌入。

实验结果与讨论
本节描述了用于评估所提出方法的数据集、模型中调优超参数的方法、对模型性能的评估和可视化，以及围绕所提出框架的理论讨论。以下是每个部分的详细解释。

所提出方法的应用和优势
大型语言模型的集成代表了电力负荷预测领域的重大进展。这些模型整合了分散数据利用的优势与主动适应的灵活性，从而实现了效率与可扩展性的结合。以下是突出所提出方法潜力的具体优势：

•改进的数据表示和噪声降低：所提出的方法在...方面表现有效。

结论
电力消耗的增长与人口增长和经济发展成正比，这使得电力市场和电力系统的规划与组织变得至关重要。本研究探讨了利用大型语言模型预测电力需求的潜力。所提出的方法利用GPT-2通过其强大的多头自注意力机制来预测未来负荷估计。为了高效利用GPT-2，我们提供了数据块嵌入和...

CRediT作者贡献声明
Siddhant：撰写——原稿、可视化、方法论、数据整理、概念化。
Sanchit Nanda：撰写——原稿、可视化、验证、方法论、数据整理、概念化。
Jatin Bedi：撰写——审阅与编辑、验证、监督、资源、方法论、概念化。

利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系，这些关系可能影响本文报告的工作。

Siddhant | Sanchit Nanda | Jatin Bedi
旁遮普邦帕蒂亚拉塔帕尔工程与技术学院计算机科学与工程系，印度