SSMCF：一种用于少样本短期电力负荷预测的自监督掩码对比框架

《Computers and Electrical Engineering》：SSMCF: A self-supervised masked contrastive framework for few-shot short term electric load forecasting

　　

# 摘要
准确的短期负荷预测（STLF）对于优化电力供需平衡和能效至关重要。然而，现有方法严重依赖大量标记数据，在负荷突变、瞬态能源和新场景中可迁移性和鲁棒性有限，给智能电网调度带来挑战。为解决此问题，提出了一种自监督掩码对比框架（SSMCF），用于在少样本标记下进行准确 STLF。SSMCF 基于三个关键创新构建：(1) 提出了掩码时间序列建模（MTM）以学习局部负荷特征；(2) 构建了一个统一 MTM 和对比学习（CL）的预训练框架，用于少样本下的自监督学习；(3) 提出了一种配备动态融合模块（DFM）的 LSTM–KAN–Transformer 混合主干网络，用于时间特征提取。在七个公开数据集和一个公用事业级负荷预测场景上的实验表明，SSMCF 优于十三种方法，具有更高的准确性和泛化能力，证明其是少样本 STLF 的有力工具。代码和数据集可在 https://github.com/wink798/SSMCF.git 获取。

# 引言
电力行业是经济社会发展的支柱，也是工业生产和基础设施的重要能源骨干 [1]。随着现代社会电力需求的持续增长，确保发电、供电、配电和用电的动态平衡已成为电力系统稳定运行的核心问题。电力负荷预测是电力系统管理的核心任务之一，对供电的稳定性和经济性有着重大影响 [2]。准确的电力负荷预测是电力系统规划、运行、调度和市场交易的基石。随着分布式发电、新能源汽车等能源需求的持续增长，加上多重因素的交织影响，短期电力负荷预测（STELF）变得日益重要，关系到电力供需平衡、成本降低和效率提升 [3], [4]。STELF 可以提供未来几小时到几天的电力需求预测，帮助电力电网实时监测负荷变化，避免因电力短缺或过载导致的系统不稳定。

由于短期电力负荷变化受季节、气候、社会经济活动和政策变化等多种因素影响，负荷数据表现出非线性、时变性和随机波动的特征。因此，提高其预测准确性已成为研究的核心挑战 [5]。

传统 STELF 方法主要分为两类：一是数学统计方法，如时间序列分析和线性回归；二是机器学习算法，如支持向量机（SVM）[6]、随机森林（RF）[7] 和 XGBoost [8]。尽管这些方法在特定场景中取得了了一定的预测性能，模型结构简单且可解释性高，但由于短期负荷数据的非线性、时变性和随机波动日益显著，以及多种复杂因素的交织影响，它们难以准确捕捉负荷的动态变化模式。因此，它们很难满足现代电力系统对预测准确性和泛化能力的复杂要求。

为解决这些问题，基于深度学习（DL）的 STELF 方法应运而生 [9]。利用 DL 强大的非线性拟合能力和深度特征挖掘能力，这些方法可以准确捕捉短期负荷数据中的复杂时间依赖性和隐藏特征模式，推动 STELF 技术向更高准确性和更强适应性发展。

在 STELF 领域，长短期记忆网络（LSTM）[10]、门控循环单元（GRU）[11] 和时间卷积网络（TCN）[12] 等 DL 方法常用于预测。为了增强从负荷序列数据中提取长距离特征的能力，Transformer 也成为了研究热点之一 [13]。然而，由于 STELF 的数据量和对影响特征数量的限制，此类方法容易出现过拟合风险。考虑到单一模型的局限性，提出了一些混合网络，如 LSTM–GNN [14] 和 TCN–LSTM [15]。最近，自从柯尔莫哥洛夫 - 阿诺德网络（KAN）[16] 架构提出以来，它已被广泛应用于时间序列预测 [17] 等领域。通过将激活函数从节点转移到边缘并集成 B 样条参数化将其转换为可学习函数，KAN 实现了对复杂函数的有效近似。鉴于 KAN 的非线性近似能力，结合 KAN 的一些混合模型，如 TCN–KAN [18] 和 Transformer–KAN [19]，逐渐被提出。

尽管这些基于 DL 的方法在数据充足的情景下表现出优越的预测性能，但其训练过程严重依赖大规模标记数据，且对数据分布变化适应性差，导致在少样本条件下预测性能令人不满意。在智能电网新区域部署和微电网调度等非平稳场景中，提供大量标记负荷数据耗时且成本高，这限制了 DL 方法在 STELF 领域的实际应用。

自监督学习是一种无需人工标记类别标签信息的无标记数据驱动表示学习方法。它直接使用数据本身作为监督信号，学习样本数据的特征表示以供下游任务使用。其主流方法分为掩码图像建模（MIM）[20] 和对比学习（CL）[21]。MIM 的核心是随机掩码输入数据，然后使用模型重建原始数据，从而迫使模型学习数据的内在结构和局部特征。相比之下，CL 从大量无标记数据中构建正负样本对，引导模型学习判别性特征表示，增强模型区分不同模式的能力。它在目标域数据不足时表现尤其显著，在解决少样本 STELF 方面显示出潜在潜力。这种学习机制已被应用于图像分类、文本情感分析等各种研究领域和问题。然而，大多数现有 STELF 方法都是基于丰富数据研究的，数据不足场景下的研究相对较少。

为解决现有方法在少样本 STELF 中的不足并填补该领域的研究空白，本文提出了一种用于 STELF 的自监督掩码对比框架（SSMCF）。SSMCF 首次互补地整合了 MIM 在局部负荷特征捕捉和 CL 在判别语义优化方面的优势，并将它们纳入统一的自监督框架，以便从少样本数据中获得更强大的负荷序列表示，从而提高下游 STELF 的准确性。为了充分学习负荷数据的局部特征，我们提出了掩码时间序列建模（MTM），通过整合电力数据的时间特征，对时间序列数据进行掩码 - 重建任务以进行序列掩码学习。最后，为了实现鲁棒的负荷序列特征提取，提出了一种配备动态融合模块（DFM）的 LSTM–KAN–Transformer 混合主干网络，能够自适应地协作提取涵盖局部细节和全局模式的时间特征。

本文的主要贡献如下：
1. 我们提出了一种用于少样本 STELF 的自监督掩码对比框架（SSMCF）。SSMCF 学习的表示不仅保留了局部负荷序列的上下文敏感特征，还建模了不同负荷序列之间的实例判别性。
2. 我们提出了掩码时间序列建模（MTM），通过对负荷序列数据实施掩码 - 重建任务来实现局部序列特征的表示学习。
3. 我们提出了一种配备动态融合模块（DFM）的 LSTM–KAN–Transformer 混合主干网络，用于鲁棒的负荷序列特征提取。
4. 在七个公开数据集上的实验表明，SSMCF 在 STELF 任务中优于六种全监督方法和七种自监督方法，同时保持较低的计算开销。

本文其余部分结构安排如下：第 2 节详述相关工作。第 3 节详述所提出 SSMCF 框架的实现细节。第 4 节介绍实验数据和评估指标。最后，第 5 节总结全文。

# 章节片段

## 短期电力负荷预测
短期电力负荷预测（STELF）专注于未来几小时到几天的负荷需求预测，是实时电力电网监测和避免电力供应短缺及过载风险的关键依据。近期 STELF 领域的研究主要集中在提高预测准确性、鲁棒性和计算效率等目标上，其中混合建模和跨技术集成逐渐成为主流发展方向。

## 问题陈述
令电力负荷序列集定义为 X={x1,x2,…,xi,…,xj,…,xN}。SSMCF 将 X 分别分解为对应的季节序列 {x11,x12,…,x1i,…,x1j,…,x1N} 和趋势序列 {x21,x22,…,x2i,…,x2j,…,x2N}。SSMCF 的预训练目标是学习一个非线性嵌入函数 g??，使得来自季节序列和趋势序列的每个对应实例对 (x1i,x2i) 都能映射到最优特征表示 (f1i,f2i)。每个输入序列实例为 xi∈?T×F，其中 T

## 数据集
SSMCF 在 Monash [32] 和 LibCity [33] 数据集中约十亿（1B）样本的子集上进行预训练，这些构成了包括风力发电、太阳能、NN5、汽车等的官方标准基准数据集。排除了一些年度和月度数据，并且所有用于评估的数据集都被移除，包括天气、电力和交通数据集。

为了评估 SSMCF 的有效性，在电力数据集和四个公开

# 结论
基于深度学习的模型在短期电力负荷预测领域取得了快速发展。然而，它们对大量标记训练数据的依赖限制了其在新环境部署等场景中的可迁移性和鲁棒性，给实际应用带来了巨大挑战。为解决此问题，本研究探索了一种创新研究方向：首次在短期电力负荷预测领域，我们提出了一种统一的

# 利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系，这些利益或关系可能影响本文所述工作的报告。

# 作者信息
马龙 | 郭长娜 | 王哲 | 王洋洋 | 王创龙 | 许万齐
中国抚顺 113122，煤矿灾害防控国家重点实验室