MOVLPSO-CNN-BiLSTM：基于多目标变长粒子群优化的 CNN-BiLSTM 用于中期电力负荷预测

《Swarm and Evolutionary Computation》：MOVLPSO-CNN-BiLSTM: Multi-objective variable-length particle swarm optimization-based CNN-BiLSTM for medium-term electric load forecasting

　　

摘要

近年来，基于深度学习的电力负荷预测模型得到了广泛应用，但大多数现有方法依赖于单一深度学习模型，其神经架构和超参数通常通过人工试错过程进行设计。此外，这些方法往往仅关注预测精度，而在设计过程中忽略了模型复杂度的考量。为了解决这些局限性，本文提出了一种创新的基于自动深度学习的负荷预测方法，即基于多目标变长粒子群优化（MOVLPSO）的卷积神经网络-双向长短期记忆网络（CNN-BiLSTM），简称MOVLPSO-CNN-BiLSTM。该框架以CNN-BiLSTM为基础预测器，有效结合了CNN的特征提取能力与BiLSTM的时间序列处理优势。首先，将基于CNN-BiLSTM的预测模型的神经架构和超参数的自动化设计问题形式化为多目标优化问题，同时考虑最小化预测误差（即均方误差）和最小化模型复杂度（即模型参数数，NoMPs）。然后，我们开发了一种定制的混合变长编码策略来表示CNN-BiLSTM的神经架构和超参数，并设计了自适应粒子更新机制，以在MOVLPSO框架中高效演化帕累托前沿。在澳大利亚能源市场运营商提供的12个真实负荷数据集上的实验结果表明，与一种基于手工设计的先进深度神经网络和四种基于自动深度学习的负荷预测方法相比，所提出的MOVLPSO-CNN-BiLSTM在均方根误差、平均绝对误差、平均绝对百分比误差和模型参数数方面均取得了更优的预测性能和更轻量化的模型。

引言

电力负荷预测在现代电力系统中发挥着关键作用，使电力公司能够高效管理需求响应、提前规划电力生产和分配，并确保不同时间段的用户需求得到满足[1]-[4]。因此，准确的电力负荷预测对于电网的能源管理至关重要，因为降低预测误差不仅能够降低运营成本、优化供电计划，还能提高电力系统的可靠性[5]。根据预测时间范围，负荷预测可分为短期负荷预测（STLF，从几分钟到几小时）、中期负荷预测（MTLF，从一天到几周）和长期负荷预测（LTLF，从几个月到几年）[6][7]。其中，MTLF在长期战略规划与短期运营调度之间起着关键的桥梁作用，需要同时捕捉长期趋势和比长期预测更精细的短期波动。与LTLF相比，由于MTLF对决策具有直接的经济影响，因此要求更高的精度；同时，由于其预测时间范围较长，MTLF呈现出的不确定性也比STLF更大[8][9]。因此，本研究聚焦于MTLF问题。

人工智能技术的快速进步推动深度学习在多个领域取得了显著成功，在时间序列预测应用中展现出特别强的潜力[10]-[12]。深度学习模型能够捕捉复杂的负荷数据模式和特征，从而获得比传统统计方法和机器学习方法更准确的预测结果。因此，各种深度学习模型，如卷积神经网络（CNN）、门控循环单元（GRU）、长短期记忆网络（LSTM）和双向长短期记忆网络（BiLSTM），在不同时间序列预测任务中取得了显著成果[13]-[15]。然而，大多数现有方法依赖于单一深度学习模型，而混合深度学习模型通过协同结合各模型组件的互补优势，有望实现更优的预测性能。许多混合深度学习模型，包括CNN-LSTM、LSTM-Transformer、Transformer-BiLSTM和CNN-GRU模型，已成功应用于负荷预测任务[16]-[18]。与单一深度学习方法相比，这些混合模型在各种负荷数据集上始终表现出更优的预测性能，因为它们有效利用了组成模型的互补优势。然而，现有方法主要聚焦于STLF，MTLF问题仍未得到充分解决。此外，与单一深度学习方法相比，混合模型对神经架构和超参数设置的依赖性更强，需要优化更多参数。鉴于CNN在提取局部空间特征和BiLSTM模型在捕捉长期时间依赖性方面的互补能力，CNN与BiLSTM的混合模型（CNN-BiLSTM）在解决MTLF挑战方面显示出巨大潜力。这种协同考量促使本研究选择CNN-BiLSTM模型作为基础的电力负荷预测框架。

为解决深度学习模型神经架构和超参数自动化设计中的挑战，利用进化算法的自动深度学习技术应运而生，这些技术在有效编码机制和进化操作方面做出了大量努力[19]-[21]。具体到电力负荷预测，已提出了一些自动深度学习方法，包括增强灰狼优化器CNN（EGWO-CNN）[6]、分组北极熊优化LSTM[22]和灰狼优化器广义回归神经网络（GRNN）方法[23]。为处理长期负荷预测，Rubasinghe等人[13]开发了一种基于贝叶斯优化（BO）的CNN-LSTM（BO-CNN-LSTM）方法，利用BO优化固定架构的CNN-LSTM模型的超参数。针对电力负荷区间预测，He等人[24]提出了一种小生境差分进化非支配快速排序遗传算法（NDENSGA），用于优化具有直接输入-输出连接的离散小波神经网络（DLWNN）的上下界估计模型，并将该方法称为NDENSGA-DLWNN。最近，Yu等人[25]开发了一种变长粒子群优化（VLPSO），用于优化结合CNN和双向长短期记忆网络（BiLSTM）的混合深度学习模型，简称VLPSO-CNN-BiLSTM。此外，Pei等人[26]为智能电网短期负荷预测提出了一种免训练的神经架构搜索（NAS）方法，采用架构编码方法、遗传算法和代理模型来解决传统NAS耗时的特点。Yang等人[27]开发了一个用于电力预测模型开发的智能自动架构搜索（IAAS）框架，该框架集成了保持网络功能的变换、基于强化学习的网络变换控制和启发式网络筛选，以提高搜索质量。其全面的实验表明，IAAS框架在预测精度和稳定性方面显著优于十种现有模型。此外，Keisler等人[28]创建了EnergyDragon，一种自动深度学习框架，可自动选择特征并优化深度神经网络的架构和超参数，用于负荷预测，在法国负荷信号上取得了优于先进方法的性能。然而，这些方法仅关注预测精度，而忽略了深度学习的模型复杂度，这是深度学习模型在真实电力预测平台在线部署时的关键因素。最近，多目标离散极值优化CNN（MODEO-CNN）引入了一种多目标自动深度学习框架，结合极值优化机制，同时优化模型复杂度和分类性能，用于网络攻击检测[29]。尽管如此，MODEO-CNN仅限于使用单一CNN模型进行分类任务，无法直接应用于电力负荷预测问题。因此，仍迫切需要开发多目标自动深度学习框架用于电力负荷预测，以同时优化预测精度和模型复杂度。

粒子群优化（PSO）是一种受鸟群行为启发的无梯度技术，是最突出的群体智能算法之一。其显著优势包括不依赖于问题特定的数学性质、在真实优化场景中具有鲁棒性以及对初始解配置不敏感[30]。这些特性使PSO成为自动深度学习设计的可行方法，最近的实证研究也确认了其在解决图像分类领域的神经架构设计挑战方面的有效性[31][32]。利用这些能力，我们采用多目标变长粒子群优化（MOVLPSO）作为自动混合深度学习模型设计的核心优化方法，以解决中期负荷预测问题[33]。然而，关于负荷预测中神经架构和超参数优化的研究在同时实现模型轻量化和预测精度提升方面仍然有限。

为实现预测性能与模型复杂度之间的良好平衡，本文提出了一种通过精心开发的MOVLPSO自动设计的轻量化CNN-BiLSTM混合深度学习模型，称为MOVLPSO-CNN-BiLSTM，专门用于MTLF问题。本文的主要贡献如下：

(1) 尽管大多数现有工作侧重于使用单一深度学习模型提高负荷预测性能，但模型轻量化是实际电力负荷预测系统的另一个关键因素。本文通过结合CNN和BiLSTM开发了一种混合深度学习模型，即CNN-BiLSTM，作为主要预测工具。在CNN-BiLSTM中，我们可以利用CNN在时间序列数据特征提取方面的优势以及BiLSTM在时间特征挖掘方面的能力。然而，CNN-BiLSTM的神经架构和超参数设计复杂度高于单一模型，而大多数混合模型依赖于人工试错或专家知识，缺乏系统化的自动设计，尤其是在平衡预测性能和模型复杂度时。为了提供良好平衡，本文提出了一种用于电力负荷预测的多目标自动CNN-BiLSTM模型，称为MOVLPSO-CNN-BiLSTM，该模型同时优化两个冲突目标，即最小化预测误差和最小化模型复杂度。

(2) 提出了一种针对每个粒子的混合变长编码策略，用于表示CNN-BiLSTM的神经架构和超参数，包括CNN层数、BiLSTM层数、每个卷积层的核大小、每个卷积层的激活函数、每个卷积层之后的池化类型、每个卷积层之后的池化大小、每个BiLSTM层的神经单元数、每个BiLSTM层的激活函数、训练 dropout 率、训练批次大小、训练学习率、训练正则化类型、训练优化器类型等。然后，在MOVLPSO框架下精心开发了变长粒子的适应度评估、速度计算和位置更新，以自动搜索一些在预测精度和模型轻量化之间具有良好权衡的CNN-BiLSTM模型。基于上述努力，所提出的MOVLPSO-CNN-BiLSTM方法能够自动设计CNN-BiLSTM模型的神经架构和超参数，有效解决不同场景下的MTLF挑战，同时消除人工试错过程的局限性。

(3) 所提出的MOVLPSO-CNN-BiLSTM模型通过澳大利亚能源市场运营商（AEMO）收集的三个区域（即新南威尔士州（NSW）、昆士兰州（QLD）和维多利亚州（VIC））在四个代表性月份（即一月、四月、七月和十月）的十二个负荷数据集进行了验证[34]。实验结果表明，与先进方法相比，MOVLPSO-CNN-BiLSTM取得了更优的预测性能和更低的模型复杂度。具体而言，我们将其与一种基于手工设计的深度神经网络电力负荷预测方法进行比较：SRDCC-BiLSTM，该方法结合了基于短感受野膨胀因果卷积（SRDCC）和BiLSTM[35]。我们还纳入了四种自动深度学习方法：BO-CNN-LSTM[13]、NDENSGA-DLWNN[24]、EGWO-CNN[6]和VLPSO-CNN-BiLSTM[25]。此外，还实施了消融实验以说明混合CNN-BiLSTM模型和MOVLPSO算法的有效性。

片段部分

问题描述

本文将基于CNN-BiLSTM模型的MTLF中神经架构和超参数的自动化设计问题形式化为多目标优化问题，旨在在预测精度和模型复杂度之间取得平衡。具体而言，采用一维CNN来高效捕捉局部时间依赖关系，同时保持计算效率[36]-[40]。互补地，BiLSTM架构增强了传统LSTM的……

所提方法

为了高效解决上述表达式(1)所示的多目标优化问题，本节详细介绍了所提出的用于电力负荷预测的MOVLPSO-CNN-BiLSTM方法。

实验结果

所有实验均在配备NVIDIA GeForce RTX 3080Ti笔记本GPU的硬件上完成，软件环境基于Python 3.8和TensorFlow 2.8。

结论与开放问题

本文提出了一种多目标自动深度学习方法，称为MOVLPSO-CNN-BiLSTM，通过基于MOVLPSO自动设计混合CNN-BiLSTM模型，用于中期电力负荷预测。其中一项技术贡献是将基于CNN-BiLSTM的负荷预测中神经架构和超参数的自动化设计问题形式化为多目标优化问题，其中定义了最小化均方误差和最小化模型参数数……

CRediT作者贡献声明

曾国强：写作 – 审阅与编辑，写作 – 初稿撰写，可视化，验证，监督，资源，方法论，资金获取，概念化。余德贵：写作 – 初稿撰写，可视化，验证，软件，方法论，形式分析。李立民：写作 – 审阅与编辑，可视化，验证，软件，方法论，形式分析，概念化。徐奕鹏：写作 – 审阅与编辑，可视化，验证，软件。

耿光钢：利益冲突声明
作者声明，他们没有任何已知的竞争性经济利益或个人关系，这些因素可能被视为影响本文所述的工作。
曾国强|于德贵|李利敏|徐益鹏|耿光钢|陈鹏|褚飞
数字化电气设计技术国家地方联合工程研究中心及浙江省智能低压电器与新能源应用重点实验室，温州大学，中国 325035