用于神经网络嵌入优化的ReLU激活函数的线性化：最优日前能源调度

《Sustainable Energy, Grids and Networks》：Linearization of ReLU Activation Function for Neural Network-Embedded Optimization: Optimal Day-Ahead Energy Scheduling

　　摘要
近年来，神经网络在电力系统领域得到了广泛应用。它们能够更准确地预测输入信息并建模系统性能。在某些应用中，如电池老化问题以及基于神经网络的微电网日前能源调度，训练有素的模型输入特征会成为优化模型中需要求解的变量，而这些优化模型又会为同一模型的输出设定限制。这就形成了一个嵌入神经网络的优化问题；若在神经网络中使用非线性激活函数，这类问题将极其难以解决，甚至无法求解。为应对这一新出现的挑战，本文研究了多种线性化非线性激活函数的方法，重点关注广泛使用的修正线性单元（ReLU）函数。本文提出了四种针对ReLU激活函数的线性化方法，并对其进行了分析比较。每种方法都通过一组线性约束来替代ReLU函数，从而有效线性化优化问题，进而克服与神经网络模型非线性相关的计算难题。这些提出的线性化方法为有效解决整合了ReLU激活函数的神经网络模型的优化问题提供了有力工具。

引言
随着脱碳趋势的推进，越来越多的基于可再生能源的发电厂正在电力系统中建成，可再生能源的比例也在持续上升[1]。然而，可再生能源的间歇性和随机性特征引发了人们对高比例可再生能源接入电网后的系统可靠性和稳定性的担忧[2]。深度学习在提升电力系统的运行效率和可靠性方面发挥着重要作用，尤其是在高比例可再生能源接入以及由此带来的间歇性和不可预测性挑战面前[3]。深度学习已被广泛用于辅助电力系统的运行和可靠性管理，比如电网恢复[4]、经济调度[5]以及间歇性太阳能发电预测[6]。它也是推动电力系统向更加可持续和具有韧性的方向发展的重要技术。

深度学习技术的出色表现为许多传统方法难以解决的复杂电力系统问题带来了创新解决方案。如今的电力系统面临着严峻挑战，这主要是由于大量可再生能源被接入电网所致。深度学习方法已成为电力系统领域中不可或缺的工具。根据深度学习模型的不同特性，它们在解决各种电力系统问题方面展现出巨大潜力。例如，有研究开发了一种由全连接密集层构成的深度神经网络，用于预测有功功率流，其性能优于常用的线性化直流功率流模型[7]。还有研究利用图神经网络的优势，高效预测电流和功率注入情况[8]。卷积神经网络则被用于预测大规模干扰下的频率变化率，以确保系统稳定性[9]。此外，如文献[10]所示，人工神经网络还能用于预测故障类型和位置。而循环神经网络则广泛应用于时间序列预测，如电价预测[11]、负荷预测[12]、天气预报[13]以及可再生能源发电量预测[14]，为当代电力系统面临的各类挑战提供多样化解决方案。

深度学习还被广泛应用于各种优化模型中，用于日前发电计划制定和实时调度，包括最优功率流问题和机组组合问题[15]–[19]，以此减轻计算负担并缩短求解时间。文献[15]对近期用于电网控制的机器学习应用进行了综述。相关研究大致可分为两类：一类是直接利用深度学习来解决最优模型问题，例如在[16]和[17]中，深度神经网络被用来求解最优功率流问题，无需经过传统的迭代过程，从而提升了大规模电网的调度效率；另一类则是将深度学习作为最优模型的一部分，用于生成约束条件。例如，在[18]中，作者使用反向传播神经网络来确定安全边界，该边界作为安全约束条件应用于安全约束型最优功率流问题；而在[19]中，则提出了一种基于深度神经网络的频率稳定性性能指标预测器，用于估算最大发电机停运后的电网频率响应，该指标被转化为包含二进制变量的线性方程，随后作为额外约束条件应用于日前机组组合模型中，以确保电网频率性能。

大多数深度学习模型在隐藏层之间采用修正线性单元作为非线性激活函数，以提高训练效率和模型鲁棒性[21]。不过，ReLU函数也为深度学习模型引入了非线性特性，使其成为非线性模型[22]。虽然这种非线性对于故障检测和功率流预测等直接推理任务而言并无问题，但当将训练好的深度神经网络模型集成到优化问题中时，就会成为一大障碍——因为此时深度神经网络的输入特征变成了需要求解的决策变量，而引入的非线性使得这些问题变得无法求解。值得注意的是，此前尚未有任何研究探讨过如何线性化深度神经网络中的ReLU函数这一关键问题。因此，目前仍存在一个重要的研究缺口，即缺乏开发用于线性化基于ReLU的深度神经网络的方法，从而加快解决新兴的深度学习嵌入式优化问题的速度。

为应对这一挑战，我们提出了四种不同的模型来线性化ReLU激活函数。这四种模型分别是：(i)基于Big-M的分段线性化方法（BPWL），(ii)凸三角形面积松弛法（CTAR），(iii)惩罚型CTAR方法（P-CTAR），以及(iv)惩罚型凸面积松弛法（PCAR）。BPWL能够完全线性化ReLU激活函数，且无需任何近似处理，而其余三种方法则通过一定程度的近似来降低计算复杂度。

我们在之前的研究[23]、[24]中提出了一种基于神经网络的电池老化模型，旨在精确量化不同使用场景下的电池老化程度。该模型能够根据充电状态、健康状态、放电深度、环境温度以及充放电速率等输入参数，预测每个循环后的电池老化值[25]。这一模型使得电池老化因素可以被纳入微电网的日常运营能源调度中。然而，由于该模型在隐藏层中使用了ReLU激活函数，其非线性特性导致了意想不到的计算负担，这在将电池老化模型纳入最优日前发电计划制定过程中带来了困难。为解决这一问题，我们将在整合了电池老化模型的微电网日前调度测试环境中，评估这四种ReLU线性化模型。需要指出的是，这些提出的ReLU线性化方法不仅适用于所设计的电池老化模型和最优能源调度应用，还适用于更广泛的包含ReLU激活函数的深度学习嵌入式优化模型。

本文的主要贡献如下：
• 线性化方法：我们提出了四种新的公式，用于线性化ReLU激活函数，提升了其在各种场景下的适用性，尤其是当深度学习模型的输入特征是需要由优化模型求解的变量，而输出则表示受相同优化模型中设定要求约束的物理系统性能时。
• 线性化能源调度框架：在线性化后的ReLU模型的基础上，我们设计了四种不同的日前调度模型，为发电计划制定提供了实用方案。
• 性能评估：通过对线性化后的ReLU模型进行全面评估，证明了它们在解决非线性问题方面的有效性。
• 最优配置探索：我们通过敏感性测试确定了这四种线性化模型的最优配置，确保其在不同场景下都能保持良好的性能。

本文的其余结构如下：第二节介绍所提出的ReLU线性化模型；第三节阐述传统的日前调度模型；第四节介绍集成神经网络的日前调度模型；第五节给出案例研究；第六节对全文进行总结。

提出的线性化模型
本节介绍了四种用于线性化神经网络模型中ReLU激活函数的模型公式。全连接神经网络模型由一系列方程描述，这些方程刻画了神经元的计算和激活过程。每个神经元的预激活值xhi可通过公式(1)计算得出，其中包含了来自前一层的输入特征ah?1i、相应的权重矩阵W以及偏置矩阵B。大多数神经网络模型……

传统的微电网日前能源调度模型
本节介绍传统的微电网日前调度模型。该模型由公式(9)–(26)构成，且不考虑电池老化因素。该传统MDS模型的目标是最小化微电网运行的总成本，如公式(9)所示。MDS模型包含一个功率平衡方程，详见公式(10)，该方程涵盖了可控发电机、可再生能源、与主电网的电力交换、电池储能系统的输出等内容……

集成神经网络的最优日前调度模型
本节介绍一种集成神经网络的最优日前调度模型，该模型通过第二节中提出的四种线性化方法进行了线性化处理。

微电网测试环境
为评估线性化后的日前调度模型的有效性，本研究以一个典型的并网微电网作为测试案例，该微电网包含多种分布式能源资源，包括可再生能源和可控设备，相关数据和代码可见于[28]。该微电网系统包含多种关键组件，如常规柴油发电机、风力涡轮机、装有太阳能电池板的住宅以及带有充电功能的锂离子电池储能系统……

结论
本文研究了四种创新的线性化模型，旨在解决将含有ReLU激活函数的神经网络集成到优化模型时所面临的挑战——在这些优化模型中，部分决策变量充当了学习模型的输入特征。ReLU函数本身的非线性特性往往会使这类模型变得复杂，难以直接求解。然而，通过运用所提出的BPWL、CTAR、P-CTAR和PCAR这四种线性化模型，就可以……

未来工作
虽然本文研究了常用激活函数ReLU的重新构建和线性化方法，但未来一项具有潜在影响力的工作可能是研究其他常用的激活函数，如双曲正切函数和softmax函数。为了更好地捕捉负荷和可再生能源发电量的变化并处理其中的不确定性，基于场景的随机优化也可能成为另一个值得研究的方向。尽管本文的研究对象是微电网系统，但……

未引用参考文献
[20] CRediT作者贡献声明：Fan Jiang：撰写——原始草稿、可视化、验证、形式分析、数据整理；Cunzhi Zhao：撰写——原始草稿、验证、方法论、形式分析、数据整理、概念构建；Xingpeng Li：撰写——审阅与编辑、监督、方法论、研究、形式分析、概念构建。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
Cunzhi Zhao | Fan Jiang | Xingpeng Li