基于优化感知损失函数的数据驱动经济模型预测控制稳定神经模仿

《Journal of Process Control》：Data-driven stable neural imitation of economic MPC via an optimization-informed loss function

　　

• 一种神经控制器模仿经济模型预测控制。
• 一种自定义损失函数保证稳定性与约束满足。
• 推理在100毫秒内完成，内存占用不足5 MB。

引言
在其经典形式中，模型预测控制（MPC）[1]、[2]旨在确保渐近跟踪最优参考点，同时不显式考虑瞬态过程中的经济性能。当操作点相对于系统动力学基本保持恒定时，这种策略是适用的。

作为一种自然的扩展，经济模型预测控制（EMPC）将经济目标直接纳入控制问题 formulation 中 [3]。与仅关注跟踪稳态参考不同，EMPC旨在优化系统的整体经济性能，即使在瞬态条件下也是如此。这允许控制动作暂时偏离理想操作点，但从长期来看更为盈利，同时仍然遵守过程的动态和运行约束。

EMPC面临的主要挑战之一是在经济目标变化的情况下（如输入价格、需求或环境条件的变化）维持系统稳定性和可行性 [4]。解决此问题的常用策略是将EMPC与实时优化（RTO）方案结合，提供更新的经济参考 [5]。然而，如果未采用适当的鲁棒性机制，系统对这类变化的敏感性可能会损害安全运行。在此背景下，已提出一种带有终端分量的EMPC方案，以确保在经济变化下的可行性，保持系统稳定性，并确保在动态和不确定的运行条件下达到最优性能 [6]。

EMPC的理论基础已成功应用于多个领域，包括社区微电网 [7]和发电系统 [8]。在Pereira等人 [7]的工作中，提出了一种针对社区微电网的鲁棒EMPC formulation，明确考虑了需求和不再生能源生成的不确定性。类似地，Liu和Cui [8]开发了针对锅炉-汽轮机组系统的EMPC，展示了直接优化利润导向目标的经济效益。这些工作突显了EMPC的通用性和实际相关性。然而，它们也强调了其计算需求，因为每个应用都需要在每个采样时刻在线求解一个非凸优化问题。

MPC [9]，尤其是EMPC的实际实施，带来了显著的计算挑战。底层优化问题的复杂度随着更长的预测时域、更短的采样时间、更多的变量数量以及严格约束的施加而增加。这种计算负担可能超过常规工业控制器的能力，尤其是在大型系统或快速动力学系统中。因此，EMPC的实际实施需要在经济性能和计算可行性之间进行仔细平衡。这激发了一个研究领域，致力于开发更高效的优化算法 [10]、[11]、近似技术和专用硬件解决方案。

在此背景下，深度学习技术 [12]、[13]的使用，特别是人工神经网络（ANN），已成为一种有前景的策略，用于模仿或近似MPC行为。该方法旨在从闭环运行数据直接生成控制动作，从而减少在线求解优化问题所带来的计算负担。具有长短期记忆（LSTM）的循环神经网络（RNN-LSTM）由于其能够捕获长期时间依赖关系并建模非线性序贯动力学，具有特别强的潜力 [14]、[15]。这些特性使其成为模仿EMPC的自然候选，特别是在内存有限的系统中。

然而，这种方法提出了重大挑战。其中，以下几点尤其值得注意：（i）确保神经网络始终满足系统约束并保持MPC的关键结构属性（如鲁棒性和可行性）的困难；以及（ii）需要确保神经控制器本身的内部稳定性，即RNN-LSTM在面对输入扰动或其隐藏状态错误初始化时表现为稳定的动态系统。这些方面对于可靠的部署至关重要，必须严格解决才能在实际环境中实现鲁棒的解决方案。

几项研究从不同角度解决了这些挑战。在Adhau等人 [16]的工作中，提出了一种监督方法，将对数障碍函数和Karush-Kuhn-Tucker条件纳入ANN损失函数中。在Alsmeier等人 [17]的工作中，利用Lipschitz性质指导数据集生成并界定近似误差。Krishnamoorthy [18]的工作采用参数敏感度有效地扩展训练集。最后，Lücken等人 [19]提出在训练期间将这些敏感度作为额外信息包含在内，使网络能够学习最优解及其梯度。

在本文中，我们提出了一种数据驱动的经济模型预测控制策略（LJ-EMPC，其中下标J表示将EMPC优化问题的结构知识纳入的自定义损失函数），使用RNN-LSTM来模仿EMPC的行为。该方法基于两个基本支柱。一方面，我们设计了一种自定义损失函数，明确纳入EMPC代价函数的约束和分量，迫使网络内部化问题结构并复制参考控制器的控制动作和结构属性；此外，该函数通过一个保证RNN-LSTM增量输入到状态稳定性（δISS）的项进行正则化。另一方面，我们提出了一个用于控制器在线部署的闭环方案。我们通过在具有代表性的案例研究中验证该方法的有效性：一个在大学微电网下基于EMPC运行的能源管理系统（EMS）。

需要澄清的是，所提出的LJ-EMPC旨在仅替换微电网控制层级的三级 [20]。低级别（一次和二次）的控制器保持不变，负责实时电压/频率控制和功率分配。因此，LJ-EMPC不混合控制层；它仅仅提供了基于EMS的EMPC的计算高效替代方案，生成现有的本地控制器所遵循的最优经济设定点。

本文其余部分组织如下。第2节介绍本文使用的符号。第3节描述EMPC、RNN-LSTM和数据集生成的基础。第4节详细说明提出的自定义损失函数，包括阶段项、平滑度、对数障碍和δISS。第5节解释LJ-EMPC的闭环控制方案。第6节呈现一个大学微电网的案例研究。第7节呈现并分析在跟踪精度、经济性能、稳定性和计算效率方面获得的结果。最后，第8节总结了工作的结论。

第2节：符号
在整个工作中，使用以下符号。符号I和R分别表示整数集和实数集。在n和m之间的连续整数集合（m>n）表示为In:m?n,n+1,…,m。维度为n的实向量空间表示为Rn，而Rn×m表示维度为n×m的实矩阵集合。符号diag(?)表示一个对角矩阵，其指定元素位于主对角线上。给定向量q∈Rn，其转置表示为q?。

第3节：经济模型预测控制
EMPC确定要施加于被控对象的 optimal 控制动作，使其尽可能接近参考点，同时考虑系统的动态模型、运行约束和稳定性要求。

系统动力学表示为：xk+1=f(xk,uk,wk)，其中xk∈X?Rn表示系统状态，uk∈U?Rm是控制输入（操纵变量），wk∈W?Rd是扰动（非操纵变量）。

1 该系统为离散时间线性时不变系统：
xk+1=Axk+Buk+Bdwk
yk=Cxk+Dwk+e

其中Ad∈Rnxn，Bd∈Rn×nu，Bdw∈Rnxnd，Cd∈Rpy×nx，Dd∈Rpy×nd，且e为测量噪声。

第4节：基于EMPC的自定义损失函数
损失函数旨在指导学习过程，并促进权重集合（θ）的调整，通过最小化LJ-EMPC生成的状态-动作对与EMPC确定的状态-动作对之间的差异来实现。

均方误差（MSE）损失函数虽然在最小化预测误差方面有效，但不包含任何关于底层优化问题的知识。特别地，它不激励RNN-LSTM尊重EMPC的约束结构，不生成平滑的...

第5节：控制回路
LJ-EMPC在线控制方案以闭环配置运行，使用训练好的RNN-LSTM作为实时控制策略。在每个时间步，实际工厂状态（测量或模拟）用于构建输入序列，使控制器能够直接响应系统中的变化。

LJ-EMPC控制律定义为：κF(vk,ξk?1;θ)?u+，其中κF:V×Ξ→Rdim(u)基于当前输入vk、内部状态ξk?1和可训练参数生成控制动作u+...

第6节：说明性示例
作为案例研究，我们考虑一个基于国家技术大学Reconquista地区分校（UTN-FRRQ）校园的概念性微电网。作为参考控制器，我们使用基于EMPC的EMS，因其能够管理复杂动力学、纳入约束并提前优化经济目标。我们使用该控制器生成的轨迹来训练LJ-EMPC。

第7节：结果与分析
RNN-LSTM的最终训练成功收敛，在最终epochs中达到验证损失2.80×10?4和平均绝对误差7.1×10?3（归一化尺度）。在测试集上，获得了MSE 3.22×10?4和MAE 7.67×10?3，确认了网络重现EMPC策略的高保真度。训练完成后，验证了增量稳定性条件，得出ν1=?0.02和ν2=?0.83，均为严格负值。因此，...

第8节：结论
在本文中，我们提出了一种基于RNN-LSTM的控制器，模拟应用于大学微电网EMS系统的EMPC行为。我们的主要方法贡献是：（i）设计了一种自定义损失函数，纳入了EMPC优化问题的结构知识，包括阶段项、平滑度惩罚、对数障碍以及保证RNN-LSTM δISS的正则化项；以及（ii）一种具有当前反馈的闭环方案...

CRediT作者贡献声明
Rodrigo G. Alarcón：撰写 – 初稿。
Martín A. Alarcón：撰写 – 审阅与编辑。
Alejandro H. González：撰写 – 审阅与编辑，监督。
Antonio Ferramosca：撰写 – 审阅与编辑，监督。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能影响到本文报告的工作。

Rodrigo G. Alarcón | Martín A. Alarcón | Alejandro H. González | Antonio Ferramosca