非线性过程反馈控制中的基于约束的强化学习：教程综述与新设计方法

《Chemical Engineering Research and Design》：Constraint-informed reinforcement learning in feedback control of nonlinear processes: A tutorial overview and a new design

　　摘要：过程控制系统在运行时需遵循严格的约束条件，这些约束对于实现最优且安全的过程运行至关重要。为确保满足这些约束，通常会采用模型预测控制等非线性约束优化控制技术；然而，这类迭代方法计算成本高昂，限制了该框架的扩展性。另一种方法是基于神经网络的控制方法，它能以较低复杂度实现约束优化控制的近似，但缺乏闭环稳定性保障。虽然有一些方法通过将二次规划等问题以隐式层的形式嵌入神经网络中，从而引入可微但不可训练的操作，但这些方法虽能确保约束得到满足，却无法实现基于约束的训练。在严格约束下，这类层会在违反约束的方向上产生零梯度，这使得神经网络控制器无法了解约束违反对其目标函数的影响。此外，这类层还会引入迭代算法，进而带来计算可行性问题。本研究探讨了一种简单的方法，既能确保基于神经网络的控制策略固有地具备稳定性保障，又能让系统学习约束违反带来的影响。虽然可通过外部投影来确保约束满足，但由此产生的策略相比那些在严格满足约束的同时优化目标函数的策略而言，效果较差。二次规划层允许将约束作为可微层直接嵌入神经网络中，从而在训练过程中实现约束优化，但在前向传播过程中遇到控制执行器边界等约束违反情况时，会出现零梯度问题。我们提出了一种替代方法，即利用阶跃函数与基于软加法的直通估计器构建门控机制，通过内部控制回退来实现基于李雅普诺夫的稳定性约束。这种基于回退的门控机制能在约束违反时产生非零梯度，并且在约束得到充分满足的情况下，前后向传播之间的差异最小。此外，由于约束 enforcement是通过简单的门控实现的，因此不会像二次规划层方法那样带来显著的计算负担。我们的方法使得网络既能内部实施约束，又能通过梯度了解约束 enforcement对目标函数的影响，进而调整权重以在满足约束的同时优化目标函数。为验证这一点，我们采用了演员-评论家强化学习方法，并将所提出的门控机制集成到演员模块中。同时设计了基于二次规划的参考模型，并以标准前馈神经网络作为基线，以此展示该架构对闭环行为的影响。此外，还使用了模型预测控制器和回退比例控制器，用于比较闭环仿真中的成本最优性与计算效率。这些控制器被应用于一个典型的非线性化学过程示例，以证明其可行性及相对性能。实验结果表明，基于门控的约束 enforcement 所实现的闭环性能与非CENNC方法和模型预测控制基线的性能相当甚至更优，同时相比基于二次规划的参考模型和回退控制器，其计算时间开销更低。总体而言，相较于基于二次规划的方法，结合严格门控的直通估计器能够实现高效的推理、稳定的训练以及良好的泛化性能。所提出的框架通过运用李雅普诺夫稳定性理论简化了稳定性保障的实现方式，使得该框架能够应用于大规模系统，且相比无约束方法，其在训练和推理阶段的计算开销更为有限。

引言：随着各个领域对先进控制系统的需求日益增长，模型预测控制始终是解决一般约束优化控制问题的理想方案。作为一种框架，MPC通过进程的数学模型对进程动态进行内部模拟，进而评估并优化控制动作轨迹，直至满足约束条件与质量要求。这种设计使其能够找到既能优化目标函数又同时满足约束条件的局部最优解，而相比之下，某些框架可能不得不为了满足约束而牺牲目标函数的优化程度（Qin和Badgwell，2003）。尽管MPC具有如此强大的功能，但其可扩展性却较为有限。MPC所解决的非线性约束优化控制问题属于NP难问题。即便在可以通过多种方法找到全局最优解的线性凸问题上，MPC的计算时间复杂度仍然约为On4级（Pardalos和Vavasis，1991；Peng等人，2024）；而且MPC并非只能依赖单一的非线性求解器。即便对于像序贯最小二乘规划这样的计算效率较高的方法——该方法将问题分解为多个最小二乘子问题——这些子问题的计算时间复杂度也仅为On2或On3级（Gill等人，1979；Kraft，1988）。由此可见，由于这种计算密集型的迭代机制，MPC框架的可扩展性存在缺陷。为解决这一问题，人们进行了大量相关研究。尽管研究范围广泛，但主要可分为两类：一类是降低问题的实际规模，另一类则是减轻求解器的计算负担。降低问题规模仅能相应地改变在给定硬件和软件条件下可解决的问题规模，它只能缓解问题而非彻底解决它（Tomasetto等人，2025；Alora等人，2023；Zarrouki等人，2024）。因此，这类方法仅适用于那些规模问题仅为次要限制因素的系统。至于减轻求解器的计算负担，这一方法最具潜力，因为从理论上讲，它有望真正解决这一问题，但目前的研究尚未实现这一目标。此外，这些研究的可解释性及其通用性也受到往往较为复杂的理论基础的限制。另外，这些研究在量化变化影响的方式上也存在差异，这限制了人们对其对可扩展性影响的判断（Meng等人，2024；Yaren和Kizir，2025；Adabag等人，2024）。其中一类特别有趣的研究属于规模降低研究范畴，即利用神经网络作为进程动态的建模工具。与传统的降低模型复杂度方法不同，神经网络是一种数据驱动的方法，能够通过低维回归来拟合高维现象。事实上，根据通用逼近定理，神经网络能够在紧致域上以任意精度逼近连续函数（Hornik等人，1989）。因此，其计算复杂度为线性级，具有高精度模拟复杂过程的潜力。这也促使人们研究将神经网络作为MPC内的建模工具，目前的研究结果也颇具前景。神经网络不仅通常能大幅减少计算时间，有时还能提升模型的精度，优于基于第一性原理的方法（Wu等人，2019；Gordon等人，2024；Patel等人，2025；Alsmeier等人，2024；Ren等人，2022；Macmurray和Himmelblau，1995）。遗憾的是，由于神经网络嵌套在MPC框架之中，最终结果仍是一种具有多项式时间复杂度的迭代方案。进一步思考后，我们可以拓展神经网络在控制领域的应用范围，使其不仅仅用于进程动态建模。近年来，已有诸多研究表明，神经网络本身也可作为控制器使用；不过，相关研究分散在不同的领域和工艺中，缺乏关于网络可扩展性及严格约束满足特性的详细分析（Lucia和Karg，2018；Bonzanini等人，2020；Ahn等人，2022；Gonzalez等人，2024）。在我们之前的研究中，我们也探讨了这些问题，发现就可扩展性而言，诸如模仿学习之类的方法在处理大规模问题时存在局限性，需要精心选择操作区域并采用智能采样技术，以减少对高维状态的高密度采样带来的负担（Khodaverdian等人，2025b；Khodaverdian等人，2026）。值得注意的是，由于模仿学习中使用的高质量数据源自MPC，因此数据生成缓慢的问题依然存在。为解决这一问题，我们进一步研究了强化学习方法，虽然这种方法提升了数据生成速度，但却增加了设计复杂性（Khodaverdian等人，2025a）。至于网络的严格约束满足特性，所有这些方法都是通过外部约束满足机制来实现的，即借助专门设计的回退控制器来满足基于李雅普诺夫的稳定性约束。虽然这足以实现所需的稳定性特性，但这样的控制行为仍与MPC所展现的最优约束控制行为存在差距。有一些研究尝试通过对强化学习方法进行改进来实现目标，比如物理信息强化学习或基于控制李雅普诺夫屏障函数的方法，但这些方法仅在理论上，在能够提取出最优策略的情况下才能提供保障。那些试图仅通过修改损失函数来实现目标行为的方法，往往依赖于一些在实践中未必成立的关于网络或训练流程的假设。正是出于这些问题的考虑，本研究探索了构建可扩展神经网络的最佳设计技术。特别是，我们从第一性原理出发探讨了梯度稳定性问题，旨在提出有助于深度网络保持稳定训练的技术。此外，本研究还扩展了外部约束 enforcement 的概念，探索了一种内部约束 enforcement 机制，使网络能够在其内部严格满足基于李雅普诺夫的稳定性约束。虽然目前已有一些技术可以实现内部约束 enforcement，但研究表明，这些技术在训练过程中会因影响梯度而带来诸多问题，而我们则提出了一种简单轻量的框架，通过直通估计等近似方法保留潜在有用的梯度信号。本研究提出了一种名为Alpha-Gate CENNC的新型严格约束 Enforcement 神经网络控制器框架，该框架利用李雅普诺夫稳定性理论及直通估计技术，确保神经网络生成的控制动作能够满足所需的稳定性约束。通过将基于回退的约束处理转化为if-else形式的约束，可以利用阶跃函数结合近似梯度，从而实现对原本不可微函数的训练。与现有的CENNC方法不同，Alpha-Gate框架在反向传播过程中能够产生梯度，从而使网络学会如何通过更好地满足约束来优化目标函数。我们将这种约束 Enforcement 神经网络控制器应用于一个典型的化学过程示例，并将其与另一种内部约束方法、外部约束方法以及模仿学习方法进行对比，以展示其在性能、泛化能力及速度方面的优势。此外，还设计了一组额外的控制器（LMPC、一种基于IL的控制器示例、一种非CENNC的基于RL的控制器以及基于QP层的CENNC），作为对该框架各方面进行比较的依据。

结论
在本研究中，我们从基本原理出发，探讨了如何设计神经网络，使其既能够扩展到更大的规模而不会出现梯度崩溃的问题，同时还能内在地满足约束条件并从中学习。我们将那些能够满足后一条件的控制器称为约束执行神经网络控制器（CENNC）。目前，这种CENNC框架是通过可微分二次规划（QP）层实现的，但研究表明这种实现方式会导致性能下降。

作者贡献声明
Arthur Khodaverdian：撰写——初稿，软件，方法论，研究，概念设计。Xiaodong Cui：撰写——初稿，方法论，概念设计。Panagiotis D. Christofides：撰写——审阅与编辑，指导，概念设计。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
衷心感谢美国国家科学基金会的财政支持，项目编号为CBET-2140506。A.K.还感谢2026年亚马逊AI博士奖学金计划的资助。

Arthur Khodaverdian | Xiaodong Cui | Panagiotis D. Christofides
加利福尼亚大学洛杉矶分校化学与生物分子工程系，美国加州90095-1592