具有未知动态的非线性系统的李雅普诺夫稳定MPC端到端机器学习方法

《Chemical Engineering Research and Design》:End-to-end machine learning of Lyapunov-stable MPC for nonlinear systems with unknown dynamics

【字体: 大 中 小 】 时间:2026年02月09日 来源:Chemical Engineering Research and Design 3.9

编辑推荐:

  姚石|肖明|吴哲新加坡国立大学化学与生物分子工程系,新加坡摘要传统基于李雅普诺夫的模型预测控制(LMPC)结合机器学习模型时,通常包括三个连续步骤:构建机器学习模型、设计用于保证稳定性的李雅普诺夫函数,以及构建模型预测控制器。然而,这些步骤之间存在内在的相互依赖性,若某个部分,如

  姚石|肖明|吴哲新加坡国立大学化学与生物分子工程系,新加坡摘要传统基于李雅普诺夫的模型预测控制(LMPC)结合机器学习模型时,通常包括三个连续步骤:构建机器学习模型、设计用于保证稳定性的李雅普诺夫函数,以及构建模型预测控制器。然而,这些步骤之间存在内在的相互依赖性,若某个部分,如机器学习模型或李雅普诺夫函数设计不当,可能会对控制器设计和闭环性能产生不利影响。为克服这些难题,我们提出了一种端到端的基于机器学习的李雅普诺夫稳定型MPC框架(E2E-MLMPC),该框架能够直接从数据中学习非线性系统的李雅普诺夫函数和MPC策略。在给定预训练的机器学习模型的基础上,通过整合基于机器学习的动态模型、系统约束以及李雅普诺夫稳定性条件,在统一的计算图中学习出稳定的控制策略。通过自动微分优化神经网络策略参数,从而实现具有明确稳定性证明的端到端训练。同时,我们还通过严格的理论分析证明了所设计控制器的闭环稳定性。此外,由于所学习的控制器是以神经网络形式实现的,因此与传统基于机器学习的MPC方法相比,其在线计算时间大幅减少。仿真研究表明,所提出的E2E-MLMPC框架在化学反应器示例中实现了稳定且高效的控制性能。引言随着计算资源越来越容易获取且成本逐渐降低,机器学习技术已在化学工艺行业的控制领域得到广泛应用。这类应用主要分为两大类。第一类是基于机器学习的建模方法,其核心是通过构建基于机器学习的替代模型来近似复杂系统的行为,尤其是在难以建立原理模型的情况下。这些替代模型随后会被集成到基于优化的控制策略中,比如模型预测控制,用以实现对化工厂的调控。第二类则是基于机器学习的控制方法,这类方法直接从数据中学习控制策略,无需进行复杂的系统建模。基于机器学习的建模方法因其与现有基于模型的控制框架的兼容性而备受关注。尤其是深度学习技术,通过前馈神经网络和循环神经网络等架构,能够很好地捕捉化学过程的非线性和高维特性。例如,有研究针对化学反应器开发了基于循环神经网络的模型,并成功将其集成到模型预测控制策略中,以实现稳定运行。此外,将数据驱动模型与原理知识相结合,可在数据不足的情况下提高模型精度。为此,还提出了将子空间识别与循环神经网络相结合的混合建模框架,以更好地捕捉非线性动态,同时保持模型的可解释性。另外,Ryu等人以及Yang等人也探索了基于物理信息的神经网络方法,旨在将物理一致性嵌入学习过程,提升模型在训练数据之外的泛化能力。尽管这类非线性机器学习模型具备强大的表征能力,但将其应用于模型预测控制时可能会带来较高的计算负担。为减轻这一负担,人们开始在基于机器学习的建模中采用结构化神经网络,比如输入凸神经网络,因为这类网络能够确保优化问题的凸性,从而加快计算速度。不过,输入凸神经网络的表达能力往往有限,这可能会影响控制性能。基于机器学习的控制方法则提供了一种颇具前景的替代方案,它避免了基于机器学习的建模所需的繁重在线计算,从而能够在部署时实现快速推理。鉴于模型预测控制在处理约束条件方面的出色表现,许多研究尝试通过模仿学习让神经网络模拟模型预测控制的行为。这类近似模型预测控制的方法无需进行在线优化即可实现类似模型预测控制的性能,但它们通常依赖于已完全实现的模型预测控制器所产生的闭环数据,而在实际应用中收集这类数据可能成本高昂或存在安全风险。为解决这一问题,有人提出了可微分预测控制框架,该框架无需专家指导,仅需足够的时序数据,即可同时学习神经系统模型和基于深度学习的模型预测控制策略。不过,使用这种方法时,非线性系统的闭环稳定性仍是一个亟待解决的问题。近期有一些研究致力于开发具有李雅普诺夫稳定性保证的基于神经网络的控制器。例如,Donti等人利用线性矩阵不等式框架,在学习神经控制策略的过程中强制满足李雅普诺夫稳定性条件。Fazlyab等人则研究了使用半定规划对基于神经网络的控制器进行安全性验证和鲁棒性分析,而Dawson等人提出了具有可证明的李雅普诺夫安全性证书的自适应安全学习方法。不过,这些方法大多依赖于原理模型,对于基于机器学习的模型以及它们可能带来的模型不匹配问题,相关研究相对较少。虽然有研究试图同时学习基于机器学习的模型和稳定控制器,但所学习的模型往往无法准确反映系统的真实动态,而是主要受稳定性要求的影响而形成。此外,这类控制器通常仅为简单的反馈律,缺乏性能保障,而且很少考虑采样保持等实际实现问题。本研究提出了一种框架,可在策略学习过程中同时学习李雅普诺夫函数候选值和控制策略,从而为策略学习提供理论保障。该框架中的李雅普诺夫函数是借助Kolter和Manek在2019年提出的架构,通过深度神经网络来参数化的。由此产生的参数化控制问题被构建在一个统一的优化框架中,其中将基于李雅普诺夫的验证条件作为可微分约束纳入其中。通过可微分编程,该方法构建了一个包含神经网络预测策略和可学习李雅普诺夫函数的闭环参数化系统的计算图,并通过整个计算图传播梯度,根据模型预测控制的目标和软约束惩罚来更新网络参数。此外,我们还通过严格的理论分析,证明了即使在存在模型不匹配的情况下,该框架在采样保持实现方式下也能保证系统的稳定性和约束满足性。本文的其余部分结构如下:第2节介绍系统建模、基于李雅普诺夫的模型预测控制、基于机器学习的模型以及需要研究的问题;第3节详细阐述具有稳定性保证的控制器设计以及需要学习的可微分问题;第4节讨论关于稳定性和约束满足性的理论分析;第5节通过仿真研究,展示所提策略的有效性与实际应用价值。章节节选初步准备与问题建模我们考虑以下一阶非线性常微分方程,它用于描述一类通用的连续时间非线性化学系统:x?(t)=F(x(t),u(t)),x(t0)=x0,x(t)∈X,u(t)∈U,其中x(t)∈Rnx表示状态向量,u(t)∈Rnu表示控制输入。假设U的取值使得X是紧凑集,且在F的作用下具有正向不变性,即只要x(t)∈X且u(t)∈U,那么就有x(t?)∈X,对所有t?≥t均成立。此外,由于实际硬件限制和工艺要求,输入和……端到端基于机器学习的模型预测控制本节介绍了所提出的端到端基于机器学习的模型预测控制框架(E2E-MLMPC),这是一种完全基于神经网络的方法,可用于直接从测量数据中学习非线性过程的李雅普诺夫稳定型约束预测控制策略。在本研究中,我们假设方程(1)中所描述的非线性系统的数据驱动模型(例如我们研究中使用的机器学习模型或其他可微分预测模型)已经过预训练,因此无需再单独进行模型构建。关于闭环稳定性和约束满足性的保证我们将由所学习的E2E-MLMPC策略π(x?km,0;θc)生成的控制轨迹下的闭环状态序列集合记为Tk,即Tk={x?km,i},?i=0,…,N?1。考虑到各种约束条件,我们为这些采样状态序列定义了一个概率度量标准Pk=h(x?km,i)+?h≤0,对所有i=0,…,N?1均成立,同时还有c(ukm,i)≤0,对所有i=0,…,N?1均成立,此外还有?V(x;θp)?xxkmFMLd(xkm,ukm;θm)?xkmΔt+c3V(xkm;θp)≤0。此外,我们还定义E(Tk)为一个二进制变量,如果Pk中规定的所有约束条件都得到满足,则E(Tk)的值为1,否则为0。这种情况案例研究:用于化学过程的E2E-MLMPC为评估E2E-MLMPC的有效性,我们以一个化学过程为例进行演示。该案例研究针对的是一个连续搅拌罐反应器,该反应器可实现物质A向B的均匀液相转化,如图3所示。该反应器在非等温条件下运行,且能够确保良好的混合效果。其中的化学转化反应属于二级、不可逆的放热反应。该连续搅拌罐反应器的动态行为可以通过质量守恒和能量守恒定律来描述。结论本研究提出了E2E-MLMPC框架,该框架利用离散时间数据来控制连续时间非线性系统。该方法将基于机器学习的模型与基于李雅普诺夫的稳定性原理相结合,从而构建出既具有稳定性又能满足各种约束条件的神经网络MPC策略。模型预测控制中的约束条件和李雅普诺夫稳定性条件被当作软约束处理,而控制策略和李雅普诺夫函数对应的神经网络参数则通过……CRediT作者贡献说明姚石:撰写——初稿、软件、方法论、形式分析、概念构思。肖明:撰写——审阅与编辑、软件、形式分析。吴哲:撰写——审阅与编辑、监督、方法论、概念构思。利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。致谢衷心感谢新加坡教育部一级科研基金(A-8002899-00-00)的资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号