网络系统的稳定性与学习机制及其在物理感知神经网络中的应用

《Automatica》:Stability and learning of networked systems with application to physics-informed neural networks

【字体: 大 中 小 】 时间:2026年04月29日 来源:Automatica 5.9

编辑推荐:

  劳拉·博卡·德·朱利(Laura Boca de Giuli)、亚历西奥·拉贝拉(Alessio La Bella)、马塞洛·法里纳(Marcello Farina)、里卡多·斯卡托利尼(Riccardo Scattolini) 米兰理工大学电子、信息与生物工程系,意大利米兰

  劳拉·博卡·德·朱利(Laura Boca de Giuli)、亚历西奥·拉贝拉(Alessio La Bella)、马塞洛·法里纳(Marcello Farina)、里卡多·斯卡托利尼(Riccardo Scattolini)
米兰理工大学电子、信息与生物工程系,意大利米兰20133

**摘要**
本文探讨了网络系统的学习与稳定性问题。提出了一种通用方法,通过根据网络系统拓扑结构连接多个子模型,并利用输入-输出数据共同训练这些子模型,从而构建基于物理信息的数据驱动网络模型。由于稳定性在数据驱动建模中至关重要,而即使连接的是稳定的子模型也无法始终保证稳定性,因此本文提出了一种新的充分条件,以确保离散时间网络模型的增量输入到状态稳定性(δISS)。研究表明,在训练基于物理信息的循环神经网络时,可以轻松应用这一条件,从而实现稳定的模型性能,并提高建模精度,相较于传统的黑箱方法更具优势。此外,该δISS性质还支持:
(1) 网络系统模型的稳定即插即用操作;
(2) 收敛型分散式状态观测器的开发;
(3) 收敛型非线性模型预测控制调节器的设计。

这些策略在真实的大规模网络系统(以化学工厂为例)的仿真中得到了验证,结果显示在建模和控制设计方面均取得了良好效果。

**1. 引言**
科学界对大规模网络系统的建模与控制越来越感兴趣(Tang & Daoutidis, 2018),这类系统具有复杂的结构,通常表现为包含节点(子系统)和边(子系统间连接)的图。典型应用包括电力网络(La Bella et al., 2022)、区域供热网络(Nigro et al., 2025)、化学工厂(Luyben & Luyben, 1995)以及信息物理系统(Kim & Kumar, 2012)。由于这些系统规模庞大、参数众多且存在不确定性,使用物理方程进行精确建模颇具挑战性。另一方面,这些系统通常拥有大量监测数据,可以利用这些数据恢复模型。然而,纯数据驱动的模型可能缺乏物理洞察力,因此控制领域越来越关注基于物理信息的机器学习技术(Nghiem et al., 2023),这类技术旨在将物理知识融入模型训练过程中,以提高模型的物理一致性和建模精度。在这一背景下,神经网络(尤其是循环神经网络,RNN)因具备强大的学习能力而被证明非常适合嵌入物理知识(Karpatne et al., 2022)。

基于数据的建模的另一个关键特点是能够从被建模系统中继承稳定性,前提是系统本身具备稳定性。例如,对于RNN模型而言,增量输入到状态稳定性(δISS)至关重要,因为它确保模型状态轨迹不依赖于初始化,并限制了输入扰动的影响(Bonassi et al., 2022)。拥有δISS特性的模型还有助于设计具有闭环保证的模型预测控制(MPC)方案和状态观测器(Bonassi et al., 2024, Masero et al., 2024, Terzi et al., 2021)。Xie et al.(2025)在真实系统上的实验验证表明,δISS模型配合内部模型控制器(IMC)也能提升闭环性能。

鉴于此,本文的目标是开发一种基于物理信息的网络系统方法,以学习具有δISS特性的准确RNN模型,并实现具有闭环收敛保证的MPC方案。

**1.1 相关工作**
文献中提出了基于数据的方法来恢复用于MPC设计的网络系统控制模型(La Bella and Del Corno, 2023, Terzi et al., 2020),但这些方法忽略了稳定性及可用的物理知识。通过定义适当的训练函数(例如包含变量间已知物理关系的正则化项),可以将物理知识有效地融入基于物理信息的神经网络中(Daw et al., 2022, Drgoňa et al., 2021)。另一种方法将已知的动态关系直接纳入神经网络架构(Bolderman et al., 2021, Daw et al., 2020)。然而,这些基于物理信息的方法并未专门针对网络系统的建模问题。在这些系统中,主要可用的信息是拓扑结构,可以通过适当连接不同子模型来获得基于物理信息的模型(Alhajeri et al., 2022针对化学工厂;Boca de Giuli, La Bella, and Scattolini, 2024针对区域供热系统)。不过,这些基于拓扑的方法通常针对特定应用设计,并未考虑稳定性问题,而稳定性对于实际应用中的数据驱动模型至关重要(Bolderman et al., 2024)。

Bonassi et al.(2022, D’Amico et al., 2023)讨论了不同基于RNN的架构中保证δISS的充分条件,但这些工作未结合物理知识或考虑多个互连子模型的稳定性问题。即使每个子模型都是稳定的,由于可能存在内部循环,网络系统的整体稳定性也无法保证(Marino et al., 2024)。Marino et al.(2024)为门控图神经网络提供了稳定性条件。Dashkovskiy et al.(2007, 2010)为连续时间系统、Boca de Giuli, La Bella, Farina and Scattolini(2024)以及Jiang and Wang(2001)为离散时间系统建立了输入到状态稳定性(ISS)的充分条件。不过,ISS是一种较弱的稳定性性质,因为它不能保证输入序列越接近,状态轨迹的差异就越小(Angeli, 2009)。关于δISS,Angeli(2002)仅针对单环拓扑讨论了互连子系统的充分条件。总体而言,现有文献尚未解决基于RNN的互连离散时间子系统的δISS问题,而这是在依赖RNN子模型的建模框架中的关键挑战。

**1.2 主要贡献**
鉴于上述讨论,本文提出了一种方法,通过利用网络系统的物理拓扑结构来学习通用网络系统模型,并确保模型具有δISS特性。具体贡献如下:
(1) **网络模型的δISS条件**:我们推导出一个新的充分条件,以确保由任意互连的离散时间δISS子模型组成的模型具有δISS特性。我们还展示了这一特性可以在即插即用框架中得到应用,即添加或移除子模型不会影响整个网络系统的δISS特性。
(2) **基于物理信息的RNN网络系统建模**:我们提出了一种基于物理信息的RNN(PI-RNN)方法,通过利用系统的拓扑结构作为物理信息来建模通用网络系统。具体而言,通过将每个子系统与一个基于RNN的子模型关联起来,通过类似系统拓扑的连接方式构建整个PI-RNN网络模型。然后通过适当的损失函数训练,确保模型满足δISS条件。

该方法具有多重优势:首先,将网络系统拓扑结构嵌入到基于物理信息的模型中,提高了建模精度;其次,确保了模型的稳定性;最后,使得模型具有稳定的即插即用特性,适用于实际应用。这意味着,如果某些子系统随时间修改或更换,无需重新识别整个模型并重新验证其稳定性,只需识别更新后的子系统并在其训练过程中施加适当条件即可保持δISS特性。该方法在大型化学工厂的仿真中得到了验证(Luyben & Luyben, 1995),在建模和控制方面均表现出良好效果。

**1.3 论文结构**
本文结构如下:第2节介绍文中使用的符号和基本定义;第3节介绍利用拓扑结构对网络系统进行建模的基于物理信息的方法;第4节提出了用于分析δISS离散时间子模型互连稳定性的δISS条件,并讨论了不同的即插即用场景;第5节展示了如何在基于物理信息的循环神经网络训练过程中施加δISS条件;第6节在参考化学工厂的仿真中验证了所提出框架的有效性,其中6.1节关注收敛型分散式状态观测器和NMPC架构的设计,6.2节关注实验设计;第7节给出了最终总结。

**2. 符号与预备知识**
用N表示自然数集,R表示实数集,R≥0表示非负实数集,R>0表示正实数集。向量v的转置表示为v?,p-norm表示v的p-范数(p>0)。矩阵A的元素Aij表示第i行第j列的元素,ρ(A)表示其谱半径,v的诱导范数定义为‖A‖p=max‖v?Av‖p‖v‖p。N表示维度为n的单位矩阵。集合通常用粗体字母表示,其基数表示为|N|,内部表示为Int(N)。给定n个变量a[1],…,a[n]及其索引集N={1,…,n},则a=[a[1]?…a[n]?]可简写为a={a[i]}?i∈N。对于根据离散时间索引k∈N变化的向量变量v,其在时间k的值表示为vk。从集合V中提取的序列vk1:k2(k10和λ∈(0,1),使得系统(1)在β(‖χa,0?χb,0‖p,k)=μλk条件下满足(2),则称系统(1)为指数级δISS。

**定义2.2 δISS李雅普诺夫函数**
如果对于任意k∈N、任意χa,k,χb,k∈X以及任意ua,k,ub,k∈U,函数V:Rn×Rn→R满足以下条件:
(1) 存在??,?ˉ∈K∞,使得
(3) ??(‖χa,k?χb,k‖p)≤V(χa,k,χb,k)≤?ˉ(‖χa,k?χb,k‖p);
(2) 存在ξ∈K∞和γ∈K,使得
(4) V(χa,k+1,χb,k+1)?V(χa,k,χb,k)≤?ξ(‖χa,k?χb,k‖p)+γ(‖ua,k?ub,k‖p),
则称V为系统(1)的δISS李雅普诺夫函数。条件(4)等价于存在κ,α∈K∞,使得
(5) κ(‖χa,k?χb,k‖p)≥(‖ua,k?ub,k‖p)?V(χa,k+1,χb,k+1)?V(χa,k,χb,k)≤?α(‖χa,k?χb,k‖p)。

**定理2.1**
如果系统(1)存在δISS李雅普诺夫函数,则该系统是δISS的。

**3. 基于网络系统拓扑的物理信息数据建模**
考虑一个物理系统S(如(1)所示),假设它由n个子系统S[i]组成(i=1,…,n)。这些子系统根据有向图G=(N,E)互连,其中N={1,…,n}表示节点集(即子系统S[i]),E?N×N表示边集,表示子系统间的连接关系。例如,在电力网络中,节点代表发电机和负载,边代表线路(La Bella et al., 2022)。
类似地,区域供热网络由热源和用户(节点)以及水管线(边)组成(Nigro等人,2025年)。对于给定的子系统S[i],直接影响S[i]的输入邻居集合表示为?Ii?{j∈N∣(i,j)∈E},而直接受到S[i]影响的输出邻居集合表示为?Oi?{j∈N∣(j,i)∈E}。因此,类似于Lunze(1992年)的研究,每个S[i]被假设具有一个输出ζ[i]和一个扩展的输入?ν[i]?[u[i]?{ζ[j]}?j∈Ii?]?,其中包括S[i]的本地输入u[i],以及直接影响S[i]的子系统的输出{ζ[j]}?j∈Ii。每个S[i]的本地输入被假设属于一个紧凑集合,即?u[i]∈U[i]?{u[i]∈Rnu[i]:‖u[i]‖∞≤uˇ[i]},其中uˇ[i]∈Rnu[i]。总体而言,考虑到网络系统S的公式(1),其整体输入和输出变量包括每个S[i]的变量,即u={u[i]}i=1n和ζ={ζ[i]}i=1n。需要注意的是,由于网络系统可能具有大量的节点和边,可以使用聚类算法来简化这一点(Tang和Daoutidis,2018年;Xu等人,2021年),从而生成复杂性较低的图,同时保留系统的主要结构和交互作用。

本工作的第一个目标是开发一个基于数据的模型M来描述网络系统S,利用其拓扑结构作为先验物理知识,以提高性能,相对于传统的数据驱动方法。为此,假设每个S[i]的本地输入-输出测量值u[i]和ζ[i]是可用的,并且系统的拓扑结构G=(N,E)是已知的。所提出的基于物理的建模方法首先涉及为每个子系统S[i](i∈N)定义一个相应的子模型M[i],其类型为(6):
M[i]:xk+1[i]=f[i](xk[i],vk[i];Θ?[i])yk[i]=W[i]xk[i]+b[i],
其中f[i]是一个有界的通用函数,x[i]∈Rnx[i],v[i]∈Rnv[i],y[i]∈Rny[i]分别是第i个子模型的状态、输入和输出变量。此外,?Θ[i]?Θ?[i]∪{W[i],b[i]}包含了在训练过程中需要调整的子模型参数,如第5节所讨论的。然后,根据图G=(N,E)描述的网络系统拓扑结构,将n个子模型M[i]相互连接。与每个子系统的扩展输入ν[i]一致,每个M[i]被设计为具有输入(7)?v[i]?[u[i]?{y[j]}?j∈Ii?]?,其中包括本地输入u[i]和输入邻居子系统的输出{y[j]}?j∈Ii,从而嵌入网络系统的拓扑结构。通过定义变量?x?{x[i]}i=1n∈Rnx,?u?{u[i]}i=1n∈Rnu,?y?{y[i]}i=1n∈Rny,以及参数?Θ??{Θ?[i]}i=1n,?W?{W[i]}i=1n,?b?{b[i]}i=1n,整个基于物理的网络模型M可以表示为:
(8)M:xk+1=f(xk,uk;Θ?)yk=Wxk+b,
其中?Θ?Θ?∪{W,b}包含了所有模型参数。

请注意,每个M[i]的公式(6)具有非线性(或线性)状态动态和线性输出关系,代表了各种RNN架构,如门控循环单元(GRU)、长短期记忆(LSTM)、神经非线性自回归外生(NNARX)和回声状态网络(ESN)(Bonassi等人,2022年)。鉴于这些RNN架构强大的建模能力,它们将在后续工作中被考虑,因此(8)将被称为基于物理的RNN(PI-RNN),反映了其基于拓扑的结构。尽管如此,所提出的方法可以应用于任何按照(6)公式表述的基于数据的模型类别,其中不同的子模型根据网络系统拓扑结构相互连接。

假设系统S[i],?i∈N,和S具有δISS属性,每个子模型M[i]及其结果模型M的稳定性并不是预先保证的。一方面,可以通过利用Bonassi等人(2022年)概述的适当条件,为每个子模型M[i]实施δISS。然而,即使是δISS子模型的任意互连也不一定意味着网络模型M(8)具有δISS,因为可能存在内部循环。鉴于此,下一节将提出一个确保任意互连的δISS离散时间子模型具有δISS属性的新条件。

4. 离散时间网络模型的新δISS条件
在本节中,我们考虑网络模型M(8)并推导出一个确保其δISS属性的充分条件。首先引入以下假设。
假设4.1
对于(6)中的每个子模型M[i],对于任何输入序列v[i]∈Rnv[i],存在xˇ[i]∈R>0,使得?x[i]∈Xˇ[i]?{x[i]∈Rnx[i]:‖x[i]‖∞≤xˇ[i]}。此外,考虑一个给定的紧凑集合V[i]?Rnv[i],如果v[i]∈V[i],那么M[i]承认一个紧凑的不变集X[i]?Xˇ[i],即对于任何v[i]∈V[i],都有x[i]∈X[i]?f[i](x[i],v[i];Θ?[i])∈X[i]。
请注意,假设4.1并不具有限制性,而是适用于许多基于数据的模型类别,例如上述的RNNs,其状态动态由有界的激活函数(例如Sigmoid函数和双曲正切函数)表征。简而言之,假设4.1首先意味着存在一个紧凑集Xˇ[i],它限制了所有可能的状态轨迹。关于不变集X[i]?Xˇ[i],它取决于具体的RNN类别:更多细节见Armenio等人(2019a),Bonassi等人(2021b),Terzi等人(2021),其中分别为LSTMs、GRUs和ESNs推导出了不变集。此外,引入以下假设。
假设4.2
(6)中的每个子模型M[i]都具有一种δISS李雅普诺夫函数V[i],使得对于任何k∈N,任何xa,k[i],xb,k[i]∈X[i],以及任何va,k[i],vb,k[i]∈V[i],
(1)存在??[i],?ˉ[i]∈R>0,使得(9)??[i]‖xa,k[i]?xb,k[i]‖pq≤V[i](xa,k[i],xb,k[i])≤?ˉ[i]‖xa,k[i]?xb,k[i]‖pq,
(2)存在ξ[i],γ[i]∈R>0,使得(10)V[i](xa,k+1[i],xb,k+1[i])?V[i](xa,k[i],xb,k[i])≤?ξ[i]‖xa,k[i]?xb,k[i]‖pq+γ[i]‖va,k[i]?vb,k[i]‖pq,
其中p=q或p=∞∧q=1。
假设4.2意味着每个M[i]都是指数级δISS的,因为(4)中的函数ξ(?)和γ(?)是线性的,系数为ξ[i]和γ[i](Bof等人,2018年)。请注意,文献中为许多RNN架构提供了δISS李雅普诺夫函数——例如,(Bonassi等人,2021a)对于GRUs,(Bonassi等人,2023)对于LSTMs,(Bonassi等人,2021b)对于NNARXs,(Armenio等人,2019b)对于ESNs,以及D’Amico等人(2023)对于一般类别的RNNs。正如第5节中将证明的,可以通过在训练期间对模型参数施加适当条件来强制满足这个假设。请注意,本文提供的结果可以扩展到任何p,q∈R>0的情况,但为了清晰起见,这里没有报告额外的数学细节。在介绍网络模型δISS的主要结果之前,必须引入以下引理。
引理4.1
考虑网络模型M(8)中的输入u,其被限制在一个紧凑集合??U??i=1nU[i]?Rnu中。那么,M承认一个紧凑的不变集,定义为??X??i=1nX[i]?Rnx。
引理4.1的证明在附录A.1中报告。
前述假设和引理可以用来建立一个充分条件,以确保互连的δISS离散时间子模型的δISS属性,如下所述。
定理4.1
考虑由n个子模型M[i]组成的网络模型M(8),这些子模型根据图G=(N,E)相互连接,每个M[i]都满足假设4.1和假设4.2。考虑一个矩阵Γ∈Rn×n,其中每个元素定义为(11)?Γij?γ[i]‖W[j]‖pqβ[i]??[j],如果(i,j)∈E,则Γij=1,否则Γij=0,其中β[i]∈(0,ξ[i]/?ˉ[i])。如果(12)ρ(Γ)<1,则M相对于X和U是δISS的。特别是,M承认δISS李雅普诺夫函数(13)?V(xa,k,xb,k)?∑i=1nσ[i]V[i](xa,k[i],xb,k[i]),其中σ[i]∈R>0被定义为σ[i]β[i]?∑j∈OiΓjiσ[j]β[j]>0,?i∈N。
定理4.1的证明在附录A.2中报告。
条件(12)可以用来验证网络模型M的δISS属性。有趣的是,从(12)中推导出了两个替代条件,尽管这些条件更为保守,但在M的训练过程中更容易实施,见第5节。
推论4.1
考虑由n个子模型M[i]组成的网络模型M(8),这些子模型根据G=(N,E)相互连接,每个M[i]都满足假设4.1和假设4.2。设矩阵Γ如(11)所定义。如果(14)∑j=1,j≠inΓij<1,?i∈N,则M相对于X和U是δISS的。
推论4.2
考虑由n个子模型M[i]组成的网络模型M(8),这些子模型根据G=(N,E)相互连接,每个M[i]都满足假设4.1和假设4.2。设Γ如(11)所定义,并且其特征多项式为Φ(λ)=λn+c1λn?1+…+cn,其中ci显式依赖于Γ的元素。如果(15)∑i=1n|ci|<1,则M相对于X和U是δISS的。
推论4.1和推论4.2的证明分别在A.3和A.4中报告。

4.1. 即插即用操作
推导出的δISS条件使得网络模型M能够进行即插即用(P&P)操作,因为其模块化特性。P&P方案通常用于分散式和分布式控制框架中,以管理从网络系统中集成或移除子系统,只需重新设计相应的本地调节器即可保持整体稳定性(Riverso等人,2013年)。受此框架的启发,我们在这里考虑了一些子系统发生变化的情况,这意味着必须重新定义相应的子模型。例如,在化工厂中,某些组件可能因磨损而需要更换;在电力网络中,发电机可能会被隔离或连接;在区域供热网络中,热用户可能会被添加或断开连接。因此,下面引入了修改后的子模型的新本地条件,以确保即使在这些变化后,整个网络模型的δISS属性仍然得到保持。
首先,考虑“拔掉”情况,其中一个子系统S[a]从S中移除,产生一个新的有向图G?=(N?,E?),其中N?=N?{a}且E??N?×N?,a是被移除的节点。同时,假设相应的子模型M[a]也从M中移除,导致一个新的网络模型M?,仍然与网络系统一致。以下结果是成立的。
命题4.1
考虑从网络模型M中移除子模型M[a],从而获得一个新的模型M?,表示为一个有向图G?=(N?,E?),其中N?=N?{a}且E??N?×N?。如果原始网络模型M满足(12),即它是δISS的,那么新模型M?也满足(12),即它相对于X和U是δISS的。
命题4.1的证明在附录A.5中报告。
现在考虑“插入”情况,其中一个子系统S[a]被添加到原始网络系统S中,产生一个新的有向图G?=(N?,E?),其中N?=N∪{a}且E??N?×N?,a是新增的节点。因此,必须引入一个新的相应子模型M[a]并将其插入M中,形成一个新的网络模型M?。新的矩阵Γ?,如(11)所定义,并与M?相关联,可以写为(16)Γ?=ΓΓ1aΓa10,其中Γ1a∈R≥0n×1且Γa1∈R≥01×n包括与新子模型M[a]和原始网络模型之间的互连相关的元素。如讨论的,添加新子模型可能会导致网络模型不稳定,特别是如果在图中引入了循环。然而,可以建立Γ1a和Γa1的充分条件,以确保即使在插入操作后,网络模型的δISS属性也能得到保持。
命题4.2
考虑将子模型M[a]添加到网络模型M中,使得结果模型M?表示为一个有向图G?=(N?,E?),其中N?=N∪{a}且E??N?×N?。假设M[a]满足假设4.1和假设4.2,并且与M相关的矩阵Γ满足(12),这意味着存在v∈R>0n使得Γv0n用于验证Γv0n使得Γv最后,如果原始模型m满足推论4.1,可以推导出一个更简单的充分条件,以确保在插入情况下更新后的模型m?的δiss,如下所述。
推论4.3
考虑将子模型m[a]添加到网络模型m中,使得结果模型m?表示为一个有向图g?=(n?,e?),其中n?=n∪{a}且e??n?×n?。假设m[a]满足假设4.1和假设4.2,并且与m相关的矩阵γ满足(14)。 最后,如果原始模型m满足推论4.1,可以推导出一个更简单的充分条件,以确保在插入情况下更新后的模型m?的δiss,如下所述。 推论4.3 考虑将子模型m[a]添加到网络模型m中,使得结果模型m?表示为一个有向图g?=>
最后,如果原始模型m满足推论4.1,可以推导出一个更简单的充分条件,以确保在插入情况下更新后的模型m?的δiss,如下所述。
推论4.3
考虑将子模型m[a]添加到网络模型m中,使得结果模型m?表示为一个有向图g?=(n?,e?),其中n?=n∪{a}且e??n?×n?。假设m[a]满足假设4.1和假设4.2,并且与m相关的矩阵γ满足(14)。>
考虑到与M?相关的矩阵Γ?(如(16)中所述),并定义Oa={i∈N∣(i,a)∈E?},如果(18)∑j=1,j≠in+1Γ?ij<1,?i∈Oa∪{a},那么新模型M?相对于X和U是δISS的。推论4.3的证明在附录A.7.5中报告。δiss物理信息循环神经网络的训练过程在本节中,我们将展示如何从数据中识别δISS网络模型M,并确保满足第4节中提供的充分条件。我们考虑属于上述RNN架构的子模型,即Bonassi等人(2022)中提出的那些模型。在这种情况下,可以在适当的参数Θ[i]条件下确保每个M[i]满足假设4.2,从而推断出其δISS性质。这些条件通常可以表示为RNN子模型M[i]参数的非线性不等式:(19)η?[i](Θ[i])<0,?i∈N。关于(19)的详细表达式可以在Bonassi等人(2021a)的GRUs中找到,在Bonassi等人(2023)的LSTMs中找到,在Bonassi等人(2021b)的NNARXs中找到,在Armenio等人(2019b)的ESNs中找到。在这些参考文献中还表明,对于上述RNN类别,存在满足假设4.2的δISS李雅普诺夫函数,并且它们的表达式是已知的。因此,条件(9)中的参数??[i]和?ˉ[i]可以很容易地推导出来。此外,如Bonassi(2023a)所示,条件(10)中的ξ[i]和γ[i]可以表示为模型参数Θ[i]的函数。这意味着(11)中的每个Γ元素都依赖于模型参数,即Γij=Γij(Θ[i],Θ[j]),因此Γ=Γ(Θ)。值得注意的是,构成Γ每个元素的参数是通过基于李雅普诺夫函数的保守关系推导出来的。这可能会影响训练后的PI-RNN的建模性能,尽管在第6.2节的案例研究中,准确性的降低是微小的。另一方面,施加δISS约束也可能是有益的,因为它减少了模型的自由度,并赋予了有助于控制设计的鲁棒性属性(Xie等人,2025)。还要注意,(11)中的β[i]是一个自由度,最初被设置为一个固定值,如果在训练后不满足条件β[i]∈(0,ξ[i]/?ˉ[i]),则其值将被减小并重新进行训练。此时,为了施加整个网络化PI-RNN模型(8)的δISS属性,可以将定理4.1中的条件(12)表示为Θ的通用函数,因为Γ=Γ(Θ),即(20)η(Θ)<0。值得注意的是,尽管推论4.1和推论4.2中概述的条件比(12)更为保守,但由于它们的表达式更简单,因此可以更容易地表示为(20)。我们在这里提出了一种独特的训练程序来识别(8)中的网络模型M,该程序利用每个子系统S[i]的可用输入-输出测量数据,并强制执行条件(19)、(20),从而确保M的δISS属性。这些条件可以通过设计为当其参数为正时单调增加的正则化项包含在用于训练M的损失函数中,否则为零,例如,通过利用分段线性函数。特别是,ω?[i](η?[i](Θ[i]))被引入作为强制(19)的正则化项,以验证假设4.2。另一方面,我们引入ω(η(Θ))作为强制(20)的正则化项,从而确保网络化PI-RNN模型M的δISS属性。总之,用于训练M的损失函数如下构建:(21)L(Dtr,Θ)=MSE(Dtr;Θ)+∑i=1nω?[i](η?[i](Θ[i]))+ω(η(Θ)),其中MSE(Dtr;Θ)表示均方误差,用于衡量PI-RNN模型对训练数据集Dtr的拟合质量(Bonassi, 2023a)。显然,损失函数(21)旨在通过最小化预测误差来寻找最大化建模准确性的模型参数Θ,同时强制执行δISS条件(19)、(20)。如果遵守了这些条件,所提出的建模方法将保留各个子模型M[i]的δISS属性,并将其转移到网络化模型M中,正如第4节中呈现的结果所示。正如第6.2节的数值结果所证明的,由于嵌入了网络系统拓扑结构,PI-RNN模型预计将比标准RNNs实现更好的拟合性能,同时确保了δISS属性。注5.1由于稳定性条件是通过损失函数(21)中的正则化项来强制的,因此训练出的模型可能不满足这些条件。在这种情况下,将增加相应正则化项的权重并重复训练过程,直到满足稳定性属性。关于即插即用功能的最后几点评论,考虑到第4.1节的讨论。由于PI-RNN及其δISS属性的模块化特性,可以在不重新训练整个模型的情况下轻松执行插拔操作,同时仍然确保与网络系统的物理一致性并保持网络化模型的整体δISS属性。特别是,当首次识别系统时,使用(21)来训练网络化模型M。然后,如果子系统S[a]从S中拔出,导致一个新的有向图,不需要重新训练。必须从M中移除相应的子模型M[a],从而得到一个仍然准确反映更新后系统的简化模型M?,这要归功于PI-RNN的模块化特性。此外,根据命题4.1,M?自动继承了M的δISS属性。如果子系统S[a]被插入到S中,则只需训练一个新的子模型M[a],通过命题4.2强制执行其单独的δISS条件,然后将其与新的拓扑结构一致地集成到原始网络化模型M中。这样,得到的模型M?准确地代表了更新后的系统,同时保持了其δISS属性。6. 案例研究和控制应用在介绍案例研究之前,我们提供了一些设计控制系统的指导原则,因为将在数值实验中测试NMPC方案,以进一步说明在PI-RNN上强制执行δISS的好处。具有这种属性的模型实际上允许设计(i)具有保证整体状态估计收敛到真实状态的分布式观察器,以及(ii)具有证明收敛到平衡状态的NMPC方案。这些元素的设计构成了图1中所示的控制系统,第6.1节描述了这些元素的设计,而第6.2节专门用于展示数值结果。6.1. 控制系统假设物理 plant S 已按照第3节中的描述进行建模,其中网络模型 M 和子模型 M[i] 已经过训练以具有第5节中描述的 δISS 属性。由于大多数 RNN 模型中的状态没有物理意义,因此无法测量它们,因此需要一个观察器来估计它们以进行 MPC 初始化。得益于所提出的 PI-RNN 模型的模块化结构,可以为每个 M[i] 使用相应的 S[i] 的输入-输出测量数据来设计一个状态观察器。相关的状态观察器 SO[i] 表示为(22)SO[i]:x?k+1[i]=fo[i](x?k[i],uk[i],ζk[i];Θ?o[i])y?k[i]=Wo[i]x?k[i]+bo[i],其中 x?[i]∈Rnx[i] 和 y?[i]∈Rny[i] 分别是估计的状态和输出,而第 i 个观察器的整体参数集为 ?Θo[i]?Θ?o[i]∪{Wo[i],bo[i]}。考虑到上述 RNN 类别,每个观察器 SO[i] 可以设计为弱指数收敛的,如 Vidyasagar (2002) 中所定义的。在文献中已经提出了具有指数收敛保证的观察器,例如在 Bonassi 等人(2024)的 GRU 网络中,在 Bonassi 等人(2023)的 LSTM 中,在 Armenio 等人(2019a)的 ESN 中,但它们的设计程序不适用于处理多个互连的 RNN。然而,模块化的 PI-RNN 结构使得可以设计一个由独立指数收敛的 SO[i] 组成的分布式指数收敛状态观察器 SO,从 u[i] 和 ζ[i] 中检索 M 的整体状态估计 x?(Vidyasagar, 2002)。为了最佳操作所考虑的网络系统,可以根据众所周知的确定性等价原理(James, 1994)设计一个 NMPC 调节器。例如,可以使用 Bonassi 等人(2024)中提出的控制公式,目标是跟踪假设存在的指定平衡点 y?(x?,u?)。由于 PI-RNN 模型 M 的 δISS 属性,如第 4 节和第 5 节所讨论的,可以利用 Bonassi 等人(2024)中建立的收敛结果来推导出一个 NMPC 法律,以确保递归可行性和收敛到平衡点。下载:下载高分辨率图像(138KB)下载:下载全尺寸图像图 1. 所考虑的控制架构示意图。注 6.1所提出方法的即插即用特性从控制角度来看也是有效的。特别是,如果向网络系统 S 中添加(或从网络系统 S 中移除)子系统 S[a],则可以像第 5 节中描述的那样部分更新嵌入在 NMPC 调节器中的预测模型。同样,可以通过添加(或移除)与子系统 S[a] 相对应的子观察器 SO[a] 来修改分布式观察器 SO。6.2. 案例研究所提出的框架在一个大型化学工厂上进行了测试。该系统最初由 Luyben 和 Luyben (1995) 研究,并在 Scattolini 等人 (2009) 中进一步探讨,使其成为复杂过程的全厂控制的显著基准。所考虑的工厂在图 2(a) 中示意性地表示。它是一个具有复杂流程图、单元间显著交互以及大量副产品/中间组件的大型网络系统。由于篇幅原因,这里没有报告该工厂的物理模型,但其详细信息可在上述参考文献中找到。该模型已在 MATLAB 的 Simulink 环境中利用 Scattolini 等人 (2009) 中报告的参数开发了一个动态模拟器。基于物理模型的模拟器用于数据收集和控制测试。所考虑的工厂包括三个二元蒸馏柱(C1、C2、C3)和三个化学反应器(R1、R2、R3)。此外,存在两个循环流(从 C1 到 R1 和从 C3 到 R1),并且处理了六种化学成分(A、B、C、D、E、F)。特别是,工厂包含两个反应步骤,即 A+B→C+D 产生所需产品 C 和 D+E→F+B 产生所需产品 F 并再生第一个反应步骤中的 B。根据本文使用的符号,所考虑的化学工厂是一个由 n=6 个子系统 S[i] 组成的网络系统 S,根据图 G=(N,E) 连接,其中可用的输入-输出测量数据。子系统 S[i],其中 i∈{1,…,n},分别对应于第一个化学反应器 R1、第一个和第二个蒸馏柱 C1 和 C2、第二个和第三个反应器 R2 和 R3 以及第三个蒸馏柱 C3。为系统 S 选择的控制变量包括第一个反应器的进料流量和三个蒸馏柱的回流流量,即 u=[uR1?uC1?uC2?uC3?]?。输出向量是 ζ=[ζR1→C1?ζC1→R1?ζC1→C2?ζC2→R2?ζR2→R3?ζR3→C3?ζC3→R1?]?,其中每个 ζα→β 包括四种化学成分的摩尔分数乘以相应的输出流量。总体而言,系统包括四个输入变量和二十八个输出变量。化学工厂内各种元素之间的循环流动使得该系统具有强烈的交互性。此外,尽管其建模复杂,但工厂的拓扑结构是已知的,并且假设可以通过测量每个子系统的输入和输出变量获得大量数据。这激发了将所提出的基于物理信息的数据建模方法应用于上述化学工厂的动机。特别是,PI-RNN 网络模型的实现是在 Python(版本 3.10)中进行的,定制了 Bonassi (2023b) 中开发的库来强制执行物理信息结构和互连子模型的 δISS 属性。还在 MATLAB R2023a 中使用 CasADi 环境和 Ipopt 求解器测试和实现了 NMPC 问题。所有计算都在配备了 Intel Core i7-1195G7 处理器的笔记本电脑上执行。为了准确识别所考虑工厂 S 的预测模型 M,使用多级伪随机二进制序列收集了输入-输出样本数据集来改变输入 u。总体而言,收集了10000个样本,采样时间为τs=1秒,这些样本被合理地划分为训练集(80%)、验证集(10%)和测试集(10%)。下载:下载高分辨率图像(130KB)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(68KB)下载:下载全尺寸图像(b)。图2。(a) 化工厂的示意图:R1、R2、R3是反应器,C1、C2、C3是蒸馏塔。(b) 用于所考虑化工厂的PI-RNN架构。为了进行公平比较,首先使用一个标准的黑盒RNN模型对这一大规模系统进行识别,该模型每6个隐藏层有3个神经元,具有4个输入和28个输出。然后,构建了一个网络化的PI-RNN,它由n=6个单层RNN互连而成,以模拟化工厂的拓扑结构,如图2(b)所示。根据第3节中提出的建模方法,最终得到的模型是一个每6个互连RNN有3个神经元的PI-RNN。这两种模型都使用了GRU网络,并且每个神经元都有18个状态。此外,它们使用截断的通过时间反向传播(TBPTT)方法进行训练,该方法在Bonassi(2023a)中有详细描述。对于标准RNN,在其训练过程中强制实施了δISS属性,如Bonassi等人(2021a)中所讨论的。相反,对于PI-RNN模型的训练,使用了损失函数(21),其中单个子模型的δISS是通过Bonassi等人(2021a)中的条件(19)来强制实现的,而网络化模型的δISS是通过条件(15)来强制实现的。损失函数(21)中的正则化项都被设计为分段线性函数,例如ω(η(Θ))=π?min(0,η(Θ))+πˉmax(0,η(Θ)),其中0<π??πˉ(bonassi等人,2022)。另外,这两种模型都使用10000个样本的数据集在2000个周期内进行训练,采用自适应矩估计(adam)优化器,学习率为0.003。为了定量评估所开发的数据驱动模型的建模性能,引入了dte集合,其中包含了测试集中样本的时间点。因此,使用了fit指数:(23) fit=1?∑k∈dte‖ζk?yk‖2∑k∈dte‖ζk?ζavg‖2?100,其中y和ζ分别是测试集中识别和测量的输出,而ζavg=1|dte|∑k∈dteζk表示测量输出的平均值。为了确保鲁棒性,由于rnn的权重和偏置的随机初始化以及tbptt方法提取的随机子序列,识别过程重复了五次。需要注意的是,最终选择用于趋势预测和nmpc的模型是获得最高fit值的模型。所得结果在表1中报告,其中包括标准rnn和pi-rnn的平均fit值及其标准差,以及每个周期的平均计算时间。这些结果,加上图3中显示的预测趋势,表明即使两种模型使用相同数量的状态,pi-rnn也始终优于标准rnn。这种改进是通过利用网络系统拓扑结构实现的。值得注意的是,实现的模型验证了推导出的δiss条件,这些条件在它们的损失函数中得到了强制执行。图4(a)显示了在不同初始条件和恒定输入下,δiss pi-rnn模型的‖xa,k?xb,k‖∞的演变情况。如图所示,所有轨迹都收敛到0,证实了整个网络化模型的δiss条件(2)。为了完整性,标准rnn和pi-rnn模型也在不强制δiss正则化项的情况下进行了训练。正如预期的那样,当事后检查这些条件时,得到的模型不满足δiss条件,这突显了在训练过程中强制执行δiss属性的重要性。尽管如此,与受δiss约束的模型相比,fit性能仅略有影响(见表1),标准rnn的fit为68.7%,pi-rnn的fit为86.4%。进行了最终测试,以评估δiss pi-rnn模型的即插即用特性。具体来说,假设化工厂的c2柱发生了参数变化,其蒸汽流量从385lb?molh增加到435lb?molh。这一变化导致pi-rnn模型的拟合性能下降到78.4%。然而,由于pi-rnn方法的模块化特性,不需要重新识别整个网络化系统模型,而标准rnn则需要这样做。相反,只需要更新与c2相关的子模型。这个新的子模型使用新的输入输出数据和一个强制条件(17)作为惩罚项的损失函数进行训练。这个条件确保了整个网络化模型的δiss属性保持不变,因为只学习了与c2的新子模型相关的参数,而其他子模型的参数保持不变,如第5节所讨论的。然后,将这个新子模型替换原来的c2子模型,插入到原始的pi-rnn模型中。结果,更新后的网络化模型仍然满足定理4.1中的条件,即ρ(γ?)=0.8<1,无需因局部变化而重新训练整个模型。此外,更新后的网络化模型的拟合性能仍然令人满意,即fit = 80.3%,与表1中报告的结果相当。表1. 比较了具有18个状态并且使用10000个样本训练了五次的rnn和pi-rnn的平均fit值及其标准差,以及每个周期的平均计算时间。空单元fit [%]平均周期时间 [s]标准rnn67.5 ± 1.47.9 ± 1.4pi-rnn82.4 ± 2.99.0 ± 1.1下载:下载高分辨率图像(47kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(43kb)下载:下载全尺寸图像(b)。下载:下载高分辨率图像(48kb)下载:下载全尺寸图像(c)。下载:下载高分辨率图像(42kb)下载:下载全尺寸图像(d)。图3. rnn和pi-rnn的识别结果。识别的变量用橙色表示,测量的变量用蓝色表示。(a) 标准rnn识别的yr1→c1,a;(b) pi-rnn识别的yr1→c1,a;(c) 标准rnn识别的yc2→r2,d;(d) pi-rnn识别的yc2→r2,d。下载:下载高分辨率图像(37kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(34kb)下载:下载全尺寸图像(b)。图4。(a) 在不同初始条件和恒定输入下,两个模型状态之间差异的收敛情况。(b) 在不同初始条件和恒定输入下,观测器状态和模型状态之间差异的收敛情况。最后,根据bonassi等人(2024)提出的方法设计了一个nmpc调节器,突显了利用推导出的δiss pi-rnn模型的好处。首先,使用了n=6个弱指数观测器so[i],每个观测器估计与其对应的子模型m[i]相关的状态。所有观测器so[i]都是使用bonassi等人(2024)中描述的方法设计的,其中gru模型被用于pi-rnn。如第6.1节所讨论并在图4(b)中所示,整个分散式观测器so也是弱指数收敛的。nmpc的执行采样时间为τs=1秒,预测范围为n=12,仿真范围与终端成本m=12相关。nmpc问题的目标是跟踪特定的输出参考值。例如,图5(a)显示了yr1→c1,a在300秒内的趋势与其设定点的关系,图5(b)显示了yc2→r2,d的趋势与其设定点的关系。每次迭代的平均计算时间为0.5秒。总之,利用提出的δiss pi-rnn模型的nmpc调节器是闭环收敛的,并且能够将期望的输出变量引导到其目标值,表现出可忽略的稳态误差。下载:下载高分辨率图像(38kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(37kb)下载:下载全尺寸图像(b)。图5. nmpc结果。设定点用黑色虚线表示。(a) yr1→c1,a相对于其设定点的趋势。(b) yc2→r2,d相对于其设定点的趋势。7. 结论本文提出了一种使用具有稳定性属性的物理信息数据驱动模型来学习大规模网络化系统的一般方法。开发的算法将物理系统拓扑结构纳入模型架构中,与标准数据驱动模型相比,实现了更好的拟合性能。此外,还推导出一个新条件,以确保任意互连的δiss子模型的δiss属性,这是通过利用它们的δiss李雅普诺夫函数来实现的。这种稳定性条件在物理信息循环神经网络的训练过程中被强制实施。所提出的建模方法的模块化特性,结合其推导出的δiss属性,便于对模型进行平滑的即插即用操作,同时保持高拟合性能和稳定性。模型的δiss属性还允许设计合适的分散式观测器和nmpc调节器,以确保收敛到平衡状态。所提出的方法在文献中引用的大型化工厂上进行了仿真测试,从建模和控制的角度来看都取得了有希望的结果。未来的工作将致力于开发一种检测方案,用于识别物理系统中的潜在修改及其具体来源。这将允许在线方式适应这种系统变化,利用主动学习。 fit=1?∑k∈Dte‖ζk?yk‖2∑k∈Dte‖ζk?ζavg‖2?100,其中y和ζ分别是测试集中识别和测量的输出,而ζavg=1|Dte|∑k∈Dteζk表示测量输出的平均值。为了确保鲁棒性,由于RNN的权重和偏置的随机初始化以及TBPTT方法提取的随机子序列,识别过程重复了五次。需要注意的是,最终选择用于趋势预测和NMPC的模型是获得最高FIT值的模型。所得结果在表1中报告,其中包括标准RNN和PI-RNN的平均FIT值及其标准差,以及每个周期的平均计算时间。这些结果,加上图3中显示的预测趋势,表明即使两种模型使用相同数量的状态,PI-RNN也始终优于标准RNN。这种改进是通过利用网络系统拓扑结构实现的。值得注意的是,实现的模型验证了推导出的δISS条件,这些条件在它们的损失函数中得到了强制执行。图4(a)显示了在不同初始条件和恒定输入下,δISS pi-rnn模型的‖xa,k?xb,k‖∞的演变情况。如图所示,所有轨迹都收敛到0,证实了整个网络化模型的δiss条件(2)。为了完整性,标准rnn和pi-rnn模型也在不强制δiss正则化项的情况下进行了训练。正如预期的那样,当事后检查这些条件时,得到的模型不满足δiss条件,这突显了在训练过程中强制执行δiss属性的重要性。尽管如此,与受δiss约束的模型相比,fit性能仅略有影响(见表1),标准rnn的fit为68.7%,pi-rnn的fit为86.4%。进行了最终测试,以评估δiss pi-rnn模型的即插即用特性。具体来说,假设化工厂的c2柱发生了参数变化,其蒸汽流量从385lb?molh增加到435lb?molh。这一变化导致pi-rnn模型的拟合性能下降到78.4%。然而,由于pi-rnn方法的模块化特性,不需要重新识别整个网络化系统模型,而标准rnn则需要这样做。相反,只需要更新与c2相关的子模型。这个新的子模型使用新的输入输出数据和一个强制条件(17)作为惩罚项的损失函数进行训练。这个条件确保了整个网络化模型的δiss属性保持不变,因为只学习了与c2的新子模型相关的参数,而其他子模型的参数保持不变,如第5节所讨论的。然后,将这个新子模型替换原来的c2子模型,插入到原始的pi-rnn模型中。结果,更新后的网络化模型仍然满足定理4.1中的条件,即ρ(γ?)=0.8<1,无需因局部变化而重新训练整个模型。此外,更新后的网络化模型的拟合性能仍然令人满意,即FIT = 80.3%,与表1中报告的结果相当。表1. 比较了具有18个状态并且使用10000个样本训练了五次的rnn和pi-rnn的平均fit值及其标准差,以及每个周期的平均计算时间。空单元fit [%]平均周期时间 [s]标准rnn67.5 ± 1.47.9 ± 1.4pi-rnn82.4 ± 2.99.0 ± 1.1下载:下载高分辨率图像(47kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(43kb)下载:下载全尺寸图像(b)。下载:下载高分辨率图像(48kb)下载:下载全尺寸图像(c)。下载:下载高分辨率图像(42kb)下载:下载全尺寸图像(d)。图3. rnn和pi-rnn的识别结果。识别的变量用橙色表示,测量的变量用蓝色表示。(a) 标准rnn识别的yr1→c1,a;(b) pi-rnn识别的yr1→c1,a;(c) 标准rnn识别的yc2→r2,d;(d) pi-rnn识别的yc2→r2,d。下载:下载高分辨率图像(37kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(34kb)下载:下载全尺寸图像(b)。图4。(a) 在不同初始条件和恒定输入下,两个模型状态之间差异的收敛情况。(b) 在不同初始条件和恒定输入下,观测器状态和模型状态之间差异的收敛情况。最后,根据bonassi等人(2024)提出的方法设计了一个nmpc调节器,突显了利用推导出的δiss pi-rnn模型的好处。首先,使用了n=6个弱指数观测器SO[i],每个观测器估计与其对应的子模型M[i]相关的状态。所有观测器SO[i]都是使用Bonassi等人(2024)中描述的方法设计的,其中GRU模型被用于PI-RNN。如第6.1节所讨论并在图4(b)中所示,整个分散式观测器SO也是弱指数收敛的。NMPC的执行采样时间为τs=1秒,预测范围为N=12,仿真范围与终端成本M=12相关。NMPC问题的目标是跟踪特定的输出参考值。例如,图5(a)显示了yR1→C1,A在300秒内的趋势与其设定点的关系,图5(b)显示了yC2→R2,D的趋势与其设定点的关系。每次迭代的平均计算时间为0.5秒。总之,利用提出的δISS pi-rnn模型的nmpc调节器是闭环收敛的,并且能够将期望的输出变量引导到其目标值,表现出可忽略的稳态误差。下载:下载高分辨率图像(38kb)下载:下载全尺寸图像(a)。下载:下载高分辨率图像(37kb)下载:下载全尺寸图像(b)。图5. nmpc结果。设定点用黑色虚线表示。(a) yr1→c1,a相对于其设定点的趋势。(b) yc2→r2,d相对于其设定点的趋势。7.>
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号