基于输入-状态-输出数据的非线性Port-Hamiltonian系统辨识（ISO-pHNN）

《Physica D: Nonlinear Phenomena》：Nonlinear port-Hamiltonian system identification from input-state-output data (ISO-pHNN)

　　•一种用于非线性动力系统的新识别方法，该方法通过输入-状态-输出数据，以端口-哈密顿表示的形式融入系统背后的物理原理。•与近期提出的科尔莫戈洛夫-阿诺德网络相比，探讨其作为多层感知器替代方案的优势。•能够灵活引入关于系统矩阵的先验信息，从而提升识别精度。•将该方法应用于多种非线性端口-哈密顿系统案例进行验证，包括弹簧-质量系统、悬浮球系统以及电机系统。引言基于物理的模型因其可解释性以及基于基本定律的特性，被广泛用于模拟和控制动力系统。然而，对于复杂或专有系统而言，构建此类模型往往颇具挑战。本研究聚焦于从输入-状态-输出轨迹中识别端口-哈密顿模型，这类场景常见于那些可通过测量、观测器或降维手段获取状态信息的应用中。这种方法能够得到既保留结构又具有可解释性的模型，这类模型适用于控制设计、稳定性分析以及与其他端口-哈密顿系统的模块化互联。尽管纯数据驱动方法已被广泛用于建模复杂系统，但它们在训练范围之外的泛化能力和可靠性方面常常存在问题[1]。我们的方法则利用数据驱动技术来提取潜在的端口-哈密顿结构，当系统动态仅能通过仿真环境、高维模型或传统工具获得且无法获得显式方程时，这种做法尤为有用。通过将数据驱动学习与端口-哈密顿系统的内在结构相结合，我们得到的模型能够保留能量守恒和互联规则等物理特性。这种结合物理与机器学习的混合方法日益受到重视，因为它既能利用基于物理的模型的精确性与泛化能力，又能借助机器学习的灵活性与快速性。这种整合在多个领域取得了显著成果，比如利用深度网络增强物理模型以预测复杂动态[2]，发展神经常微分方程[3]，或是运用物理信息神经网络来解决（偏）微分方程的正向与逆向问题[4]。在已知求解器的情况下，机器学习可用于学习残差或归纳偏差，正如神经常微分方程方法中所做的那样[3]，该方法结合了来自学习的物理知识与基于求解器的方法。而在必须端到端学习所有内容的情况下，则出现了PhyDNet和MeshGraphNet等方法，它们旨在分离物理动态与未知因素，从而实现复杂仿真的学习[5][6]。哈密顿神经网络代表了一种将额外物理知识整合到待识别动态中的新方法，这类网络利用哈密顿动力学框架来构建神经网络架构[7][8][9][10]。虽然这类模型的性能优于非物理基础模型，但它们本质上描述的是封闭系统，且未将耗散效应纳入模型之中。在本研究中，我们探讨了哈密顿建模的一种扩展形式——端口-哈密顿系统，这类系统由如下结构的常微分方程组构成：x˙(t)=(J(x(t))?R(x(t)))?H(x(t))+B(x(t))u(t),x(0)=x0y(t)=B(x(t))??H(x(t)),t≥0，其中x(t)∈X?Rn为状态向量，u(t)∈U?Rm为输入向量，y(t)∈Y?Rm为输出向量，而X、U、Y均为某些紧凑集合。当需要表明方程(1)的解x依赖于初始值x0和输入u时，我们用x(t; x0, u)和y(t; x0, u)来表示相应的输出。为简化表述，此后我们将省略x=x(t)、u=u(t)、y=y(t)中的时间依赖性。哈密顿量H:X→R是一个连续可微的函数，且假定其具有下界。矩阵J(x)、R(x)∈Rn×n，B(x)∈Rn×m满足以下性质：J(x)=?J?(x)，R(x)=R(x)?≥0，?x∈X。在该框架中，矩阵函数J代表了系统内部遵循能量守恒的相互作用，即可逆交互作用。此外，当R≠0时，该框架还能将耗散效应纳入模型，这类耗散可能源于电阻、摩擦损耗、电气设备绕组中的电磁效应带来的负载损耗等类似因素。端口-哈密顿系统这一类别越来越受欢迎，因为它能够提供本质上是被动型的稳健模型，并且能够确保平衡状态的稳定性，相关概述可见[11][12][13]。由于不同物理领域中普遍存在通过功率或能量实现系统互联的现象，端口-哈密顿系统的表示方式为多物理系统数值模拟提供了统一的框架[14]，并且已被用于建模各类系统，包括电力系统[15][16]、机械系统[17]、流体力学系统[18]以及粒子相互作用系统[19]。本文的目标是基于机器学习开发一种用于识别非线性端口-哈密顿系统的方法，关于机器学习在端口-哈密顿系统应用中的最新综述可见[20]。对于线性端口-哈密顿系统，已有多种识别方法被提出，即当J和R为常系数矩阵且H为二次函数时。例如，就有基于动态模式分解的端口-哈密顿版本pHDMD[21]，以及利用线性矩阵不等式[22][23]、优化方法[24][25][26]、子空间识别方法[27]，还有基于Loewner框架的频域方法[28][29][30]等。而对于非线性动力系统的端口-哈密顿结构保持型识别，相关研究仍较为有限。近期在电路领域[31]、机械系统领域[32]、利用高斯过程[33][34]、自编码器[35]，以及伪哈密顿系统领域[36]都取得了一些进展。这些研究大多集中在线性端口-哈密顿系统上，或者仅通过近似哈密顿矩阵或耗散矩阵等特定组件，或是基于对系统矩阵结构的先验假设，部分解决了非线性系统的问题。另一个较少被探索的方向是基于输入-输出数据的识别方法。直到最近，才有一种方法通过子空间编码器，在对系统潜在动态施加端口-哈密顿结构的同时，近似系统的输入-输出行为[37]。最近有研究[38]利用端口-哈密顿系统在结构保持型互联下的不变性，通过将给定的端口-哈密顿系统分解为多个独立训练的子系统，再重新组合这些训练好的系统，从而加快训练速度。这一方法在[39]中得到了进一步拓展，该方法能够基于多个时间步的输入-输出数据来近似内部端口-哈密顿系统。目前针对非线性端口-哈密顿系统的基于学习的方法往往针对特定的架构选择或固定的结构假设而设计，它们在将不同程度的先验物理知识系统地整合到统一公式中方面能力有限。本文通过构建一个名为ISO-pHNN的统一框架，解决了这一问题，该框架旨在从输入-状态-输出数据中识别并学习非线性端口-哈密顿系统。我们的方法采用多层感知器来保持系统的端口-哈密顿结构，进而近似系统的各个组成部分，即互联矩阵J、耗散矩阵R、哈密顿量H以及输入矩阵B。通过为每个矩阵分配专门的多层感知器，并采用参数化方案，我们确保所学模型严格遵循端口-哈密顿结构。该方法在利用神经网络强大的通用逼近能力准确模拟复杂非线性动态的同时，也保持了系统的物理完整性。除了最初的架构之外，我们还尝试了新提出的科尔莫戈洛夫-阿诺德网络，并将其与多层感知器进行了比较。与近期用于识别非线性端口-哈密顿系统的方法[39]不同，我们使用输入-状态-输出数据，采用了带有和不带有先验知识的多种多层感知器及科尔莫戈洛夫-阿诺德网络版本，并针对多种示例和场景验证了该方法的有效性。我们的贡献可总结如下：•我们提出了ISO-pHNN，这是一个通用且灵活的框架，可在其中同时学习端口-哈密顿结构的所有组成部分。•我们引入了物理信息先验的概念，这类先验能够融入物理知识，从而提升端口-哈密顿神经网络的训练效果，且可针对每个单独的组件灵活应用。•我们证明了强制遵循端口-哈密顿结构约束并不会降低系统识别性能，此外，利用关于结构的先验信息能够显著减少所学动力系统中的误差。•我们研究了科尔莫戈洛夫-阿诺德网络作为标准多层感知器替代方案的可能性，并评估了其在建模端口-哈密顿系统方面的有效性。本文结构如下：第2节介绍我们基于多层感知器和科尔莫戈洛夫-阿诺德网络的保持结构型学习方法；第3节阐述训练设置，包括损失函数；最后第4节将ISO-pHNN框架应用于多种示例，展示该框架的优势。符号说明我们用N表示正整数集，用R表示实数集。对于n,m∈N，实数n×m矩阵构成的空间记为Rn×m。对于矩阵M∈Rn×m，其转置记为M?。若M∈Rn×n为对称矩阵，则符号M≥0表示该矩阵为半正定矩阵。大小为n的单位矩阵记为In。对于可微的标量值函数f，其关于变量x的梯度记为?f(x)。有限集合B的元素个数记为|B|。基于学习的端口-哈密顿系统识别方法在本节中，我们介绍了ISO-pHNN的不同变体，这些变体将通用的端口-哈密顿框架与神经网络相结合，使我们能够从输入-状态-输出数据中识别出非线性端口-哈密顿系统的结构。更确切地说，我们的目标是通过使用状态-输入-输出数据，同时近似端口-哈密顿系统(1)中的哈密顿量H以及系统矩阵J、R和B。为此，我们会为不同的初始值x0∈Rn以及连续输入信号u:[0训练设置在本节中，我们讨论了用于训练神经网络的数据、基准模型以及损失函数。同时我们也介绍了用于比较不同模型的误差度量方法。所有实验均在PyTorch环境中进行[49]。遵循[39]中的思路，我们利用PyTorch的自动求导功能来计算输入x∈Rn时θH的梯度，该梯度可近似表示?H(x)。数值实验在本节中，我们展示了ISO-pHNN在多种类型端口-哈密顿系统中的应用，这些系统分别体现了系统非线性的不同特征。具体而言，我们研究了那些在斜对称矩阵J或耗散矩阵R方面具有非线性特征的系统，这类系统的哈密顿量H可能为二次型或非二次型。大多数实验都是在配备AMD Ryzen 9 5900X 12核处理器和32GB内存的计算机上完成的。例如，使用这台计算机训练KANs需要代码和数据可用性本文中所有数值实验所使用的代码均可在https://github.com/trawler0/ISO-pHNN地址获取。结论我们提出了一种名为ISO-pHNN的框架，该框架利用输入-状态-输出数据来识别非线性端口-哈密顿系统的系统矩阵。这些数据被用来通过多层感知器、科尔莫戈洛夫-阿诺德网络，或者在有先验信息时可结合各种拟合函数的加权组合，来近似每个系统矩阵J、R和B以及哈密顿量H。随后会利用现有数据对这些权重进行优化。我们方法的有效性CRediT作者贡献声明K. Cherifi：写作——审稿与编辑，写作——初稿撰写，指导监督，项目管理，概念构思。A. El Messaoudi：写作——初稿撰写，验证，方法论，研究分析，正式分析，数据整理，概念构思。H. Gernandt：写作——审稿与编辑，写作——初稿撰写，指导监督，资源协调，方法论，概念构思。M. Roschkowski：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件应用，方法论。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。K. Cherifi|A. El Messaoudi|H. Gernandt|M. Roschkowski