线性、线性参数变化与非线性系统含噪声模型的高效辨识

《Automatica》：Efficient identification of linear, parameter-varying, and nonlinear systems with noise models

　　

研究人员提出了一种通用的系统辨识流程，能够估计广泛的状态空间动态模型，包括线性时不变（LTI）、线性参数变化（LPV）和非线性（NL）动态，以及相当普遍的噪声模型类别。与LTI情形类似，研究人员证明，对于这一般类模型结构（包括NL情形），模型动态可分离为确定性过程与随机噪声部分，从而使得组合模型的复杂度能够在非线性和噪声建模两方面得以无缝调节。研究人员通过人工神经网络（ANNs）对涉及的非线性函数关系进行参数化，尽管也可采用其他参数化非线性映射。为了估计所得的模型结构，研究人员优化了基于预测误差的准则，采用约束拟牛顿法与自动微分的高效组合；与现有最先进的ANN方法相比，训练时间达到秒级，而后者对类似复杂度的模型可能需要数小时。研究人员正式建立了所提方法的一致性保证，并在多个基准LTI、LPV和NL系统辨识问题上展示了其优越的估计精度和计算效率。

系统辨识（system identification）是从数据建立动态模型的重要方法，在控制工程和统计学中应用广泛。线性时不变（Linear Time-Invariant, LTI）辨识理论已成熟，但当模型类扩展到线性参数变化（Linear Parameter-Varying, LPV）和非线性（Nonlinear, NL）系统时，如何高效估计其中的函数关系成为核心问题。现有深度学习方法虽精度高，但训练时间常达数小时甚至数天，且大多忽略或过度简化过程/测量噪声；传统辨识理论中的过程与噪声模型、预测器及估计概念在NL情形下也缺乏统一处理。为此，Bemporad与Tóth提出了一个统一、高效且可证明一致的辨识框架。

研究人员将Ljung的LTI过程/噪声建模框架扩展至一般非线性随机状态空间（state-space, SS）系统，证明了含创新噪声的非线性动态可分离为确定性过程模型G_o与随机噪声模型H_o，且逆噪声模型H_o^?1可解析构造。基于该分离，研究人员用人工神经网络（artificial neural network, ANN）参数化LTI、LPV和NL模型中的非线性函数，并通过L-BFGS-B优化与JAX自动微分（automatic differentiation, AD）求解预测误差最小化（prediction error minimization, PEM）问题。理论上证明了估计量在弱持续激励条件下以概率1收敛到数据生成系统的等价状态空间表示。

关键方法包括：（1）过程/噪声分离定理，将一般非线性随机状态空间模型分解为确定性过程和随机噪声两部分；（2）用前馈神经网络或线性层参数化LTI、LPV和NL模型中的矩阵函数与调度映射；（3）将辨识问题转化为含正则项的非线性优化问题，用L-BFGS-B求解，并以Adam预热、JAX自动微分计算梯度；（4）用组套索（group-lasso）惩罚实现模型结构选择。样本来源为两个仿真基准：不平衡盘系统（训练/测试各N=2000）与控制力矩陀螺仪（CMG）高保真仿真平台（训练N=10⁴、测试N=3×10⁴）。

研究结果如下。

6.1 实现和计算方面
方法在Python 3.11的jax-sysid包中实现，运行于Apple M4 Max；除特别说明外，重复100次随机初始化，按测试集上的最佳拟合率（best fit rate, BFR）选模。

6.2 不平衡盘系统
6.2.1 数据生成系统
该系统为垂直安装的偏心质量圆盘，其非线性来自重力力矩；在零阶保持和欧拉离散化下生成仿真数据，输出为含噪声的角度位置。
6.2.2 LTI情形
将系统线性化并加入Box-Jenkins（BJ）噪声结构后，所提plant-only与combined方法在仿真和预测BFR上均优于Matlab的n4sid和ssest，训练时间仅为0.13s和0.34s，表明联合估计过程与噪声模型可达到与专用LTI方法相当或更优的精度。
6.2.3 外部调度LPV情形
将非线性转换为外部调度LPV形式并加入调度依赖噪声；所提方法的预测性能略优于LPVcore的lpvssest，并明显优于子空间方法lpvidss，验证了直接最小化预测误差?₂损失的优势。
6.2.4 自调度LPV情形
使用p=sinc(x₁)生成数据，并用两层神经网络估计调度映射。结果表明，加入一阶噪声模型可提升测试BFR，且LPV噪声模型略优于LTI噪声模型。
6.2.5 非线性情形
用非线性状态空间模型估计同一数据集；增大网络宽度可提高训练模拟拟合但导致过拟合，加入噪声模型后测试性能显著改善，说明所提方法可扩展至一般NL动态。

6.3 控制力矩陀螺仪（CMG）
6.3.1 数据生成系统
采用高保真CMG仿真模型，锁定红万向架，以蓝万向架电机电流为输入，测量输出为q?₄，飞轮角速度q?₁视为外部输入或调度变量。
6.3.2 LTI情形
所提方法在仅估计过程模型时训练与测试拟合均优于n4sid和ssest；加入噪声模型后测试拟合最高，且未过度牺牲训练拟合。
6.3.3 LPV情形
在自调度和外部调度两种情况下，所提方法仅过程模型的拟合率均优于SUBNET，且训练时间约为SUBNET的0.2%；外部调度下加入噪声模型的性能接近plant-only，且噪声模型被估计为近似零，表明方法能正确识别OE噪声结构。
6.3.4 非线性情形
用含线性直通项的两层FNN参数化动态，并采用LTI噪声模型；与自调度LPV相比，combined模型在训练和测试数据上均有提升。

讨论与结论：该研究从理论上证明，过程与噪声动态的分离参数化可将LTI框架的估计概念推广到一般非线性问题，也支持从LTI、LPV到NL的多种过程与噪声模型谱系联合估计。借助L-BFGS-B与自动微分，方法在计算效率上显著优于基于随机梯度的深度学习方法。除渐近一致性保证外，方法在多个基准上提供与现有最先进方法相当或更优的拟合质量，且超参数调节需求有限。结论部分原文译为：本文引入了一种新颖的一般性辨识方法，其基础是对模型结构中确定性过程与随机噪声动态进行理论上有依据的分离参数化。这不仅允许将LTI框架的估计概念扩展到一般非线性问题，而且能够通过无缝调节模型估计在过程与噪声两方面的复杂度，处理从LTI到LPV和NL动态以及由噪声模型编码的各种噪声场景。由于使用高效的L-BFGS非线性优化和自动微分库，所提方法在通过ANN参数化函数关系估计非线性动态时表现出高计算效率。除渐近一致性保证外，该方法在LTI、LPV和NL辨识中提供了与许多现有最先进方法相当且通常更优的拟合质量，且超参数调节需求有限。研究人员相信，这项工作为新一代系统辨识方法打开了大门，这类方法能够处理广泛的模型类别，同时保持用户熟悉的LTI框架中的简单性和计算效率。