基于确定性学习的知识融合新成果

《Neural Networks》：New Results of Deterministic Learning-based Knowledge Fusion

　　

•为具有不同非线性动力学的系统开发了基于确定性学习的融合方法。
•利用RBF局部近似特性构建了加权最小二乘融合模型。
•基于神经元激活的加权方案在保持局部精度的同时提高了泛化能力。
•所提出的融合方案通过ZGS策略扩展为全分布式框架。
•理论上保证了向全局最优融合解的指数收敛。

引言

许多物理现象的动力系统建模通常以具有显著非线性特征的微分方程形式出现Strogatz (2024)，例如材料光学Litchinitser (2018)、机械振动分析Noel和Kerschen (2017)，以及去中心化电网的群体动力学Witthaut等人 (2022)。然而，在解析或数值研究中需要平衡复杂性、效率和可靠性，这使得在实际中对部分或完全未知的非线性动力学建模变得越来越普遍Quaranta等人 (2020)。

如今，丰富的数据使得从数据中识别出足够复杂和精确的动力系统模型成为可能Ren等人 (2023); Robinson等人 (2022)。在非线性动力学识别中，神经网络（NNs）因其万能逼近特性而受到广泛研究Hornik等人 (1989)。在Shi等人 (2019)中，深度神经网络（DNNs）被用于成功捕捉地面效应中的复杂空气动力学。针对存在参数不确定性的永磁同步电机，Lin等人 (2024) 使用径向基函数网络（RBFNs）来逼近其非线性动力学。特别是，循环神经网络（RNNs）及其变体（如长短期记忆网络（LSTMs）、回声状态网络（RC）、分段线性RNNs（PLRNNs））常因其存储单元捕捉长期依赖关系的能力而被用于对时间序列数据进行动态行为建模Johnston等人 (2025); Tanaka等人 (2019)。例如，Salmela等人 (2021) 使用LSTM对光纤中的超快非线性动力学进行建模；Vlachas等人 (2020) 采用RC对高维混沌系统的动力学进行建模；Durstewitz (2017) 则应用PLRNN恢复神经元动力学。神经网络的发展扩展了可用模型的范围，因为系统识别技术能够从输入-输出数据中学习动力系统的数学描述Pillonetto等人 (2025)。然而，如果神经网络无法实现真实/最优参数的收敛，那么对神经识别方法能力的质疑是不可避免的Lu和Basar (1998)。

准确估计真实/最优参数需要持续激励（PE）条件Pan等人 (2017)，然而在实际中PE条件难以甚至不可能先验验证Paruchuri等人 (2022)。与其他神经网络相比，RBFNs已被证明在确保PE条件方面具有前景Kurdila等人 (1995)。最近，一种称为确定性学习的理论C. and J. (2006); Wang, Hill, 2007, Wang, Hill, 2018被提出，该理论使用RBFNs进行非线性动力学识别。通过放宽Kurdila等人 (1995)中的一些假设，确定性学习推导出了非线性动力系统任何周期性轨迹的PE条件。在满足PE条件的情况下，网络实现了真实参数的收敛以及对未知非线性动力学的局部精确逼近。此外，确定性学习被用于从采样时间序列中建模非线性动力学Hu等人 (2021); Wu等人 (2019)。

随后，对未知非线性动力学的建模知识被广泛应用于识别、诊断和控制等下游任务。通过定义系统动力学之间的相似度度量，基于确定性学习的动力学模式识别方法被提出Hu等人 (2023); Wang和Hill (2007); Wu, Wang, Yuan, 2021a, Wu, Zhang, Wang, 2021b，并用于步态识别Zeng和Wang (2012)和ECG心拍分类Dong等人 (2017)等任务。此外，Zhang, Wu, Fu, 2025, Zhang, Wu, Sun, 2024 通过确定性学习对EEG和呼吸气流的系统动力学进行建模，并利用动力学特征提取分别实现对癫痫和睡眠呼吸暂停的检测。在神经控制方面，基于确定性学习理论准确建模的系统动力学被Guo和Xu (2022); Zhao等人 (2022)在控制器中重用，分别实现了直升机和高超音速飞行器的改进控制性能。

然而，确定性学习本质上只能沿输入轨迹实现"局部精确"的动力学建模，而这种"局部"特性将其限制在单一固定环境中的识别和控制任务中。这意味着确定性学习获得的知识仅包含单一动力学模式。同时，确定性学习建模的"精确"特性意味着所建立的局部动力学知识是可靠的。如果局部动力学建模表达的知识能够被融合/重构，那么有望为复杂动力环境建立有效的动力学模型。毫无疑问，由于真实世界的复杂性和多变性，仅包含单一动力学模式的知识无法全面准确地评估和解释动力环境，这迫切要求构建一个包含多样且丰富动力学模式的知识融合系统。通过利用多个模式提供额外和互补的动力信息，融合系统能够执行单一动力学模式无法实现/不可能执行的推理Liggins II等人 (2017)。

最近，一些研究探索了基于确定性学习的知识融合。例如，在存在振荡故障的分布式系统中，Chen等人 (2013) 通过RBFNs沿特定轨迹近似子系统动力学，并通过线性加权组合构建融合网络。然而，这种简单的线性方案在严格保证知识融合的有效性方面面临挑战。为了提高融合质量，Wu等人 (2024) 提出了在子空间约束下的方案，成功整合了跨多条轨迹的知识区域以扩展泛化域。然而，现有框架Chen等人 (2013); Wu等人 (2024)在根本上局限于整合从同一系统提取的动力学知识。这一局限性严重限制了它们在面对具有不同动力学特征的局部模型时、在更复杂环境中的应用。

受上述讨论的启发，本文研究了从不同非线性系统中学习到的不同局部动力学的融合。关键的是，我们不仅仅是将现有方案简单地扩展到更广泛的设置，而是将知识融合任务重新表述为一个严格的优化问题。首先，通过沿统一轨迹对所有学习到的局部模型进行欧氏距离的全局差异度量最小化，定义了一个最优融合模型。这建立了一个基于优化的知识融合。通过求解该优化问题，训练一个RBFN以准确捕捉融合动力学。特别地，为了保持局部近似特性，通过设计加权矩阵对网络权重施加结构约束，确保远离统一轨迹的神经元受到严重惩罚或零权重。此外，该优化公式自然地适合分布式实现。为了避免集中式处理带来的过高的通信和计算开销，我们提出了一种利用零梯度求和（ZGS）策略的分布式融合算法。通过严格的Lyapunov分析，证明了每个局部网络节点仅依赖与相邻节点交换的权重信息，即可指数收敛到精确的全局最优融合状态。总之，本文的主要贡献如下：

•考虑了一类具有不同非线性动力学的动态系统进行知识融合，扩展了现有融合方法Chen等人 (2013); Wu等人 (2024)的假设，后者仅限于相同的系统动力学。
•通过将学习到的局部模型上的全局差异度量进行最小化，将融合问题表述为优化问题，这自然诱导了加权最小二乘公式，其中适当设计的加权矩阵表征了最优融合动力学并提高了所得融合模型的可靠性。
•与Chen等人 (2013); Wu等人 (2024)中的集中式融合算法不同，所提出的知识融合算法通过应用ZGS策略扩展到分布式框架，并且严格证明了分布式算法的指数收敛性。

记号：?表示实数集；???×?? 表示n×m实矩阵的集合；??? 表示n维实列向量的集合；‖x‖表示向量x的欧氏范数；I?表示n×n单位矩阵。λmax(·) 和 λmin(·)分别表示实矩阵的最大和最小特征值。?f是f的梯度。A?表示矩阵A的Moore-Penrose广义逆。

问题描述

考虑一系列未知的非线性动力系统，l=1,?,N，如下所示：

其中下标(·)^(l),i定义为第l个系统的第i个分量。x^(l)=[x^(l),1,?,x^(l),n]?∈Ω 是第l个系统的状态向量，x^(l)(t?)=x^(l);?。Ω??? 是一个紧集，f?(·;p^(l)),?i=1,?,n 表示固有系统动力学，是一个带有参数向量p^(l)的未知光滑函数。与非线性对比

基于确定性学习的知识融合

假设最优融合动力学 f?(·;p*) 能够在统一轨迹 ? 邻域的一个紧集上被RBFN精确逼近：

f?(x;p*)=W?*?S(x)+ε?(x),?x∈Ω_?

其中 W?*∈??? 是理想权重向量，Nn是RBFN的神经元数量，|ε?(x)|≤ε?* 是足够小的逼近误差。我们的目标是获得一个新的网络 W??S(x) 来尽可能准确地沿统一轨迹 ? 逼近 W?*?S(x)，即 W??W?*。

为便于表述，(3)

基于零梯度求和策略的分布式知识融合

当整合大量动力学模式库（即在问题(28)中N较大时）时，集中式融合方法面临显著的计算复杂度和存储开销。为了克服这一限制，有必要引入分布式融合机制，其中每个节点仅依赖本地数据进行计算，并通过有限邻域内的通信交换信息。关键的是，这种去中心化策略确保了在特定条件下，

仿真

在本工作中，不同动力学指在不同系统参数或操作模式下生成的局部模型。R?ssler算例提供了一个受控的参数设置，而级联水箱基准用于在真实非线性操作条件下检验该方法。

结论

本文研究了基于确定性学习的知识融合问题。融合任务被表述为一个优化问题，该问题通过整合从不同个体轨迹中学习到的局部动力学模型来寻求最优融合动力学。基于确定性学习，每个非线性系统动力学沿其轨迹由RBFN进行局部逼近。为构建全局表征，最优融合动力学由一个新的RBFN逼近。

数据和代码可用性

所提出方法的实现和仿真代码可在以下地址获取：https://github.com/zjy1642160761-hub/New-Results-of-Deterministic-Learning-based-Knowledge-Fusion.git

CRediT作者贡献声明

张锦元：撰写——初稿、可视化、软件、方法论。吴为民：撰写——审阅与编辑、可视化、验证、监督、软件、方法论。郭俊楠：可视化、验证、数据管理。胡景涛：验证、形式化分析、数据管理。段强：验证、软件、数据管理。王聪：监督、资源、项目管理、资金获取、形式化分析、数据管理、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢

本工作部分由国家自然科学基金（编号62350083和62203263）支持，部分由山东省自然科学基金（编号ZR2022QF062）支持。

张锦元|吴为民|郭俊楠|胡景涛|段强|王聪