通过潜在增强神经常微分方程学习具有奇点的简化系统动力学

《Engineering Applications of Artificial Intelligence》：Learning reduced-order dynamics with singularity via Latent-Augmented Neural Ordinary Differential Equations

　　摘要

本文探讨了工业降阶建模中（在相空间中）自相交轨迹的问题，并提出了潜在增强型神经常微分方程（LA-NODEs）框架。从人工智能的角度来看，所提出的方法增强了传统的神经常微分方程的表达能力，使得能够表示降阶系统中可能出现的冲突矢量场，从而提高了学习精度。通过理论分析，建立了该框架的机制，并推导出了确定所需最小增强维数的条件。从工程应用的角度来看，通过两个代表性工业模型的降阶系统验证了所提方法的有效性，即内嵌永磁同步电机（IPMSM）驱动器和分布式能源系统（DES）。实验结果表明，所提出的方法可以恢复使用传统方法难以捕获的系统特征，并在预测精度和建模忠实度方面表现出更好的性能，从而为复杂工业系统的高精度数据驱动建模提供了一种有效方法。

引言

在实际的工业过程中，高维、强非线性和计算成本高昂的模型往往难以用于实时优化和模型预测控制任务（Talib等人，2025年；Zhao等人，2025年）。因此，通常采用模型降阶方法来推导出低维且计算效率高的替代模型（Otto等人，2023年；Bayer等人，2025年）。这种类型的降阶系统建模问题通常使用数据驱动方法来解决，以构建替代动态模型。数据驱动的系统建模在现代工程中变得越来越重要，其关键应用范围涵盖自主机器人到复杂的能源网络等（Samadian等人，2025年；Zamzam等人，2019年；Wang等人，2026年）。作为通用函数逼近器，神经网络（NNs）能够直接从原始数据中学习复杂的非线性映射，这使它们成为系统识别的强大工具（Pillonetto等人，2025年；Valarmathi等人，2025年；Ruan等人，2025年；Shen等人，2026年）。与基于物理定律离散逼近的传统建模方法相比，连续时间建模可能提供了对系统演变的更真实描述，具有更高的忠实度和时间一致性（?elikkanat等人，2024年；Yuan等人，2022年）。在这一领域的一项重要工作是引入了神经常微分方程（NODEs）（Chen等人，2018年），它将残差网络（ResNets）（He等人，2016年）解释为连续时间动态系统的离散化。这种范式的转变使得深度学习与微分方程的丰富理论框架能够顺利结合。NODEs的固有可扩展性促进了广泛的研究，产生了多样的架构（Shankar等人，2020年；Chen等人，2024年；Li等人，2022年）。除了这些基础工作外，Mei等人（2024年）最近的工作引入了ControlSynth NODEs（CSODEs），它增强了标准NODEs的表达能力，并在建模复杂物理系统方面表现出更好的性能。

现有研究表明，数据驱动方法仅使用有限的可观测数据就可以构建等价的动态模型，而无需完全访问系统状态（Long等人，2020年；Vahidi-Moghaddam等人，2025年）。然而，虽然这样的降阶程序提高了计算效率，但往往是以牺牲原始模型的几何结构、动态特性和数值鲁棒性为代价的。具体来说，当高维系统动态被投影到低维观测空间时，可能会出现非单射映射，即多个潜在状态对应于相同的观测值。在轨迹层面，这表现为自相交现象。这种现象可能会削弱所得模型的物理一致性和解释性。尽管许多NODE变体提高了性能，但它们主要关注的是输入维度，而对输出维度的关注较少。这引入了一个潜在的限制：几乎所有的NODE变体都依赖于数值ODE求解器来积分动态，并且它们本质上假设矢量场是状态的单一值函数。因此， Neither NODEs nor CSODEs 能够准确捕获表现出自相交的系统轨迹：即单个状态点允许多个不同运动方向的情景，本文将其定义为“奇异性”。虽然引入显式的时间依赖性可以在理论上消除这些方向上的歧义，但这要求模型以极高的时间精度学习映射，这在计算上往往是难以实现的。此外，在许多工业应用中，导致奇异性的潜在变量并不仅依赖于时间；因此，仅将时间视为额外输入是不足以解决这种拓扑模糊性的。

为了应对这些挑战，Dupont等人（2019年）和Norcliffe等人（2020年）提出了增强型NODEs（ANODEs）框架。然而，ANODEs主要是为分类任务设计的，现有文献缺乏关于动态系统建模所需增强维数的必要性和选择的全面理论分析。受这些限制的启发，本文提出了潜在增强型神经常微分方程（LA-NODEs）框架。通过增加维度，LA-NODEs解决了奇点处的矢量场歧义，从而使框架能够恢复真实的系统动态。我们建立了所需增强维度与至少具有一个奇点的轨迹的几何属性之间的正式联系。

本文的主要贡献总结如下：
- 我们证明了在使用经典NODE框架学习降阶动态系统时，如果观测数据中存在奇点，逼近误差无法任意减小。特别是，我们展示了由于奇点处潜在动态的多值性质，自主NODEs不可避免地会产生非零的训练误差，这导致了根本的学习限制。
- 我们提出了潜在增强型神经ODE（LA-NODE）框架，该框架引入了可学习的潜在动态，将系统提升到更高维度空间。这种增强解决了由奇点引起的多值性问题，并理论上使模型能够实现零训练误差，从而克服了自主NODEs的根本限制。
- 对于实际训练，我们研究了如何选择解决奇点所需的最小潜在维度。我们展示了LA-NODE的有效性取决于增强空间是否具有足够的自由度来表示奇点处的局部速度结构。具体来说，我们根据速度集的秩得出了所需增强维数的下限，该秩表征了奇点的内在复杂性。这一结果为增强维度选择提供了一个原则性的指导，揭示了模型表达能力和计算效率之间的权衡。

本文的其余部分组织如下。第2节介绍了本文要解决的主要问题。第3节正式定义了奇点问题，并指出了妨碍这些架构建模此类现象的理论约束。它还阐明了维度增强方法的基本原理。第4节详细介绍了所提出的LA-NODEs框架，并展示了相关的理论推导。第5节和第6节分别通过工业案例研究和增强维度的敏感性分析，评估了框架的性能和理论发现的有效性。最后，第7节总结了这项研究，并为未来的研究指出了潜在的方向。

问题表述

神经常微分方程（NODEs）提供了一个从观测数据近似连续时间动态系统的框架。考虑一个由 ????(??)=???(???(??)) 支持的真实系统，其中 ???(??)∈??? 是状态向量，??:???→??? 表示未知的矢量场。NODEs 使用参数为 ?? 的神经网络 ???? 对矢量场进行参数化，即 ?????(??)=?????(????(??),??)。

在许多实际场景中，目标是学习自主动态，例如（1）。在这种情况下，时间依赖的...

自主NODEs的学习限制

本节正式定义了上述问题，并提出了一个引理，证明自主NODEs（3）从根本上无法一致地表示此类数据，必须遇到非零的训练误差。这些构成了本工作的一部分贡献。

提出的方法：潜在增强型NODEs

为了解决引理1中展示的局限性，并受到CSODE（Mei等人，2024年）工作的启发，本文提出了潜在增强型神经ODE（LA-NODE）框架，该框架能够高精度地学习具有至少一个奇点的系统的动态。主要潜在架构可以表述为一组耦合的微分方程：????(??)=???0?[???(??)???(??)]+??∑??=1(?????)????????(??????[???(??)???(??)]，????(??)=?????(???(??),???(??))。其中 ???(??)∈??? 是观测状态，???(??)∈??? 表示...

实验

我们选择了两个工业动态示例：内嵌永磁同步电机（IPMSM）驱动器（Ahn等人，2020年）和分布式能源系统（DES）（Espín-Sarzosa等人，2023年）。在特定操作条件下，它们的两个降阶系统表现出不同的奇点特性，包括双轨迹和三轨迹奇点，分别对应于奇点点允许两个或三个不同速度方向的情景。

增强维度的敏感性分析

如上所述，学习DES的动态需要LA-NODEs的增强维度满足 ??≥2。为了评估这一理论约束的重要性，本节对模型性能进行了敏感性分析，考察了 ?? 从1到5的变化情况。图8展示了在不同增强维度下框架的学习性能。一般来说，随着 ?? 的增加，误差会减小，除了 ??=4→??=5 的情况。然而，这一结果仅反映了绝对误差...

结论

本文提出了潜在增强型神经常微分方程（LA-NODEs）框架，该框架通过增加潜在状态维度来解决标准ControlSynth NODEs（CSODEs）的一个重要限制，使得能够学习具有轨迹奇点的降阶动态系统。一个关键的理论贡献是建立了确定所需最小增强维数的明确标准，确保了模型表达能力和计算效率之间的平衡。

CRediT作者贡献声明

Wang Xiaorui：撰写——原始草稿，可视化，验证，软件，方法论。
Zhou Yu：撰写——原始草稿，监督，方法论，调查，概念化。
Mei Wenjie：撰写——审阅与编辑，监督，项目管理，方法论，资金获取，概念化。
Zheng Dongzhe：撰写——审阅与编辑，资源。
Bai Yang：撰写——审阅与编辑，资源。
Nagahara Masaaki：撰写——审阅与编辑，资源。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Wenjie Mei 报告称获得了国家自然科学基金的支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（NSFC）在Grant 62403125项目下的支持，部分得到了江苏省自然科学基金在Grant BK20241283项目下的支持。本工作还得到了JST ASPIRE项目Grant Number JPMJAP2402的支持。

作者列表：
Wang Xiaorui | Zhou Yu | Mei Wenjie | Zheng Dongzhe | Bai Yang | Nagahara Masaaki

兰州工业大学，自动化与电气工程学院，中国甘肃省兰州市730050