《Data-Centric Engineering》：Neural delay differential equations: learning non-Markovian closures for partially known dynamical systems
编辑推荐：
近期在从数据中学习动力系统方面取得的进展显示出巨大潜力。然而，许多现有方法假设能访问系统的完整状态——这一假设在实践中很少成立，因为系统通常通过有限数量的传感器进行监测，导致部分可观测性。为应对这一挑战，研究人员从Mori–Zwanzig形式（MZ形式）中汲取
近期在从数据中学习动力系统方面取得的进展显示出巨大潜力。然而，许多现有方法假设能访问系统的完整状态——这一假设在实践中很少成立，因为系统通常通过有限数量的传感器进行监测，导致部分可观测性。为应对这一挑战，研究人员从Mori–Zwanzig形式（MZ形式）中汲取灵感，该形式提供了隐藏变量与记忆项之间的理论联系。受此视角启发，研究人员引入了一个恒定延迟的神经延迟微分方程（NDDEs）框架，提供了一种直接从数据学习非马尔可夫动力学的连续时间方法。这些记忆效应通过一组有限的时延来捕捉，这些时延通过伴随方法进行识别。研究人员在一系列数据集上验证了所提出的方法，包括合成系统、混沌动力学以及实验测量，例如Kuramoto–Sivashinsky方程和腔流实验。结果表明，NDDEs在部分观测系统上优于现有方法，包括长短期记忆（LSTM）网络和增强型神经常微分方程（ANODEs）。总体而言，NDDEs为在部分可观测性下建模非马尔可夫动力学提供了一个有原理且数据高效的框架。本文附有一个开源实现。
**论文解读文章：神经延迟微分方程在部分观测动力系统建模中的应用**
**研究背景**
在许多科学和工程领域，准确描述动力系统的演化至关重要，涉及生物学、气候研究或金融等。通常假设系统由常微分方程（ODE）模型（如公式1.1）控制，但实际中完整状态往往不可得，仅能通过有限传感器获得少量观测，导致部分可观测性。现有方法如神经常微分方程（NODEs）和增强型NODEs（ANODEs）假设全状态可用，或依赖隐状态变量（如LSTM）来补偿缺失信息，但缺乏可解释性或计算效率。此外，系统可能具有非马尔可夫性，即演化不仅取决于当前状态，还依赖于历史。Mori–Zwanzig（MZ）形式提供了一个理论框架，将动力学分解为马尔可夫项、记忆项和噪声项，但直接计算记忆积分项非常困难。因此，需开发一种既能利用历史信息又保持连续时间和可解释性的方法。
**研究内容与结论**
研究人员提出了一种常量延迟神经延迟微分方程（NDDEs）框架，受MZ形式和Takens嵌入定理启发，通过有限个可学习的时延近似非马尔可夫记忆效应。研究表明，对于光滑动力系统和可微观测，存在精确的有限时延表示（命题2.1）。学习过程中，时延值通过伴随方法（命题3.1）进行端到端优化，避免了固定延迟的局限性。模型在合成系统（种群动态模型、Brusselator）、混沌系统（Kuramoto–Sivashinsky方程）和实验数据（腔流压力和POD-Galerkin降阶模型）上验证，结果显示NDDEs在预测精度上优于LSTM、NODE、ANODE和Latent ODE（如表2），尤其在混沌和噪声环境中保持统计一致性（如图9）。在低数据降阶模型（ROMs）中，NDDEs作为闭合项显著改进马尔可夫模型（如表4）。该研究发表在《Data-Centric Engineering》，并伴随开源实现torchdde。
**主要技术方法**
关键方法包括：（1）基于MZ形式和Takens定理的精确有限时延近似（命题2.1），确保NDDE能精确表示非马尔可夫动力学；（2）可学习的常量时延，通过伴随方法（命题3.1）联合优化模型参数和时延，避免手动设定；（3）数值求解器（如Dopri5）和DDE伴随方程的推导，实现高效梯度计算；（4）课程学习策略：从短轨迹逐步增加长度以提高训练稳定性。样本队列来源包括合成数据和实验数据（腔流实验，基于雷诺数Re=9190的开放腔流）。所有代码和库（torchdde）开源。
**研究结果**
**4.1 动力系统**
定义了四类测试系统：种群动态模型（单标量DDE）、Brusselator（双物种反应扩散，部分观测u1）、Kuramoto–Sivashinsky（KS，混沌PDE，部分观测5个空间点）和开放腔流实验（压力传感器单点观测）。数据集划分70%训练、10%验证、20%测试。
**4.2 结果**
**种群动态模型**：NDDE成功学习延迟值并准确重建轨迹（图4、图5），展示延迟可收敛于合理区间（约0.8–1.4）。
**Brusselator**：除NODE外所有模型均良好预测，NDDE和Latent ODE稍逊于LSTM和ANODE（MSE=0.016 vs 0.005），但NDDE在延长五倍积分时段后保持最佳长期稳定性（图7）。
**KS系统**：NDDE平均测试MSE最低（0.28±0.024），概率密度函数匹配真实分布（图9），最大Lyapunov指数（λ
max）估计最接近真实值0.129（表3，NDDE=0.128）。
**腔流**：NDDEMSE最低（0.13±0.012），在噪声数据中有效提炼历史信息；学习延迟一致优于固定延迟（图11）。
**4.3 降阶模型（ROMs）闭合建模**
基于4、8、10个POD模态的Galerkin降阶模型，NDDE闭合项在所有数据 regime 中均优于ODE闭合项和CD-ROM（连续指数衰减记忆），尤其4模态时MSE从13.61降至3.39（表4），并通过空间场重建展示误差显著降低（图13）。
**总结讨论**
研究人员引入的NDDEs框架，在MZ形式和Takens定理的理论基础上，提供了一种有原理且数据高效的非马尔可夫动力学建模方法。实验表明，可学习的有限时延足以近似记忆项，伴随训练方法高效。与LSTM、ANODE等相比，NDDEs在保持较小参数量的同时，在部分观测系统上取得更优或相当的性能，且具有物理可解释性（延迟可对应系统时间常数）。研究结论翻译如下：
**研究结论**
总体而言，神经延迟微分方程为复杂非马尔可夫动力系统提供了一种理论依据充分且计算高效的替代方案，能够替代传统的循环和隐状态神经模型。未来研究将进一步泛化该框架；虽然高估延迟数量不影响最终性能，但严格确定最优延迟数量仍是一个挑战。一种可能更合理的估计方法是促进过去数据与未来预测之间的延迟互信息（参见Fraser and Swinney, 1986）。
