用于动态系统建模的先验模型信息核高斯过程

《Neural Networks》：Gaussian processes with prior-model-informed kernel for dynamical system modeling

　　

• 引入了一种受先前模型启发的新型核设计。
• 将物理模型或模拟器集成到核中。
• 通过校准良好的不确定性估计增强高斯过程（GP）的外推能力。
• 在准确性和不确定性估计方面优于基于均值的模型。
• 在主动学习和强化学习任务中取得更优结果。

**引言**

概率模型因其提供原则性不确定性估计的能力而备受关注 Murphy (2022)。在此类模型中，训练数据覆盖区域的不确定性较低，而未探索区域的不确定性较高。这一特性使它们能够区分状态空间中已知（信息量较少）和未知（信息量大）的区域。因此，概率模型可以指导样本高效的探索 Ladosz et al. (2022); Pathak et al. (2017); Shyam et al. (2019)，并通过减轻模型错误的影响来提高基于模型的控制性能 Deisenroth et al. (2013)。这些优势使它们在下游任务（如基于模型的强化学习（MBRL）和主动学习（AL）Li et al. (2024)）中特别有效。

在概率模型中，高斯过程（GP）因其能够产生校准良好的不确定性估计 Cuzzolin (2025); Psaros et al. (2023)，并能通过均值或核函数灵活地纳入先验知识，而被广泛用于动力系统建模。最成功的 MBRL 算法之一 PILCO Deisenroth et al. (2013)，利用 GP 的不确定性估计来减少规划期间模型错误的影响。这带来了显著的控制性能提升和极高的样本效率。在主动学习动力系统方面，Buisson-Fenet 等人 (2020) 和 Tang 等人 (2022) 利用 GP 的不确定性估计来定义信息增益指标，该指标量化状态 - 动作序列的信息量，从而实现信息样本的获取。

尽管有这些优势，但像许多机器学习模型一样，GP 也面临外推能力差的问题。它们的预测精度在训练区域内很高，但在远离数据的区域会迅速下降。为了解决这个问题，将先验知识纳入学习模型已成为提高泛化能力的有效策略 Fortuin (2022)。例如，物理信息神经网络（NNs）将物理定律嵌入到 NN 中，以用更少的训练样本产生更准确的模型 Karniadakis et al. (2021)。同样，几项研究探讨了将不完美的物理模型纳入 GP 以增强其外推能力。Tang 等人 (Tang, Fujimoto, Maruta, 2021; Tang, He, Yu, 2025) 和 Riedel 等人 Riedel and Stulp (2019) 首先使用拉格朗日方法推导了由常微分方程表示的解析物理模型。然后他们将这些模型用作 GP 的均值函数。通过广泛的模拟，他们证明了具有此类物理信息均值函数（称为 GP-PI-M）的 GP 在外推和预测准确性方面显著优于标准的零均值 GP。然而，GP-PI-M 存在两个关键局限：(1) 在实践中它可能产生过于自信的不确定性估计，以及 (2) 当均值函数不完美时，它可能遭受长视界预测精度的急剧下降。具体来说，当使用物理模型作为 GP 的均值函数时，学习任务变为使用零均值 GP 对真实系统动力学与不完美物理模型之间的残差进行建模。这种残差建模通常会改善外推和单步预测精度。然而，GP-PI-M 的不确定性行为需要仔细解读。对于固定的核超参数，GP 的预测方差并不直接依赖于均值函数。因此，如果 GP-PI-M 在实践中表现出较小的预测不确定性，这不应被解释为残差幅度减小的直接结果。更合适的解释是，引入显式均值函数改变了 GP 所看到的残差学习问题，这进而可能影响超参数学习并在经验上导致过于自信的不确定性估计。此外，在 MBRL 中使用的递归多步预测中，来自不完美均值函数的错误可能会迅速累积，从而降低长视界预测精度。我们将在稍后更详细地讨论这个问题。

大多数现有方法都专注于将物理先验模型纳入 GP 的均值函数。Romeres 等人 Romeres et al. (2016) 提出了一种基于线性物理模型构建核的方法，利用 GP 与贝叶斯线性回归之间的等价性。然而，他们的方法要求物理模型在其参数上是线性的，这限制了其适用性。Long 等人 Long et al. (2022) 提出了一种通用框架 AutoIP，用于将微分方程集成到 GP 中以提高预测精度。AutoIP 首先采样一组满足给定微分方程的配点，并通过解析核微分在目标函数及其导数上构建联合 GP 先验。然后它使用虚拟高斯似然性来纳入物理知识，这鼓励模型符合指定的方程。这种公式化使 AutoIP 能够灵活地纳入任意物理方程，而无需修改核结构。

一些研究还探讨了结合 GP 与 NN 以利用它们互补优势的方法。Iwata 等人 Iwata and Ghahramani (2017) 提出使用 NN 作为 GP 的均值函数（称为 GP-NN-M）。这种公式化允许模型从数据中学习全局非线性趋势，同时依靠 GP 对残差进行建模并提供不确定性估计。Bayrooti 等人 Bayrooti et al. (2025) 将 GP-NN-M 应用于 MBRL，其中 NN 均值函数负责表示复杂的接触动力学（即不连续性）。然而，类似于具有物理信息均值函数的 GP，GP-NN-M 在实践中也可能产生过于自信的不确定性估计。一个更合理的解释是，引入显式 NN 均值函数改变了 GP 所看到的残差学习问题，这可能影响超参数学习并导致更差的不确定性校准。为了增强核本身的表达能力，Wilson 等人 (Wilson, Hu, Salakhutdinov, Xing, 2016a; Wilson, Hu, Salakhutdinov, Xing, 2016b) 提出了深度核学习（称为 GP-NN-K），其中使用 NN 在应用标准核函数之前转换输入空间。这种核设计使 GP 能够在捕获复杂输入结构的学习特征空间中运行。他们的实验表明，这种方法显著提高了预测精度，同时保留了 GP 的不确定性量化能力。

为了将先验知识纳入 GP 框架，同时保留其提供可靠不确定性估计的能力，我们提出将先验模型集成到 GP 的核函数中。对于简单系统，使用拉格朗日公式推导的解析物理模型作为先验模型。对于更复杂的系统，我们使用 MuJoCo Todorov et al. (2012) 或 PyBullet Coumans and Bai (2016) 等物理引擎构建不完美的模拟器作为先验模型。我们的核设计基于先验模型中的相似性意味着真实系统函数中的相似性这一假设。为了将这一想法纳入 GP，我们从基核（即标准核）开始，并使用先验模型转换输入空间，从而得到先验模型信息核。当使用径向基函数核或 Matérn 核作为基核时，所得的先验模型信息核通过在 GP 先验层面为在先验模型空间中相似的输入分配更高的协方差，反映了这种功能相似性假设。在这个意义上，所提出的核将功能相似性假设编码为归纳偏置，而不是证明未知的真实系统函数必须完全满足它。为了进一步提高灵活性，我们添加一个标准核来修正真实系统函数与其先验模型之间的残差差异。这产生了我们的最终模型：具有先验模型信息核的 GP（GP-PI-K）。由于其核级别的先验知识集成，GP-PI-K 表现出强大的外推能力，同时 largely 保留了标准 GP 良好的不确定性行为。使用单步和多步预测精度以及不确定性估计和校准作为评估指标，我们证明 GP-PI-K consistently 优于几个强大的基线模型，包括具有物理信息均值的 GP、标准零均值 GP、具有 NN 均值的 GP 和具有 NN 核的 GP。此外，GP-PI-K 在 AL 和 MBRL 等下游任务中取得了更优的性能。

**章节片段**

**问题表述**

我们考虑学习一个由以下转移函数表示的离散时间动力系统的问题：
$$s_{t+1} = f(s_t, a_t)$$
其中 $s_t \in \mathbb{R}^S$ 表示时间步 t 时的系统状态，$a_t \in \mathbb{R}^A$ 是该步施加的动作。系统函数 f 定义了支配系统演化的未知动力学。通过与系统交互，我们可以收集一组 N 个转移 $\{(s_j, a_j, s_{j+1})\}_{j=1}^N$。对于每个转移，我们定义输入为 $x_j = (s_j, a_j)$，对应的目标为 $y_j = s_{j+1}$。

**现有模型：具有先验模型信息均值的 GPs (GP-PI-M)**

为了提高 GP 的外推能力，一种常见的方法是将先验模型——无论是物理模型还是模拟器——纳入 GP 的均值函数中。这种方法称为具有先验模型信息均值的 GPs (GP-PI-M) Riedel and Stulp (2019); Tang et al. (2025)。当有物理先验模型可用时，GP-PI-M 独立地对动力系统的每个维度 $f_i(x)$ 建模为一个 GP，其均值函数由离散物理模型 $h_i(x; \theta_w)$ 给出：
$$f_i(x) \sim GP(m_i(x) = h_i(x; \theta_w))$$

**动力系统**

我们从 MuJoCo Todorov et al. (2012) 中选择四个具有代表性的连续控制环境作为真实动力系统，如图 2 所示。对于每个系统，我们定义一个相应的先验模型——无论是物理先验模型还是基于模拟器的先验模型——用于所提出的 GP-PI 框架。

(1) 两连杆抓取器 (2-link Reacher)
这是一个两连杆机械臂，状态 $s = [\theta_1, \theta_2, \dot{\theta}_1, \dot{\theta}_2]^T$，其中 $\theta_1, \theta_2$ 是关节角度，$\dot{\theta}_1, \dot{\theta}_2$ 是角速度。动作是一个 2 维力矩向量 $a=$...

**结果与讨论**

对于两连杆抓取器和三连杆抓取器系统，我们对所有基于 GP 的模型采用 RBF 核。对于 Half-Cheetah 和 7-DOF Reacher 系统，我们采用 Matérn 核。所有实验均使用 20 个不同的随机种子重复进行。我们首先评估模型的预测性能，包括单步预测精度、不确定性估计和校准，以及多步预测精度。然后我们评估它们在下游任务中的性能，包括主动学习 (AL)...

**结论**

本文提出了一种新型核设计方法，通过使用解析物理模型或不完美模拟器转换输入空间，从而产生先验模型信息核。这种设计增强了 GP 的外推能力，同时 largely 保留了标准 GP 良好的不确定性行为。实验结果表明，我们提出的模型在模型预测性能和下游...方面 consistently 优于现有的基于 GP 的模型。

**CRediT 作者贡献声明**

唐盛冰：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，指导，软件，资源，项目管理，方法论，研究，资金获取，形式分析，数据管理，概念化。肖陈：数据管理。何斌：资金获取。李娜：方法论，研究，资金获取，形式分析，概念化。

**竞争利益声明**

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本论文报告的工作。

**致谢**

上述工作得到了国家自然科学基金 (Grant 62177024, 62177020)，教育部高等学校基础研究和运行中的 CCNU 自主研究资金 [华中师范大学，Grant No. 30106230029]，以及湖北省先进纤维材料集成技术创新中心开放项目 (Grant no. XC202509) 的支持。

唐盛冰 | 肖陈 | 何斌 | 李娜