基于变分深度核学习与一阶原理ODE融合的数据稀缺场景概率混合建模

《Computers & Chemical Engineering》：Probabilistic hybrid modeling in data-scarce regime via integration of first-principles ODEs with variational deep kernel learning

　　

本研究提出了一种在数据稀缺条件下进行概率混合建模的框架，该框架通过将一阶原理常微分方程（first-principles ODEs）与变分深度核学习（variational deep kernel learning, DKL）相融合来实现。具体而言，研究人员将一种概率性深度核闭合（probabilistic deep-kernel closure）嵌入到一阶原理ODEs中，从而能够从稀疏轨迹中恢复未知动力学，并提供校准后的不确定性估计。通过采用稀疏变分推断（sparse variational inference），使得积分器在环训练（integrator-in-the-loop training）变得可行。实验结果表明，在低数据（low-data）场景下，该方法在性能上优于其他竞争性的概率闭合模型。

研究背景与问题

传统的过程建模主要通过两种互补范式展开：一是基于一阶原理模型（first-principles models, FPMs），其根植于输运现象、热力学、反应工程和守恒定律，具有强可解释性、物理一致性和可靠的泛化能力，但在研发阶段，控制机制往往不完全已知，导致所需的构效关系不确定或缺失。二是数据驱动模型（data-driven models, DDMs），依赖机器学习直接从实验或运行数据中学习系统行为，灵活且表达力强，但在低数据（low-data）场景下，由于缺乏物理归纳偏置，预测可靠性显著下降，尤其在观测域外表现不佳。混合建模（hybrid modeling）试图结合两者的优势，用FPM提供物理一致性骨架，用DDM恢复缺失的物理机制。然而，传统混合建模隐含假设训练数据足够丰富以覆盖感兴趣的操作域，这在早期过程开发中经常被违反——获取的数据过于稀疏且分布狭窄，无法跨越相关区域。在此低数据场景下，预测误差主要由认知不确定性（epistemic uncertainty）主导，而确定性混合模型无法指示代理何时在其训练域外推，导致动态系统中误差沿轨迹无声累积。因此，亟需转向能够提供原则性不确定性量化（uncertainty quantification, UQ）的概率混合架构。

研究内容与结论

为解决上述挑战，研究人员开发了一种基于深度核学习（deep kernel learning, DKL）的概率混合建模框架。该框架利用DKL作为混合模型中的数据驱动组件，使其既能恢复未建模的物理机制，又能提供原则性的预测不确定性量化。这一架构对低数据应用特别有吸引力，因为它将表征学习与函数空间的不确定性量化相结合。通过神经网络学习系统状态的非线性变换，将复杂的非平稳动力学映射到一个特征空间，在该空间中简单的高斯过程（Gaussian process, GP）核可以有效建模潜在关系。GP在学习的特征空间中定义了未知函数的贝叶斯先验，基于数据对该先验进行条件化后得到后验分布，从而同时提供预测和不确定性估计。这些不确定性估计在数据不支持的区域自然扩大，在观测丰富的区域收缩。由于这种贝叶斯后验推断必须在训练过程中反复与数值积分耦合，将DKL嵌入混合动力系统模型的计算成本较高，因此研究人员采用稀疏变分近似（sparse variational approximation）来使概率DKL训练在提出的混合建模框架内变得可行。两个案例研究表明，该框架在低数据场景下优于其他竞争性概率闭合模型。

关键技术与方法

1. 1.
   系列混合逆问题（series-hybrid inverse problem）公式化：将未知的本构关系视为待恢复的函数，建立由已知机械关系与未知闭合项组成的常微分方程组（ODEs）逆问题。
2. 2.
   变分深度核学习（variational deep kernel learning, DKL）：采用深度核作为数据驱动闭合，其中神经网络特征提取器将原始状态映射到隐空间，再在该空间应用一个基核（如RBF核）的高斯过程，从而联合学习特征表示与函数空间不确定性。
3. 3.
   稀疏变分推断（sparse variational inference）：引入诱导点（inducing points）来近似真实后验，使积分器在环（integrator-in-the-loop）的训练过程在计算上可行，避免全GP所需的昂贵矩阵求逆。
4. 4.
   积分器在环训练：在每次优化迭代中，将当前的DKL闭合代入ODE并进行数值积分，计算预测轨迹与观测之间的似然，并通过反向传播更新网络和核参数。

研究结果

• •
  第2节 相关工作：梳理了概率混合建模的发展脉络，指出早期的输出级校正（如Kennedy-O'Hagan风格）无法影响中间状态演化，而嵌入式的概率闭合（如BSS-ANOVA GP + MCMC）计算代价高昂。相比之下，深度核提供了兼具GP函数空间不确定性与神经网络灵活性的可行方案。
• •
  第3节 预备知识：FPM-DDM混合模型与不确定性目标：正式定义了自治连续时间动力学系统，其中已知机理函数 f 包含未知本构关系 g，观测模型为带加性噪声的线性映射。由此引出核心逆问题：从稀疏状态轨迹中推断未知函数 g 及其后验不确定性。
• •
  第4节 方法论：变分DKL解：详细推导了如何将DKL作为概率闭合嵌入ODE。首先定义深度核结构：φ(x; w) 为神经网络特征映射，基核 k(φ(x?), φ(x?)) 构成GP先验。然后通过稀疏变分法近似后验，引入诱导点集合 Z 及其对应函数值 u，构造变分分布 q(u) = ??(m, S)。最终优化证据下界（evidence lower bound, ELBO），该ELBO包含数据拟合项与KL散度正则项，训练时需在每个批次中对ODE进行数值积分。
• •
  第5节 案例研究：通过两个案例评估框架性能。第一个案例为合成化学反应系统，第二个案例为生物过程模型。在每种情况下，将所提FPM-DKL方法与纯GP闭合、确定性神经网络闭合等基线进行比较。结果显示，在低数据场景下，FPM-DKL不仅提供了更准确的预测均值，还输出了校准良好的不确定性区间，而确定性方法在外推时产生了严重偏差且无法自我警示。

总结与讨论

讨论部分指出，所提出的概率混合建模框架有效解决了早期过程开发中数据稀缺的核心瓶颈。通过将变分深度核学习嵌入一阶原理ODE，研究人员实现了对未知本构关系的函数空间推断，同时保持了计算上的可行性。与现有的概率闭合方法相比，该方法在低数据场景下展现出优越的性能和更可靠的不确定性量化。结论部分强调，该框架为后续的优化、控制和实验设计等下游决策任务提供了坚实的基础，因为其输出的不仅是点预测，还包括可信的不确定性范围。未来工作方向包括将该框架扩展到非自治系统、处理更高维的状态空间，以及探索更高效的变分推理策略以进一步提升计算效率。