D-Flow SGLD：基于流匹配的科学逆问题源空间后验采样

《Journal of Computational Physics》：D-Flow SGLD: Source-Space Posterior Sampling for Scientific Inverse Problems with Flow Matching

　　

## 摘要

数据同化和科学逆问题需要从稀疏且有噪声的观测中重建高维物理状态，理想情况下应获得具有不确定性感知能力的后验样本，并保持对已学习先验和 governing physics 的忠实性。虽然训练无关的条件生成在扩散模型中已得到充分发展，但针对流匹配（FM）先验的相应条件设置和后验采样策略仍相对研究不足，尤其是在科学基准问题上，保真度评估必须超越测量失配。在本工作中，我们研究了 FM 先验下科学逆问题的训练无关条件生成，并根据测量信息注入的位置对现有推理时策略进行了组织：(i) 引导的输运动态，利用似然信息扰动采样轨迹；(ii) 源分布推理，在执行后验推理的同时保持已学习的输运固定。基于后者，我们提出了 D-Flow SGLD，一种源空间后验采样方法，通过将可微分的源推理与预条件随机梯度朗之万动力学相结合，使得无需重新训练先验或修改已学习的 FM 动力学，即可可扩展地探索由新测量算子诱导的源后验。我们在一系列问题上对来自两个家族的代表性方法进行了基准测试：2D 玩具后验、混沌 Kuramoto–Sivashinsky 轨迹以及壁面湍流重构。在这些设置中，我们量化了测量同化、后验多样性和物理/统计保真度之间的权衡，并将 D-Flow SGLD 确立为科学逆问题的实用 FM 兼容后验采样器。

## 引言

科学推断任务，如数据同化和逆问题，旨在从间接、稀疏且有噪声的观测中重建未知的高维物理状态。在许多情况下，正向映射是已知的（例如，测量算子、数值求解器或传感器模型），但状态的后验分布仍然是高度非高斯和多峰的，这使得基于采样的贝叶斯工作流在不确定性量化（UQ）方面在计算上具有挑战性 [1]。近年来，深度生成模型作为强大的数据驱动先验，能够表示科学场、轨迹和湍流波动的复杂分布 [2]、[3]、[4]。除无条件生成外，实际的科学使用通常需要条件生成：同时满足以下条件的状态采样：(i) 与观测或约束一致，且 (ii) 在已学习的先验下（以及在适用时，在 governing physics 下）合理 [2]、[5]、[6]。

基于分数的扩散模型和相关去噪生成器在科学代理和条件重构中取得了引人注目的结果 [7]、[8]、[9]、[10]、[11]、[12]。在逆问题中的一个关键吸引力是能够在测试时复用无条件先验并施加新的观测模型，从而避免为每个正向算子或传感配置重新训练 [5]、[13]。这种训练无关（或零样本）的条件范在科学应用中特别具有吸引力，因为在每种测量设置中配对训练数据不可用，且希望在变化的实验条件下探测后验不确定性 [14]、[15]、[16]。

在最近的生成范式之中，流匹配（FM）为连续时间生成模型提供了一种无需模拟的训练目标，通过在简单源分布和数据分布之间的规定概率路径上回归时变向量场 [17]。FM 将扩散型概率路径作为特殊情况包含在内，也支持替代路径族（例如，最优输运启发的构造），这可以在训练鲁棒性和采样效率方面根据所选路径和数值求解器带来有利的实际权衡 [18]。尽管前景广阔，FM 在科学应用中的研究仍较少，仅在 PDE 驱动系统、物理约束采样和湍流重构方面有少量但增长的研究 [4]、[19]、[20]、[21]、[22]。更重要的是，对于逆问题而言，训练无关的条件生成，即在不重新训练的情况下将固定的预训练先验条件于新测量算子，在扩散模型中已建立完善 [5]，但在 FM 中相对发展不足 [4]，尤其是在超越测量失配的科学保真度要求下。因此，目前仍不清楚现有的 FM 兼容条件策略在不同算子和噪声体制下的表现如何，以及哪种方法最能保持物理相关的结构和统计。这一差距激励了 (i) FM 框架内训练无关条件方法的系统性基准测试，以及 (ii) 针对科学数据集的可扩展 FM 兼容后验采样器。

现有的训练无关方法可以根据推理时测量信息注入的位置进行组织：(i) 引导的输运动态（轨迹级条件）与 (ii) 源分布推理（源空间条件）。两个家族都旨在从观测模型诱导的后验中采样；它们的区别在于条件设置是否修改生成过程中的输运动态，还是在进行推理时保持已学习的输运固定，对源变量/分布进行推理。第一族通过使用似然信息扰动采样动态来条件生成，与扩散后验采样和基于引导的求解器密切相关 [5]、[13]。在实践中，这些方法修改生成 ODE/SDE（或其离散化更新）的漂移，使得演化的样本持续被拉向测量一致的区域，从而产生一个与引导结合的积分过程，而不是重新训练先验 [23]、[24]、[25]。代表性实例包括即插即用式的流引导 [26] 和控制似然注入强度沿轨迹退火式的时间表 [25]。最近的扩展还结合了无梯度或基于粒子的机制以提高鲁棒性和多样性 [14]、[27]。虽然在许多图像修复问题中有效，但动态级引导在科学设置中可能很敏感：强执行测量一致性可能将中间状态驱动到已学习先验支持不足的区域，并可能使跨尺度保持物理有意义的结构复杂化。第二族保持已学习的输运动态固定，而不是对初始化输运映射的源场进行推理，寻求一个其推前向生成测量一致状态的源后验 [28]、[29]、[30]、[31]、[32]。D-Flow 等方法通过 ODE 求解器进行微分来优化源 [29]，而相关方法利用一致性模型进行高效的源优化 [28]。最近的工作探索了使用随机动态 [30] 或无梯度推理 [32] 进行源引导以估计源后验。从理论上讲，这种范式对科学问题很有吸引力，因为条件样本仍然是预训练输运的确切输出，但它引入了在重复前向/伴随求解的成本与需要良好混合的多样化后验集合之间的实际权衡。

在本工作中，我们研究了 FM 框架下科学逆问题的训练无关条件生成，并解决了缺乏保持物理相关结构的可扩展后验采样方法的问题。具体而言，我们 (i) 提供了 FM 先验代表性训练无关条件策略的系统性基准测试，涵盖引导的输运动态和源分布推理，并在区分测量同化与先验/物理保真度的互补标准下对其进行评估；以及 (ii) 引入 D-Flow SGLD，一种源空间后验采样方法，通过将可微分的源推理与预条件随机梯度朗之万动力学（SGLD）[33] 相结合，使得无需修改已学习的 FM 动力学或重新训练先验，即可高效探索由新测量算子诱导的源后验。我们在一系列逆问题上验证了这些想法，包括具有高质量参考后验的 2D 玩具问题、具有 PDE 残差保真度的混沌 Kuramoto–Sivashinsky 轨迹，以及具有频谱诊断的壁面湍流重构，从而澄清了动态级引导与源空间推理何时更可靠，并为科学逆问题提供了实用的 FM 兼容后验采样器。

## 章节片段

### 方法论

我们使用预训练的无条件流匹配先验研究训练无关的贝叶斯逆问题。给定从代表性数据学习的生成输运映射，我们的目标是在不重新训练生成模型的情况下近似由部分和有噪声观测诱导的后验分布。我们根据测量信息进入生成过程的位置组织推理时的条件设置：(i) 速度场引导，在采样过程中修改输运动态……

### D-Flow SGLD：源空间后验采样

速度场引导（第 2.3 节）通过扰动预训练的输运动态来执行测量一致性。虽然有效且完全无需训练，但这种策略引入了实际权衡：条件轨迹取决于引导时间表和强度，且修正方向通常由在去噪预测器上评估的即插即用似然梯度构建。因此，激进的引导可能会使采样路径产生偏差，增加路径长度（因此……

### 数据生成

我们在三个数据集上评估训练无关的条件设置，这些数据集跨越了递增的维度和物理复杂度。在所有情况下，生成先验在无条件训练集上训练，而条件生成则在来自同一分布的保留验证集上进行。

**玩具分布**：我们考虑两个标准的二维基准：S 曲线和双月亮分布。对于每个数据集，我们抽取 10,240 个 i.i.d. 样本来训练流匹配先验；

### 讨论

本节提供了 D-Flow SGLD 为何能产生鲁棒的条件样本同时保持计算可扩展性的机制洞察。使用玩具问题，我们首先利用 OT-CFM 的可逆性来可视化条件解决方案如何在源分布中表示。这一视角揭示了确定性源空间优化（D-Flow）的一种失败模式：激进的执行测量一致性可能会将解决方案推入源先验的低密度区域，这……

### 结论

我们使用预训练的 FM 先验研究了科学逆问题的训练无关条件生成，重点是在部分和有噪声观测下保持对已学习物理结构忠实的后验采样。我们将推理时的条件策略组织为两个家族：(i) 速度场引导，通过在采样过程中扰动输运动态来注入似然信息；(ii) 源空间推理，保持已学习的输运映射……

### 生成式 AI 使用声明

在本工作准备期间，作者使用了像 ChatGPT 这样的大型语言模型来润色语法并提高手稿的可读性。

### 竞争利益声明

作者声明以下财务利益/人际关系，这些可能被视为潜在竞争利益：鉴于其作为副主编的角色，共同作者 Jian-Xun Wang 没有参与本文的同行评审，也没有获得有关其同行评审的信息。本文的编辑过程全部责任委托给了另一期刊编辑。如果有其他作者，他们声明没有已知的竞争……

### 未引用的图表

图 3、图 H5、图 H2、图 H3、图 H4

### CRediT 作者贡献声明

Meet Hemant Parikh：撰写 - 原稿，可视化，方法论，调查，数据管理，概念化。Yaqin Chen：撰写 - 原稿，验证，方法论。Jian-Xun Wang：撰写 - 审阅与编辑，监督，资源，项目管理，资金获取。

### 竞争利益声明

鉴于其作为副主编的角色，共同作者 Jian-Xun Wang 没有参与本文的同行评审，也没有获得有关其同行评审的信息。本文的编辑过程全部责任委托给了另一期刊编辑。

Meet Hemant Parikh | Yaqin Chen | Jian-Xun Wang