《Journal of Computational Physics》：IEnSF: Iterative Ensemble Score Filter for Reducing Error in Posterior Score Estimation in Nonlinear Data Assimilation
编辑推荐：
摘要集合得分滤波器（EnSF）是一种基于得分的扩散模型方法，用于解决高维和非线性数据同化问题。虽然EnSF在Lorenz-96模型和准地转系统上的初步应用显示出潜力，但当前方法采用启发式加权求和来结合先验概率和似然得分函数。这在非线性环境中引入了结构误差。本研究通过开发一种迭代集
摘要
集合得分滤波器（EnSF）是一种基于得分的扩散模型方法，用于解决高维和非线性数据同化问题。虽然EnSF在Lorenz-96模型和准地转系统上的初步应用显示出潜力，但当前方法采用启发式加权求和来结合先验概率和似然得分函数。这在非线性环境中引入了结构误差。本研究通过开发一种迭代集合得分滤波器（IEnSF）来应对这一挑战，该滤波器在逆时间随机微分方程求解器的外层循环中应用迭代算法。当状态动力学或观测算子非线性时，迭代算法可以通过提高似然得分函数条件期望的精度来逐步减少后验得分估计的误差。所需的迭代次数取决于先验分布和后验分布之间的距离。数值实验表明，IEnSF算法显著降低了非线性环境中的后验得分估计误差，从而提高了跟踪高维动态系统的准确性。
引言
数据同化（DA）是将嘈杂和部分观测数据整合到复杂的动态系统中的过程，这些系统通常是高维、非线性的，并且可能具有混沌特性，以获得系统状态的改进估计。它在广泛的科学和工程应用中发挥着核心作用，包括天气预报、气候建模、材料科学和生物学[1]、[2]、[3]。为了应对数据同化问题，开发了基于非线性滤波的方法，并通过顺序贝叶斯推理框架进行[4]、[5]、[6]、[7]。为了考虑来自系统动力学和观测噪声的不确定性，非线性滤波旨在描述给定观测数据的状态变量的条件分布，即滤波分布。从这个分布中，不仅可以获得状态估计，还可以得到相关的不确定性度量。
根据对滤波分布的假设，已经发展出了两大类方法：Kalman家族 [1]、[2]、[4]、[8]、[9]、[10]和粒子家族 [7]、[11]、[12]。在高斯假设下，即当状态动力学和观测算子都是线性且噪声是高斯分布时，Kalman滤波器及其扩展提供了高斯滤波分布的均值和协方差的解析更新。然而，对于高维系统来说，维护和更新协方差矩阵在计算上变得非常复杂。为了解决这个问题，基于集合的方法如集合Kalman滤波器（EnKF）[1]和局部集合变换Kalman滤波器（LETKF）[10]使用有限集合样本来近似状态分布，用样本协方差替换精确的协方差，从而实现了对大型系统的可扩展性。当集合规模远小于状态维度时，协方差局部化是一个关键因素，它可以抑制虚假的长距离样本相关性，要么通过削薄样本协方差，要么通过将每个局部分析限制在附近的观测值上，并通常与乘法膨胀结合使用来抵消集合方差的低估。相比之下，粒子家族滤波器将分布表示为加权经验分布，适用于非高斯和多模态滤波分布，更适合非线性问题。尽管粒子滤波器在低维非线性系统中表现良好，但在高维情况下，它们的有效性受到权重简并和维数灾难的严重限制，因为所需的粒子数量随着系统维度和观测维度的增加而呈指数级增长[13]、[14]、[15]。尽管提出了几种改进的粒子滤波器[16]、[17]、[18]，包括为高维系统设计的局部化粒子滤波器[19]、[20]，但它们在大规模应用中的广泛采用仍然有限。因此，尽管存在固有的高斯假设，集合Kalman方法如LETKF由于其可扩展性仍然是实际标准，这个假设在强非线性情况下引入了偏差，并需要仔细调整局部化和膨胀参数。为了更好地处理非线性，开发了一系列迭代Kalman和集合变分方法，包括迭代扩展Kalman滤波器[21]、迭代集合Kalman滤波器和平滑器[22]、[23]，以及迭代集合平滑器的Levenberg–Marquardt形式[24]。这些方法通过外层循环反复重新线性化观测算子并细化高斯分析来处理非线性，使用直接从集合获得的观测算子梯度。即使有了这些进步，现代数据同化中的最大实际挑战仍然在于高维性和非线性的同时存在，这导致了高维非高斯滤波分布，使得Kalman和粒子类型的方法要么在统计上不一致，要么在计算上不可行。
为了解决这一综合挑战，最近的进展从生成式AI中获得了灵感，特别是从扩散模型中获得了启发，这些模型在表示复杂、高维和非高斯数据分布（如图像和视频）方面取得了显著成功[25]、[26]、[27]、[28]、[29]。这些模型还能够进行条件采样，这已被有效地用于贝叶斯推理任务[30]、[31]、[32]。在非线性滤波的背景下，基于得分的滤波框架 [33]将扩散模型适应于描述由系统动力学和贝叶斯更新控制的滤波分布的演变。核心思想是通过其得分函数来表示滤波分布，该得分函数定义为对数密度的梯度，并通过求解逆时间随机微分方程（SDE）来生成后验样本。尽管基于神经网络的得分方法能够有效地处理非线性和非高斯系统，但它需要在每次同化步骤中重新训练神经网络来学习得分函数，这使得它在大规模应用中计算上不切实际[34]。为了克服这一限制，Bao等人[35]提出了集合得分滤波器（EnSF），这是一种无需训练的替代方法，可以直接从集合样本中估计得分函数。这种方法保留了基于扩散模型的表达能力，同时实现了高维非线性滤波所需的计算效率，并已成功应用于多个具有挑战性的大规模数据同化和不确定性量化问题[32]、[36]、[37]、[38]。然而，EnSF在其后验得分估计中仍然存在结构偏差，因为其启发式公式仅在逆时间SDE的初始和终止时间强制与似然得分保持一致。因此，由逆时间SDE生成的后验样本可能会偏离真实后验，特别是在观测稀疏的情况下，状态更新对于未观测组分的信息不足。
在这项工作中，我们通过引入
迭代集合得分滤波器（IEnSF）来解决EnSF的局限性。IEnSF的核心思想是在高斯混合假设下迭代细化一个近似的后验得分。通过反复求解逆时间SDE并使用得到的后验样本来更新估计的后验得分，从而提高其准确性。这一迭代过程有效地减轻了后验得分中的结构误差，并增强了后验分布的整体一致性。通过全面的数值实验，我们证明了IEnSF在后验一致性和偏差减少方面取得了显著改进。特别是在低维线性问题中，我们展示了KL散度的降低，在具有稀疏观测的高维非线性Lorenz-96系统中，与LETKF等最先进方法相比性能更优。IEnSF与这些迭代Kalman和集合变分方法具有相同的外层循环结构和观测算子梯度的使用方式，但不同之处在于它细化的是一个参考点，用于放置似然得分的评估点，而后验集合是由逆SDE生成的，不强制采用高斯形式。本工作的主要贡献总结如下：
- •
我们在高斯混合先验假设下推导出了后验得分函数的精确解析表达式，这是所提算法的理论基础。
- •
我们基于观测算子的线性化开发了精确后验得分函数的高效数值近似。
- •
我们引入了一种迭代程序，在逆SDE采样期间细化似然得分估计，从而大幅减少了后验近似的误差。
本文的其余部分组织如下。第2节提供了关于EnSF框架和基于扩散的采样的背景信息。第3节介绍了所提出的IEnSF方法：3.1节推导了高斯混合先验下的精确后验得分，3.2节提出了实用近似方法，3.3节总结了包含迭代细化的完整算法。第4节展示了数值结果，第5节得出了结论。
章节片段
背景
我们简要回顾了数据同化（DA）问题的数学表述，并介绍了EnSF框架。
迭代集合得分滤波器（IEnSF）
在本节中，我们介绍了迭代集合得分滤波器（IEnSF），该滤波器的开发目的是为解决第2.2.3节中确定的挑战(C1)和(C2)。目标是构建更精确的后验得分近似。我们从3.1节开始，在高斯混合（GM）先验假设下推导出后验得分的精确表达式。由于这个精确表达式仍然包含难以处理的项，我们在3.2节提出了一种迭代近似方案。
数值示例
在本节中，我们展示了所提出的IEnSF方法的性能。
结论
在这项工作中，我们提出了迭代集合得分滤波器（IEnSF），它是集合得分滤波器（EnSF）的扩展，旨在减少后验得分近似中的结构误差。通过在高斯混合先验假设下推导出精确的后验得分表达式，我们确定了进行一致得分估计所需的关键组件。然后，我们为权重函数和似然得分开发了实用近似方案，并引入了迭代细化
CRediT作者贡献声明
张泽中：写作 - 审稿与编辑，撰写原始草稿，可视化，验证，软件，方法论，调查，形式分析，概念化。鲍峰：写作 - 审稿与编辑，撰写原始草稿，方法论，调查，形式分析，概念化。张冠楠：写作 - 审稿与编辑，撰写原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资助
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
Zezhong Zhang|Feng Bao|Guannan Zhang
