计算力学中用于贝叶斯参数推断的流归一化方法

《Engineering Applications of Artificial Intelligence》：Normalizing flows for Bayesian parameter inference in computational mechanics

　　约安尼斯·卡洛格里斯 希腊雅典国立技术大学机械工程学院 摘要：贝叶斯参数推断是计算力学中用于根据观测数据量化模型参数不确定性的重要工具。然而，传统的基于采样的方法，如马尔可夫链蒙特卡洛法，往往存在计算成本高且可扩展性差的问题，尤其是在处理复杂的高维问题时。这些方法需要大量的正向模型评估，在计算力学中，每次评估通常涉及通过离散化方案（如有限元法或有限差分法）来求解偏微分方程。由于单次模拟可能需要数秒到数小时的时间，这类方法很快就会因计算负担过重而难以使用。在本研究中，我们探讨了归一化流这一基于机器学习的现代方法，作为在计算力学的贝叶斯逆问题中近似后验分布的替代方案。具体而言，我们实现了三种归一化流架构：实值非体积保持流、掩码自回归流以及神经样条流，并将其性能与两种广泛采用的基于采样的方法——梅特罗波利斯-黑斯廷斯算法和过渡马尔可夫链蒙特卡洛法进行对比。通过来自非线性结构力学和三维弹性领域的数值案例研究，我们在固定的计算预算（即预定的模型运行次数）下评估了每种方法近似后验分布的能力。后验精度通过L1范数和库尔贝克-莱布勒散度来量化。研究结果表明，归一化流能够达到与传统MCMC方法相当的精度，同时具备良好的可扩展性，因而能够在高维问题中显著加速计算速度。在小型高性能计算集群上测试时，所提出的实现方式在128核环境下可实现大约×102的速度提升，展现了其强大的并行可扩展性。在所研究的架构中，神经样条流表现出最高的精度，在某些情况下甚至优于MCMC方法的成果。这些发现表明，归一化流为计算力学中的贝叶斯推断提供了一种既具可扩展性又高效的方法。引言：随着高精度数值模拟以及大量传感器或实验数据的日益丰富，现代工程分析的格局发生了变化。在结构健康监测和过程控制等工业应用中，人们越来越需要将基于物理的模型与现实世界的数据有效结合，以实现精准的预测、诊断和决策制定。机器学习和技术驱动的建模方法在这方面发挥了关键作用，为模型-数据融合、系统识别以及故障检测提供了灵活的工具。不过，机器学习驱动的方法的应用范围远不止工程领域，在医学诊断、错误信息检测以及网络安全威胁检测等领域也取得了成功，这体现了以数据为中心的方法论的巨大潜力。通过将机器学习算法与数值模拟框架相结合，工程师们能够开发出能够从模拟数据和观测数据中学习的混合数字孪生体，从而提升各种工业和科学应用中计算模型的可靠性和效率。在这一背景下，贝叶斯参数推断作为一种强大的框架，被用于解决计算力学中的不确定性量化及逆问题。通过贝叶斯定理将先验知识与观测数据结合，它使得工程师和科学家能够描述模型参数的概率分布，从而在不确定性条件下做出稳健的决策。计算力学中的传统贝叶斯推断技术主要依赖于马尔可夫链蒙特卡洛采样方法，如早期的梅特罗波利斯-黑斯廷斯算法，以及更先进的哈密顿蒙特卡洛法和过渡马尔可夫链蒙特卡洛法。这些方法在理论上十分稳健，已被广泛应用于各个工程学科。然而，它们的实际应用往往受到计算效率低、收敛时间长以及可扩展性差的限制，尤其是在处理高维或计算强度高的正向模型时，比如在有限元分析或计算流体动力学模拟中遇到的情况。在大型力学问题中，这些限制更为突出：每次似然度评估可能都需要进行代价高昂的有限元分析，而且MCMC链的顺序特性也阻碍了有效的并行化处理。因此，在实际的工程环境中，传统MCMC方法往往因为所需样本数量过多而变得不实用。这就促使人们探索更具可扩展性的替代方案，以便利用现代高性能计算架构来实现高效的后续推断。在过去十年中，已经提出了多种策略来应对这些计算挑战。从机器学习的角度来看，替代建模作为一种通过用快速仿真器替换昂贵的正向模型来加速贝叶斯更新的方法，展现出巨大潜力。例如神经网络、多项式混沌展开以及高斯过程回归等。从另一个角度，基于可靠性的方法也被加以研究；例如，有学者将贝叶斯推断问题转化为等价的可靠性估计问题，进而通过子集仿真方法来解决。对于基于梯度的采样器，如哈密顿蒙特卡洛法，通过使用伴随方法降低了梯度计算的成本，同时也有并行采样算法被开发出来，以便充分利用现代高性能计算资源。在此背景下，有学者提出了一种可扩展的过渡马尔可夫链蒙特卡洛法变体，即X-TMCMC算法，该算法整合了基于克里金的替代模型，从而有效地引导采样过程。近年来，生成建模和变分推断方面的进展为贝叶斯参数估计带来了新的可能性，它们通过基于优化的后验近似方法替代重复的随机采样，从而降低了计算成本。在这一系列方法中，归一化流作为一种极其强大的工具，为灵活且易于实现的密度估计提供了可能。这一概念最初由雷森德和穆罕默德提出，他们提出了用于变分推断的可逆变换学习方法。后续的研究则发展出了更多功能更强的特定架构：丁等人提出了实值非体积保持流，该流利用仿射耦合层来实现高效的雅可比矩阵计算；帕帕马卡里奥斯等人提出了掩码自回归流，通过自回归条件机制提升了方法的灵活性；而杜尔坎等人则进一步发展出了神经样条流，这种流通过有理二次样条实现了平滑、单调的变换。这些架构能够学习出可将简单的基础分布（如高斯分布）映射为复杂目标分布的可逆变换，因此非常适合用于贝叶斯推断。它们的潜力已在异常值检测、特征学习以及数据增强等多个领域得到验证，同时在贝叶斯最优实验设计以及具有黑箱似然函数的贝叶斯推断问题中也展现出了应用价值。尽管李等人提出了一个通用的基于归一化流的贝叶斯推断框架，适用于具有黑箱似然函数的情况，但我们的工作在三个方面有所不同。首先，在应用领域方面，我们专注于计算力学问题中的贝叶斯参数推断，尤其是那些以有限元模拟作为正向模型的问题，这类问题的特点就是似然度评估成本极高。在这里，需要推断的参数并非直接可观测，因为只能测量系统的响应，然后利用这些响应来更新对模型参数的先验信念。其次，我们的工作采用了基于证据下界的训练方法，而非最大后验概率点估计，这使得可以直接近似后验分布，而且其训练流程也与在高性能计算平台上进行并行似然度评估十分契合。第三，在方法论方面，我们对多种归一化流变体（实值非体积保持流、掩码自回归流以及自回归神经样条流）与成熟的MCMC方法（梅特罗波利斯-黑斯廷斯法和过渡马尔可夫链蒙特卡洛法）进行了比较，在固定的模拟预算条件下分别评估了它们的精度和效率。需要指出的是，在本研究中，我们是通过一种无需梯度的进化策略来优化证据下界的，因为通常无法获得有限元求解器对应的梯度信息，这样的选择虽然省去了对可微实现的要求，但却会导致较高的初始训练成本。对于那些具有低成本正向模拟的低维逆问题，传统的采样方法可能更具计算优势。我们所提出的框架主要是针对那些正向模型成本高昂、但大量似然度评估可以并行处理的情况，这样就可以分摊前期成本，从而带来显著的可扩展性优势。因此，我们评估了这些归一化流架构在基于有限元的结构力学逆问题中近似真实后验分布的能力，通过L1范数和库尔贝克-莱布勒散度来衡量精度，并分析了与大规模工程应用相关的可扩展性因素。本研究的贡献主要有三点：第一，证明了归一化流在具有有限元正向模型的计算力学贝叶斯参数估计中的应用可行性；第二，对三种归一化流架构与传统MCMC方法进行了定量对比；第三，分析了它们的可扩展性和效率，凸显了基于流的方法在解决大规模工程逆问题方面的潜力。本文的其余部分结构如下：第2节回顾了计算力学中贝叶斯推断的基本原理；第3节介绍了归一化流的概念以及所研究的特定架构；第4节提出了用于计算力学应用的基于归一化流的推断框架；第5节阐述了该方法的具体实施步骤并评估了其性能；最后，第6节总结了我们的研究发现，并指出了未来的研究方向。章节片段：计算力学中的贝叶斯推断：本节介绍了用于计算力学参数推断的贝叶斯框架。贝叶斯方法为在获得新数据时更新模型参数提供了统一的概率基础，有助于量化机械系统中的认知不确定性和随机不确定性。以下小节将阐述贝叶斯推断的主要概念及其在参数识别问题中的作用。归一化流的基本原理：归一化流为密度估计和生成建模提供了一种灵活且数学上严谨的框架，因此特别适合用于贝叶斯推断问题。在本研究中，归一化流作为核心机制，能够在保留精确似然度评估和可逆性的同时，高精度地近似后验分布。本节将介绍三种归一化流架构的理论基础——实值非体积保持流：计算力学中贝叶斯推断的归一化流应用：在建立了归一化流的理论基础之后，本节将展示它们在计算力学贝叶斯逆问题中的应用。我们的目标是把归一化流框架与基于有限元的正向模型相结合，从而在现实的计算预算约束下实现高效的后续推断。以下小节将详细介绍所提出的基于归一化流的推断框架的构建方法、计算流程以及训练过程。数值研究：本节通过两个具有工程意义的应用场景，研究了所提出的基于归一化流的贝叶斯框架的适用性。目的是评估该框架的计算成本、不同类型流方法的性能以及它们的精度，并将结果与现有方法进行比较，以分析各自的优缺点。用于衡量所提方法精度的指标正是之前提到的那些。结论：在本研究中，我们提出了一种通用的框架，可将归一化流应用于计算力学中的贝叶斯参数推断问题，使其能够与有限元模型以及其他基于物理的仿真工具灵活结合。该框架支持多种归一化流架构，且能够应对工程模型中存在的各种复杂性。随后，我们比较了三种归一化流架构——实值非体积保持流、掩码自回归流和神经样条流——与成熟的MCMC方法的表现。CRediT作者贡献声明：约安尼斯·卡洛格里斯：写作——审稿与编辑、写作——初稿撰写、可视化、验证、方法论、研究、形式分析、概念构思。利益冲突声明：作者声明没有已知的可能会影响本文研究结果的财务利益或个人关系。