用于多精度数据融合的可扩展稀疏协克里金方法：在空气动力学中的应用

《Reliability Engineering & System Safety》：Scalable Sparse Co-Kriging for Multi-Fidelity Data Fusion: An Application to Aerodynamics

　　莫里西奥·卡斯塔·诺-阿吉雷|F. 安德烈斯·洛佩斯-洛佩拉|娜塔莉·巴托利|弗兰克·马萨|蒂埃里·勒费弗尔
DTIS、ONERA、图卢兹大学，法国图卢兹，31000

**摘要**
多保真度克里金替代模型结合了不同精度的数据，如实验测试和数值模拟，以提高预测性能。自回归模型常被用于捕捉不同保真度水平之间的相关性，相比纯数据驱动方法更具可解释性。然而，现有框架往往存在计算成本高或依赖严格假设的问题，比如要求实验设计为嵌套结构。在工程应用中，这种假设意味着实验必须在与数值模拟相同的输入条件下进行。但由于测试中的安全限制，这一要求往往难以满足，从而限制了数据获取的灵活性。在本研究中，我们重新审视了多保真度克里金方法，并提出了一种广义协同克里金框架，通过基于自回归模型的相关结构来联合建模多个保真度水平。为确保可扩展性，我们将稀疏近似技术扩展到多保真度场景，在保持传统稀疏克里金效率的同时提升精度。我们在嵌套与非嵌套实验设计上对所提框架进行了评估。在一个结合风洞实验与CFD模拟的大规模多保真度空气动力学数据集上，与标准稀疏克里金相比，标准化残差落在置信区间外的比例降低了约75%，这体现了在复杂工程应用中纳入多保真度信息的优势。

**引言**
在现代航空航天设计中，飞行器的空气动力学数据来源于多种途径，包括不同类型的计算流体动力学模拟、风洞实验以及飞行测试[1]、[2]、[3]、[4]。这些数据源虽然都涉及同一架飞机，但在精度、成本、周期、可用性以及飞行范围等方面存在差异[3]。例如，飞行测试数据最能反映真实世界条件，但因成本高昂、安全考量以及设计阶段获取难度大而受到限制。相反，数值模拟，尤其是CFD，由于近年来该领域的显著进展，在早期设计阶段具有巨大价值[1]。不过，其精度仍受湍流建模和离散化误差等因素制约。此外，尽管CFD能够模拟复杂的流动状况，但要探索数千种飞行场景则需大量计算资源。风洞测试则介于两者之间。

尽管这些数据源过去有时被视为竞争关系，但目前人们越来越认识到它们的互补性[3]。它们在特性及产生的空气动力学数据上的差异恰恰体现了这种互补性。例如，CFD模拟可以提供飞机表面局部压力分布的详细信息，但由于每次模拟的计算成本很高，通常只能处理少量流动条件。而风洞实验虽然提供的压力测量数据有限，且受模型物理空间的限制，但可通过调整风洞参数快速探索新的流动条件。鉴于这些各具特色却又互补的优势，迫切需要强大的数据融合方法，将这些数据集整合到一个统一框架中[5]、[6]。这类方法旨在充分利用各种数据源提供的信息，最大化其在航空航天设计分析中的整体效用。在现实场景中，利用互补数据源的做法十分常见[7]。

如[5]、[8]、[9]、[10]所示，基于自回归模型的多保真度克里金方法可以实现数据融合，该方法可用于连接不同的数据源。克里金法，在地理统计学之外的更广泛科学文献中也被称为高斯过程插值，是一种广泛应用于基于观测数据函数逼近的强大工具[14]、[15]、[16]、[17]。这类模型属于一类特定的替代模型，其函数响应被假定为高斯过程的实现。在多保真度背景下，简单来说，每个数据源都被建模为一个高斯过程，而不同保真度水平之间的关系则通常通过自回归模型来建立[8]、[9]、[10]、[18]、[19]。

针对多保真度克里金方法的高效递归形式已在[20]中得到深入研究，旨在提升[8]中方法的 scalability。这种方法已被广泛用于空气动力学数据融合[5]、[6]、[21]、[22]以及其他工程领域[23]、[24]、[25]。尽管递归多保真度克里金方法具有诸多优势，但仍存在一些局限。首先，在输入条件方面，该模型要求输入数据具有嵌套结构，即高保真度级别的输入数据必须是低保真度级别输入数据的子集。在空气动力学应用中，这意味着风洞实验必须在与CFD模拟相同的输入条件下进行。但由于测试中的安全限制，这一要求往往难以满足，从而限制了数据获取的灵活性。因此，虽然这种假设简化了不同保真度水平之间的比较，但却严重限制了设计空间的探索。此外，嵌套结构还限制了在有用区域获取更多数据，因为高保真度观测数据必须符合预定义的子集[5]，进而降低了模型的灵活性和适用性。

[26]等人对[8]中的方法进行了改进，以处理非嵌套实验设计。他们提出的框架被称为层次克里金法，该方法将低保真度函数的趋势映射到已采样的高保真度数据上，而非考虑整个低保真度分布。因此，由于只有点估计的信息会在不同保真度水平之间传递，层次克里金法的一个局限性在于缺乏不确定性传播功能。

无论是递归多保真度克里金法还是层次克里金法，都继承了传统基于克里金模型的计算负担，其计算量随每个保真度级别输入数据规模的增加而呈立方增长。这一众所周知的局限性使得克里金法在处理大规模数据集时计算成本极高[27]。因此，当数据集的观测值超过几千个时，精确推理在计算上已不可行。

解决这一可扩展性问题的一个方法是使用稀疏近似，其目标是在大幅降低计算复杂度的同时保留精确克里金法的预测能力。这类稀疏模型的核心思想是使用较少的诱导点来近似完整的协方差结构。与直接建模所有训练点之间的依赖关系不同，稀疏克里金法——在文献中更常被称为稀疏高斯过程——采用结构化近似方式，在不显著牺牲精度的前提下实现高效计算。目前已有多种方法被提出用于促进稀疏性。其中最常用的方法是完全独立训练条件法，该方法通过假设在一系列诱导点的条件下训练点之间相互独立，从而近似协方差结构。这使得协方差矩阵变为低秩形式，大幅降低了计算复杂度，同时保持了局部精度。另一种常用的稀疏方法是变分自由能法，该方法由[29]提出，将推理问题转化为变分优化问题。变分自由能法通过最大化边际似然的下界来选择诱导点，从而得到更具理论依据的近似结果，最小化信息损失。

已有部分研究尝试通过稀疏近似来解决基于多保真度克里金方法的计算复杂性问题。对于特定的双保真度克里金模型，[30]采用了Nystr?m近似方法来处理样本协方差矩阵，从而降低计算成本。这种方法被称为回归量子集法，具有计算优势。然而，它依赖于秩不足的先验分布，这会导致预测不确定性集中在诱导点附近，从而使预测结果过于自信且可能存在偏差。在[32]中，又提出了一种基于高斯-马尔可夫随机场稀疏精度矩阵的高效框架。该框架通过强局部性假设来实现计算效率，但这些假设往往限制了其模拟复杂全局依赖关系的能力。因此，该方法仅适用于模型随机场，即D=2的情况。其他潜在方法则通过将数据投影到基函数上来控制计算复杂度，例如[33]提出了一种嵌套多保真度克里金框架，其中响应通过稀疏多项式混沌展开来表示。该框架通过结合混合桥接函数策略，既能捕捉局部变化又能体现全局趋势，从而在相对较低的总体计算成本下实现精确预测。不过，模型的性能取决于特定任务所需多项式项的选择、对模型平滑性的假设以及严格的嵌套输入结构，而这些往往需要深厚的领域专业知识才能进行精细调整。最后，如果将多保真度问题视为多输出问题，那么可以考虑稀疏多输出高斯过程，此时每个保真度水平可被视为一个独立的输出。在这种情况下，稀疏多输出高斯过程可被视为纯粹的数据驱动方法，因为输出之间的相关性是直接从数据中学习的，而不考虑自回归驱动模型。

在本研究中，我们重新审视了最初在[8]中提出的多保真度克里金方法，并对其进行了扩展，以解决三个关键问题：处理非嵌套实验设计、实现不同保真度水平之间的不确定性传播，以及提升大规模数据集的适用性。由此形成的多保真度协同克里金框架通过自回归结构将所有保真度水平联系起来，同时也能处理非嵌套数据。为确保可扩展性，我们进一步将FITC法和VFE法这两种稀疏近似方法适配到一般的多保真度场景中，同时解决了它们各自的局限性。因此，多保真度协同克里金框架是一个通用框架，它将像[29]中的变分自由能法这样的更具理论基础的方法直接集成到多保真度场景中，而不改变底层的相关模型。这样一来，我们所提出的方法便以一种有原则且可扩展的方式，将稀疏变分推理应用于多保真度问题。

本文的结构如下：第2节将进一步回顾相关研究，并讨论[8]、[10]、[26]中现有多保真度克里金方法的局限性。第3节将介绍我们的多保真度协同克里金模型，并推导出不同保真度水平之间的交叉协方差表达式。第4节详细介绍了将稀疏近似技术（即FITC法和VFE法）应用到所提出的多保真度协同克里金框架中的方法，并通过数值示例展示这些模型。第5节将在一个合成基准数据集和一个真实的多保真度空气动力学数据集上展示实验结果。最后，第6节对全文进行总结，并指出未来研究的方向。

**片段摘录**
**基于自回归模型的多保真度克里金**
如[8]所述，可以通过在不同保真度水平之间采用自回归结构来实现多保真度建模。对于κ∈{0,…,L}且L≥1，设yκ:D→R，其中D?RD，表示对应于第κ个保真度水平的函数。按照惯例，y0(·)和yL(·)分别代表最低保真度和最高保真度的函数。自回归框架则建立了两个连续保真度水平之间的关系，其表达式为：
yκ(x)=ρκyκ?1(x)+γκ(x)，其中x∈D。该模型……

**多保真度协同克里金框架**
由于第4节将介绍稀疏近似，因此在自回归模型中加入噪声项是合理的，因为训练数据已无法实现精确插值。在克里金建模中，引入噪声项既是一种标准做法，也是必要假设，因为在许多实际场景中，由于测量误差、数值近似或系统不确定性，观测数据本身就可能存在噪声[27]。在这种设定下，方程1中的自回归方案必须……

**多保真度协同克里金框架的稀疏近似**
多保真度协同克里金框架的计算复杂度为O(N3)，其中N=∑κ=0^LNκ，这使得该框架在处理大规模数据集时变得难以处理。为缓解这一限制，我们建议采用稀疏近似方法，将计算复杂度降至O(NM2)，其中M?N，M表示称为诱导点的较小点集的数量。为此，我们首先需要引入诱导变量的概念。设Zκ=(zκ,i)1≤i≤Mκ为第κ个保真度水平的诱导点集合，其中Mκ∈N且满足Mκ?Nκ。我们定义……

**结果**
现在我们将介绍第3节和第4节中提出的两种模型，即多保真度协同克里金模型和稀疏多保真度克里金模型。对于后者，我们同时考虑了FITC法和VFE法这两种稀疏近似方法。这两种模型的实现均已集成到开源Python工具箱SMT——版本2.10.1中[42]、[48]。源代码和示例笔记本可在GitHub仓库中获取：https://github.com/SMTorg/smt。此外，本节中介绍的基准实验也可在此地址查看：//github.com/SMTorg/smt/tree/master/tutorial/MultiFi。

**结论与展望**
在本研究中，我们重新审视了最初在[8]中提出并在[20]中进一步研究的多保真度克里金模型，该模型已在空气动力学领域及其他相关工程领域得到广泛应用。我们提出了一种新的建模方法，称为MFCK。该方法通过基于自回归模型的交叉协方差结构，对多个保真度等级进行联合建模。与纯粹的CRediT作者贡献声明相比，这种建模方式提升了框架的可解释性。Mauricio Casta No-Aguirre：概念设计、软件、方法论。F. Andrés López-Lopera：概念设计、软件、方法论。Nathalie Bartoli：方法论、概念设计。Franck Massa：软件、方法论。Thierry Lefebvre：方法论。利益冲突声明：作者们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。