一种基于多层次高斯过程的新型多保真度序列优化方法

《Engineering Applications of Artificial Intelligence》：A novel multi-fidelity sequential optimization method based on multi-level Gaussian process

多保真优化算法利用低保真系统辅助高保真建模，通过改进的LEI准则动态选择样本位置与保真度，提升效率与鲁棒性。

　　多保真度优化算法能够借助低保真度和低成本的模拟，高效地找到高保真度系统的最优解。然而，现有的方法在利用这种“辅助”方面还不够充分，通常倾向于在优化过程中查询高保真度系统。本文提出了一种基于多级高斯过程（Multi-Level Gaussian Process, MLGP）的新型序贯准则，称为多级期望改进准则（Multi-Level Expected Improvement, LEI）。LEI 是期望改进准则（Expected Improvement, EI）的扩展版本，具有闭合形式，能够整合相关性指标、成本比率和约束处理项，从而确定下一个采样点的位置及其保真度等级。具体而言，相关性指标是基于各保真度的预测误差构建的，可以反映低保真度模型的建模精度，并识别出高保真度系统中理想的采样位置。我们证明了低保真度样本可以提升 MLGP 建模的准确性，而 LEI 准则在理论上可以增强优化的鲁棒性和精确度。此外，LEI 准则还能够轻松扩展到多保真度场景。数值实验结果表明，所提出的算法在保持相同精度水平的情况下，能够减少高保真度样本的数量，并显著提升优化效率和鲁棒性。

在多保真度优化领域，序贯准则的设计对于提升优化性能至关重要。传统的优化方法，如数值优化和启发式优化，通常在面对高保真度系统时面临高昂的计算成本，限制了其在实际工程中的应用。而基于代理模型的优化方法（Surrogate-Based Optimization, SBO）通过引入序贯准则，能够更有效地在优化过程中逐步改进代理模型，从而找到最优解。其中，期望改进准则（EI）是 SBO 领域中广泛应用的序贯准则之一，它通过平衡探索与利用，实现了高效的优化。然而，EI 准则在多保真度场景中的应用仍然存在一定的局限性，尤其是在处理不同保真度系统的成本差异方面。

近年来，随着仿真代码复杂性的增加和实验数据资源的有限，多保真度优化（Multi-Fidelity Optimization, MFO）逐渐成为研究热点。MFO 通过构建多保真度代理模型（Multi-Fidelity Model, MFM）来逼近高保真度但昂贵的系统，从而显著提高黑盒优化的效率。在 MFM 的构建过程中，关键在于有效利用高保真度和低保真度系统之间的相关性。目前，MFM 的主要类型包括：（1）修正函数类，通过建立高保真度与低保真度系统之间的桥梁函数进行建模；（2）空间映射类，假设高保真度信息嵌入在低保真度模型中；（3）多保真度高斯过程回归（GPR）类，使用高斯过程对高低保真度系统进行建模，并通过某种数学框架整合它们以获得高保真度系统的元模型。其中，第三类方法因其较高的灵活性和准确性，成为当前应用最为广泛的一类。共克里金法（Co-Kriging）是其代表性方法之一，最早版本假设观测数据的协方差结构具有马尔可夫特性，同时相邻保真度之间的关系具有自回归结构。为了提高预测精度，Le Gratiet（2013）提出了嵌套设计的共克里金法，称为递归共克里金法（Recursive Co-Kriging）。此外，Han 等（2012）通过改进协方差矩阵的构建提出了另一种共克里金法，Bertram 和 Zimmermann（2018）进一步探讨了共克里金法的最大似然训练方法。其中，分层克里金法（Hierarchical Kriging, H-Kriging）作为一种简化版本的共克里金法，能够在保持预测精度的同时减少协方差矩阵的计算成本。除了这些统计建模方法，Cutajar 等（2019）和 Bone 等（2024）还利用深度高斯过程（Deep Gaussian Process, DGP）来建模多保真度，通过考虑网络结构之间的关系。此外，深度神经网络（Feng 等，2024）、图技术（Penwarden 等，2022）、物理信息神经网络（PINNs，Taghizadeh 等，2024；Ji 等，2024）以及算子学习方法（Zhou 等，2024）也被用于构建多保真度模型。可以参考 Fernández-Godino（2023b）对一般 MFM 方法的综述，以及 Brunel 等（2025）提供的多保真度代理模型的统一框架和基准。

随着多保真度代理模型的发展，多保真度优化方法在工程设计问题中的应用日益广泛，特别是在具备不同保真度的数值模拟时。大量的 MFO 准则集中于对多保真度场景中 EI 准则的改进，其中包括增强 EI（Augmented Expected Improvement, AEI）和变保真度 EI（Variable-Fidelity Expected Improvement, VFEI）。最早提出的 AEI 准则考虑了不同保真度之间的相关性和成本比率，但由于其较强的启发性，使得它成为一个较为综合的方法。Huang 等（2023）则通过使用 KL 散度替代函数之间的相关性，提出了比例 EI（Proportional Expected Improvement, PEI），并证明其在优化性能上优于 AEI。然而，VFEI 准则是专门针对 H-Kriging 设计的，其在高保真度模型中通过优化回归参数来体现低保真度的“贡献”，但忽略了不同保真度系统之间的成本差异，导致其倾向于搜索高保真度样本。近年来，研究人员越来越关注成本效率的问题，例如，Foumani 等（2023）和 Tang 与 Paulson（2024）提出了多保真度成本感知的贝叶斯优化框架，而 Lee 等（2024）则基于迁移学习讨论了这一主题。

本文提出了一种新的多级期望改进准则（LEI），并将其应用于基于 MLGP 的多保真度贝叶斯优化方法中。该方法的灵感来源于 VFEI，它主要关注于通过优化高保真度模型中的回归参数来体现低保真度的“贡献”。我们在此基础上，将“贡献”从回归参数转移到了差高斯过程（diff-GPR）本身。如果高保真度系统可以被视为多个独立高斯过程的总和，那么多保真度序贯准则将具有闭合形式。进一步地，我们考虑了成本比率的影响，提出了多级期望改进准则（LEI），并证明了随着保真度等级的增加，LEI 准则能够显著提升优化结果的准确性。

本文的结构如下。第二部分描述了多保真度代理模型优化的基本框架。第三部分详细介绍了 LEI 准则及其对应的算法，并给出了 LEI 准则在理论上的优势。第四部分通过数值实验和一个工程问题（HEG）的验证，展示了所提出方法的性能。最后一部分简要总结了本文的工作，并展望了未来的研究方向。

本文的主要贡献和工作包括：

1. 提出了 LEI 准则，该准则在相同精度水平下，相较于其他方法具有更高的可解释性、准确性和成本节约能力。LEI 准则通过整合相关性指标、成本比率和约束处理项，能够更全面地指导采样点的选择，从而提升优化的整体效率。

2. LEI 准则具有良好的扩展性，能够轻松应用于多保真度场景（保真度等级大于 2）。在本文的数值实验中，我们采用了五级 LEI 准则，以验证其在多保真度优化中的适用性。

3. 本文给出了基于 LEI 的多保真度贝叶斯优化方法的收敛速率理论分析，为多保真度贝叶斯优化方法的研究提供了理论支持和分析思路。通过理论推导，我们证明了 LEI 准则在优化过程中能够有效平衡探索与利用，提升优化的稳定性和效率。

在实际工程问题中，高保真度模型通常具有较高的精度，但计算成本也相应较高，这限制了其在大规模优化中的应用。因此，如何在保证优化精度的同时，降低计算成本成为多保真度优化研究的重要方向。LEI 准则通过引入成本比率和相关性指标，能够更合理地指导采样点的选择，避免过度依赖高保真度系统，从而提升优化的效率和鲁棒性。此外，LEI 准则还能够有效处理约束优化问题，使得优化过程更加灵活和全面。

在数值实验部分，我们采用了一个一维测试函数（Forrester 等，2007）来验证所提出的方法。该测试函数的数学模型为：

$$
\text{min} \quad y_2(x) = (6x - 2)^2 \sin(12x - 4)
$$
$$
y_1(x) = 0.5 y_2(x) + 10x - 10
$$
$$
\text{s.t.} \quad x \in [0, 1]
$$

其中，理论最优解为 $x_{\text{min}} = 0.75725$，最优值为 $y_{\text{min}} = -6.020740$。在实验中，我们首先构建了一个初始 MLGP 模型，使用了 6 个低保真度样本点和 3 个高保真度样本点。随后，通过 LEI 准则逐步选择下一个采样点，以提升模型的精度和优化效率。实验结果表明，LEI 准则能够显著减少高保真度样本的数量，同时保持较高的优化精度和稳定性。

在理论分析部分，我们探讨了 LEI 准则的数学基础和优化性能。首先，我们证明了 LEI 准则在理论上能够有效平衡不同保真度之间的相关性和成本，从而提升优化的鲁棒性。其次，我们分析了 LEI 准则在多保真度场景中的适用性，证明了随着保真度等级的增加，LEI 准则能够进一步提升优化的准确性。此外，我们还探讨了 LEI 准则在约束优化问题中的表现，证明了其能够有效处理复杂的约束条件，使得优化过程更加可靠。

在实际应用中，LEI 准则的优势体现在多个方面。首先，它能够减少高保真度样本的使用，从而降低计算成本。其次，它能够提升优化的准确性，使得最终的优化结果更加接近理论最优解。此外，LEI 准则的可解释性使得其在实际工程中的应用更加直观和易于理解。通过合理地整合相关性指标和成本比率，LEI 准则能够在优化过程中更全面地指导采样点的选择，避免盲目地搜索高保真度系统。

在工程问题（HEG）的验证中，我们采用了多保真度优化方法，通过 LEI 准则对高保真度系统进行优化。实验结果表明，LEI 准则在优化过程中能够显著提升收敛速度和优化精度，同时保持较高的鲁棒性。与传统的 EI、PEI 和 VFEI 准则相比，LEI 准则在优化性能上表现出更优的特性，尤其是在处理多保真度场景时。

在总结部分，我们回顾了本文的主要内容，并展望了未来的研究方向。首先，我们强调了 LEI 准则在多保真度优化中的重要性，指出其在提升优化效率和准确性方面的潜力。其次，我们提到未来的研究可以进一步探索 LEI 准则在更高保真度场景中的应用，以及其在不同工程领域的扩展。此外，我们还建议未来的研究可以结合更先进的机器学习方法，以提升 LEI 准则的预测能力和优化效果。

在作者贡献部分，Zecong Liu 负责撰写初稿、软件开发、方法设计和概念提出；Liang Yan 负责监督研究和方法设计；Xiaojun Duan 负责方法设计和概念提出；Yike Xiao 负责撰写和编辑、软件开发；Bo Liu 负责验证；Jiangtao Chen 负责资源支持和数据管理。这些分工体现了团队在多保真度优化研究中的多方面贡献，从理论分析到实验验证，从方法设计到软件实现，各成员均发挥了重要作用。

在竞争利益声明中，作者声明他们没有已知的财务利益或个人关系可能影响本文的研究成果。这一声明确保了研究的客观性和公正性，使得本文的结论更具说服力。

在致谢部分，本文的研究得到了中国国家自然科学基金（项目编号：12101608、12301325、12401328）和 NSAF 项目（项目编号：U2230208）的支持。这些资助为研究提供了必要的资源和条件，使得本文能够在多保真度优化领域取得突破性的进展。

综上所述，本文提出的 LEI 准则在多保真度优化领域具有重要的应用价值。它不仅能够有效平衡不同保真度之间的相关性和成本，还能够提升优化的准确性、效率和鲁棒性。通过理论分析和实验验证，我们证明了 LEI 准则在多保真度场景中的优越性，并为其在更高保真度和多保真度系统中的应用提供了理论支持。未来的研究可以进一步探索 LEI 准则在不同工程领域的扩展，以及其与其他优化方法的结合，以提升多保真度优化的整体性能。