综述：基于高斯过程回归的自适应学习方法与应用全面评述

《Machine Learning and Knowledge Extraction》：Adaptive Learning with Gaussian Process Regression: A Comprehensive Review of Methods and Applications Dominik Polke, Elmar Ahle and Dirk S?ffker

本综述首次对自适应学习（ADL）背景下的高斯过程（GP）方法进行了系统性分类，涵盖了贝叶斯优化（BO）、主动学习（ACL）等策略，及其在材料设计、仿真建模等领域的应用。作者旨在为研究者与实践者提供一个关于GP与ADL集成的、结构化的指引，弥补现有综述偏重具体方面的不足。

　　

引言

在复杂的物理过程和计算密集的仿真中，数据获取常常因需要大量实验或耗时计算而具有挑战性。为解决此问题，代理模型被用来提供准确的预测，作为高效的替代方案。自适应学习（ADL）提供了一种系统性方法，能在高数据效率下迭代构建模型并解决优化问题，这在数据收集成本高昂的场景中尤为有价值。ADL的主要目标是最小化实现学习目标所需的查询次数。

已知ADL的两种不同方法是贝叶斯优化（BO）和主动学习（ACL），它们各自遵循不同的学习目标。BO的目标是通过平衡探索与利用来高效优化一个未知目标函数，而ACL则侧重于通过有选择地获取信息量最大的数据点来提高模型准确性。两者都计算具有高效自适应采样方案的代理模型，以加速由特定学习目标驱动的模型构建，并在过去几十年中经历了普及度的指数增长。

BO方法是优化设计选择的有力工具，可用于高维搜索空间中的单目标或多目标优化。BO的应用范围包括产品和材料设计优化，以及以高效的方式对机器学习（ML）模型进行超参数优化。

相比之下，ACL侧重于构建精确的代理模型。它通过针对参数空间中信息增益最高的区域实现顺序数据采集。虽然传统上每次添加一个数据点，但现代ACL技术通常查询批量数据以提高某些应用中的效率。

BO和ACL都采用迭代方法，逐步细化代理模型，利用代理信息定义由学习目标驱动的采样过程。此过程由采集函数指导，该函数确定输入空间中最有希望进行进一步探索或利用的区域。

高斯过程与先进方法

在机器学习中，量化不确定性的概率模型在稳健决策中起着核心作用。其中，高斯过程回归（GPR）提供了一个灵活的非参数贝叶斯框架，它模拟函数上的分布，而不是假设一个固定的函数形式。

一个高斯过程是一种非参数的、概率性的方法，用于模拟函数上的分布。它将多元正态推广到无限的输入点集，通过定义函数上的分布。高斯过程被定义为f(x) ～ GP(m(x), k(x, x′))，其中m(x)表示均值函数，k(x, x′)表示协方差函数，x∈ R^n_x是具有n_x个输入的输入点。在实践中，核函数通常由一组有限的超参数指定（例如，长度尺度、信号方差、噪声方差）。

在实践中，除非使用先验知识选择不同的结构，均值函数通常被假定为零，m(x) = 0。协方差函数k(x, x′)对要学习的函数的假设（如平滑性、周期性或平稳性）进行编码。常见的选择包括平方指数（SE）、Matérn和周期协方差函数。例如，SE协方差函数由k(x, x′) = σ_f²exp (?‖x? x′‖²/(2l²))给出，其中l∈ R₊表示长度尺度参数，σ_f²∈ R₊表示信号方差参数。

自适应学习与高斯过程的集成

自适应学习与高斯过程的集成，通过利用GP的不确定性量化能力，显著增强了BO和ACL等策略的效率。在BO中，GP作为代理模型，其预测的不确定性被用于指导采集函数（如预期改进、置信上界）来平衡探索与利用。在ACL中，GP模型的信息性度量（如预测方差）被用来选择最能减少模型整体不确定性的新数据点。

本综述首次对ADL背景下的先进GP方法进行了分类，包括用于改进代理建模的非平稳GP、异方差GP、可扩展GP近似、局部GP、多任务GP、动态GP以及不同的训练方法。同时，对自适应学习策略进行了分类，包括贝叶斯优化和主动学习，并区分了单点查询和批量查询方法。

应用领域

综述重点分类了GP结合ADL的实际应用案例。这包括超参数调优，其中BO被广泛用于优化机器学习模型的超参数。在材料和产品设计领域，GP-ADL方法被用于加速新材料的发现和产品性能的优化，替代成本高昂的实验。此外，在昂贵的仿真和实验的高效建模方面，GP-ADL能够构建精确的代理模型，以显著减少运行完整仿真或进行物理实验的次数，应用于灵敏度分析、工业场景（如复合材料机身形状控制）等领域。

软件库

综述还调查了用于实现GP-based ADL的常用软件库，总结了广泛使用的Python和R包在GP、ACL和BO方面的能力，包括对批处理、多输出、异方差和非平稳建模的支持，并提供了它们的关键参考文献。

总结与展望

这篇综述通过系统地组织和分类GP-based ADL的关键方面，旨在为研究者和实践者在其特定用例中应用ADL与GP提供一个全面的指南。它涵盖了先进的GP模型、ADL策略、实际应用以及可用的软件工具。未来的研究方向可能包括进一步提高GP模型在极高维数据和复杂非平稳场景下的可扩展性与适应性，以及开发更高效的批量查询算法和考虑多保真度信息的ADL框架。