《Computers & Chemical Engineering》:Prior-Discrepancy-Aware Bayesian Optimization via Adaptive Uncertainty Inflation
编辑推荐:
科学发现往往耗时且昂贵,尤其是其中涉及的试错性实验。近年来,人工智能驱动的发现进展已展现出显著潜力,能够加速这一过程,为求解复杂科学问题提供更高效的途径(Mroz et al., 2025; Wang et al., 2023)。在化学研究等领域,人工智能可帮
科学发现往往耗时且昂贵,尤其是其中涉及的试错性实验。近年来,人工智能驱动的发现进展已展现出显著潜力,能够加速这一过程,为求解复杂科学问题提供更高效的途径(Mroz et al., 2025; Wang et al., 2023)。在化学研究等领域,人工智能可帮助应对分子设计与材料发现的复杂性(Coley et al., 2020)。这些挑战常被建模为优化问题,其目标是在高维搜索空间内寻找最优解。
贝叶斯优化(Bayesian Optimization, BO)已成为求解此类昂贵优化问题的强大框架,其通过构建概率代理模型来引导参数空间的高效探索与利用(Astudillo & Frazier, 2021; Shahriari et al., 2016)。该方法已在反应优化(Singh & Hernández-Lobato, 2024)、材料设计(Thant et al., 2025; Tian et al., 2025; Xian et al., 2025)、催化(Ohyama et al., 2022; Li et al., 2024)、药物发现(van Tilborg & Grisoni, 2024)及工业设计(Asef & Vagg, 2024)等广泛领域取得成功。在BO中,通常采用高斯过程(Gaussian Process, GP)作为目标函数的代理模型。GP由其均值函数与协方差函数完全确定,其中协方差由核函数(kernel)指定,该函数编码了关于函数光滑性与结构的假设。尽管标准BO在搜索最优结果方面表现良好,但仍存在一个关键问题:能否将已有知识作为“先验”融入发现循环以进一步加速过程?这些知识可表现为描述系统某些现象的物理模型,或来自相关系统的大量现有数据所蕴含的宝贵见解。
本研究背景植根于相关研究。在贝叶斯框架内整合先验信息有多种途径,可将其直接指定于函数空间,其中GP的均值函数能够整合近似模型或专家知识(Cissé et al., 2023)。当机理均值固定而非联合校准时,该构造在数学上等价于对观测值与机理预测之间的残差拟合GP。通用贝叶斯模型校准框架(Kennedy & O'Hagan, 2001)更明确地表示了这一关系,将计算机模型输出与差异(discrepancy)建模为两个独立的GP,各自具有独立的均值与协方差结构。一个相关但不同的研究方向是灰盒贝叶斯优化(grey-box Bayesian optimization)(Astudillo & Frazier, 2021),其利用目标的可分解内部结构(如已知子模型或约束),而非将机理模型视为单一、不可分解的先验。分层贝叶斯方法为从相关任务或历史数据中学习超参数分布提供了原则性框架,同时量化先验设定的不确定性(Huang et al., 2006)。此外,可通过预训练技术从相似函数上收集的数据中学习GP先验(Wang et al., 2024)。知识迁移机制还允许BO利用相关任务与领域的信息,从而加速收敛(Hosna et al., 2022; Greenhill et al., 2020; Tighineanu et al., 2022; Swersky et al., 2013)。多保真度方法提供了一种互补策略,利用具有不同计算成本与精度的物理模型,其中廉价、低保真度的模拟(如简化模型、粗离散化)引导探索,而昂贵、高保真度的评估(如详细数值模拟、实验)则保留给有前景的区域(Sabanza-Gil et al., 2025; Fare et al., 2022; Savage et al., 2024; Cardamone et al., 2025; Zhu et al., 2025)。递归协同克里金法(recursive co-kriging)(Perdikaris et al., 2017)通过学习显式、可能非线性的跨保真度映射扩展了这一思想,而非假设保真度水平之间存在固定的线性关系。
核函数在将先验整合进BO中也发挥着关键作用。复合核方法通过组合多个核来捕捉底层函数的不同方面,扩展了常用核选项(Camps-Valls et al., 2006; Su et al., 2023)。已有研究提出贪心搜索策略,通过组合线性核、径向基函数核与有理二次核等基核来构建此类复合核(Galeazzi et al., 2024)。这些进展在性质预测(Cao & al., 2024)与材料设计(Thant et al., 2025; Khatamsaz et al., 2023)等科学应用中已被证明特别有价值。非平稳GP允许核参数(如长度尺度)在输入域内变化(Paciorek & Schervish, 2003),改变不同点之间的协方差几何结构,而非单个位置的点方差。进一步,深度核学习(Deep Kernel Learning, DKL)代表了更先进的进展,将神经网络的表示学习能力与GP的不确定性量化相结合(Singh & Hernández-Lobato, 2024; Andrew Gordon)。近期工作已将DKL扩展至利用大语言模型(Large Language Models, LLMs)作为特征提取器,证明LLM嵌入与GP边际似然的联合优化可提升科学优化任务的表示质量与不确定性校准(Rankovi? & Schwaller, 2025)。
尽管取得了上述进展,但上述方法均未根据先验不准确的位置对其进行局部折扣。残差/差异GP(Kennedy & O'Hagan, 2001)与灰盒BO(Astudillo & Frazier, 2021)虽整合了机理模型,但一旦固定,便在输入域内将其视为均匀可信,缺乏根据其不准确位置进行局部折扣的机制。多保真度与协同克里金方法(Sabanza-Gil et al., 2025; Fare et al., 2022; Savage et al., 2024; Cardamone et al., 2025; Zhu et al., 2025; Perdikaris et al., 2017)调整的是保真度水平之间的平衡,而非单一先验的局部质量。异方差GP(Kersting et al., 2007)适应输入相关的观测噪声,而非先验差异;非平稳GP(Paciorek & Schervish, 2003)适应空间光滑性,而非先验本身的质量。如图2所示,物理系统常在输入域内发生状态转换,要求模型在数据收集过程中具备局部适应性。与其在整个空间使用固定核,一种有效的方法应调整核以识别先验存在差异的区域。这促使了先验差异感知BO框架的开发,该框架采用具有内在局部适应性的修正核,在机理引导与对错误设定的鲁棒性之间取得平衡。缺乏识别并自适应处理此类先验模型失配区域的机制,是现有方法论中的一个根本性空白。
因此,本研究旨在引入一种新的先验差异感知BO方法,该方法整合物理先验,同时根据局部先验差异调整不确定性。本研究的主要贡献包括:核开发贡献:一种新颖的核公式,整合物理先验的同时保持对模型错误设定的适应性,可加速科学发现任务中的优化过程;理论分析:建立理论分析,证明所提出的核在Mercer定理下是有效的协方差函数,且其相对于基核引入的额外信息增益受与优化时域无关的常数约束,确保差异感知修正不损害BO算法的数学基础;案例研究验证:通过多样化的科学案例研究进行全面评估,验证该方法在不同场景下的有效性,包括对系统行为理解错误或忽略重要机制的情况。
本文其余部分组织如下。第2节介绍方法论,包括GP与BO的简要概述、修正核的公式化及理论证明。第3节通过三个先验错误设定程度递增的案例研究评估所提出的框架:Van de Vusse反应中的参数差异、Williams-Otto问题中的结构模型失配,以及Schotten-Baumann反应中的机理空白。第4节总结全文,概述研究发现、局限性及未来工作方向。
一、研究背景与问题
科学发现过程往往耗时且昂贵,尤其受制于试错性实验的反复迭代。近年来,人工智能驱动的发现方法展现出加速这一过程的巨大潜力,为求解复杂科学问题提供了更高效的路径。在化学研究等领域,这类挑战常被建模为高维搜索空间中的优化问题。贝叶斯优化(Bayesian Optimization, BO)凭借概率代理模型引导参数空间高效探索与利用的能力,已成为求解昂贵优化问题的强大框架,并在反应优化、材料设计、催化、药物发现及工业设计等领域获得广泛应用。在BO中,高斯过程(Gaussian Process, GP)通常作为目标函数的代理模型,其均值函数与核函数(kernel)分别编码对函数的先验认知与光滑性假设。
尽管标准BO性能优异,一个关键问题仍未解决:能否将已有知识作为“先验”融入发现循环以进一步加速?这些知识可表现为描述系统现象的物理模型,或来自相关系统的大量数据。现有整合先验的方法包括:在GP均值函数中直接指定先验、Kennedy与O'Hagan提出的残差/差异GP框架、灰盒BO、分层贝叶斯方法、基于预训练的GP先验学习、知识迁移机制、多保真度方法及递归协同克里金法等。核函数层面,复合核、非平稳GP及深度核学习(Deep Kernel Learning, DKL)等进展也提供了多样化的整合途径。
然而,上述方法均存在一个根本性缺陷:缺乏根据先验不准确的位置对其进行局部折扣的机制。残差/差异GP与灰盒BO一旦固定机理模型,便在输入域内将其视为均匀可信;多保真度方法调整的是保真度水平间的平衡而非单一先验的局部质量;异方差GP适应的是观测噪声而非先验差异;非平稳GP适应的是空间光滑性而非先验本身的质量。物理系统常在输入域内发生状态转换,要求模型具备局部适应性。因此,开发一种能识别并自适应处理先验模型失配区域的BO框架,是填补现有方法论空白的关键。
二、研究内容与结论
针对上述空白,研究人员提出了一种新的先验差异感知BO方法——Prior-Discrepancy-Aware Bayesian Optimization via Adaptive Uncertainty Inflation。该方法整合物理先验,同时根据局部先验差异自适应调整不确定性。核心创新包括:提出一种新颖的核函数公式,在整合物理先验的同时保持对模型错误设定的适应性;建立理论证明,确认该核在Mercer定理下为有效协方差函数,且其相对于基核引入的额外信息增益受与优化时域无关的常数约束;通过三个化学工程基准案例研究全面验证了方法的有效性。
三、关键技术方法
研究人员采用的主要技术方法包括:基于高斯过程(Gaussian Process, GP)的贝叶斯优化框架,利用GP作为目标函数的概率代理模型;提出一种物理信息核函数(physics-informed kernel),该核能够根据局部先验可靠性自适应调整;通过自适应不确定性膨胀(adaptive uncertainty inflation)机制,在先验差异大的区域增大不确定性估计;采用上置信界(Upper Confidence Bound, UCB)类采集函数引导探索与利用的平衡;并通过理论分析证明修正核的亚线性遗憾(sublinear regret)保证。三个案例研究分别涉及Van de Vusse反应、Williams-Otto问题及Schotten-Baumann反应,覆盖了参数差异、结构模型失配及机理空白等不同程度的先验错误设定。
四、研究结果
案例研究一:Van de Vusse反应中的参数差异。该案例模拟了先验仅存在参数偏差的场景。研究结果表明,所提出的先验差异感知BO方法能够有效识别先验参数不准确的区域,并通过自适应调整不确定性加速优化收敛,优于将先验视为均匀可信的标准方法。
案例研究二:Williams-Otto问题中的结构模型失配。该案例涉及更严重的先验错误设定,即模型结构本身与真实系统不符。研究结果显示,即使在结构失配的情况下,所提出的方法仍能通过局部折扣不可靠的先验区域,保持稳健的优化性能,显著优于未进行差异感知调整的基线方法。
案例研究三:Schotten-Baumann反应中的机理空白。该案例代表最严重的先验错误设定情形,即先验模型完全缺失某些关键机理。研究结果进一步验证了所提方法的鲁棒性,表明其能够在机理空白区域有效降低先验影响,转而依赖数据驱动的高斯过程进行建模,从而在复杂真实场景中仍能实现高效优化。
五、讨论与结论
讨论部分指出,现有方法如残差/差异GP、灰盒BO、多保真度方法、异方差GP及非平稳GP等,均无法根据先验不准确的位置进行局部折扣。所提出的先验差异感知核函数通过自适应不确定性膨胀机制填补了这一空白,在机理引导与对错误设定的鲁棒性之间取得了平衡。理论分析确认了修正核的数学有效性,且额外信息增益受常数约束,确保不损害BO算法的理论保证。
研究结论为:所提出的先验差异感知BO方法通过引入能够适应局部先验可靠性的物理信息核函数,有效解决了现有方法将先验视为均匀可信的根本缺陷。理论分析建立了修正核的亚线性遗憾保证,三个化学工程基准案例研究验证了该方法在不同类型和程度的先验错误设定下均能保持高效优化性能。该工作为在科学发现中更可靠地整合物理先验提供了新途径,具有重要的方法论意义与应用价值。