用于复杂大规模问题的多阶段模糊贝叶斯协同优化方法

《Swarm and Evolutionary Computation》：Multi-stage fuzzy Bayesian cooperative optimization for expensive large-scale problems

　　刘瑞光|岳鹏|费明|陈彦展|范宇|刘俊利 中国长沙中南大学交通与运输工程学院 摘要 贝叶斯优化被广泛认为是解决高成本优化问题的有效方法。然而，将贝叶斯优化应用于那些通常具有高评估成本和巨大决策空间的大规模问题时，仍面临诸多挑战。主要困难在于如何从有限样本中有效提取有意义的优化信息，并在庞大的决策空间中找到最优解。为解决这些问题，我们提出了一种基于模糊理论的贝叶斯协同优化框架。据我们所知，这是首个利用模糊理论将传统单阶段优化转变为粗略到精细搜索模式的贝叶斯优化框架，该框架包括多阶段逐步降低模糊度的粗略搜索以及精细搜索阶段。此外，还设计了自适应机制来确定粗略搜索的阶段数，并在各阶段合理分配评估资源，从而进一步提升算法在处理大规模高成本问题时的适用性。同时，该框架还引入了一种基于径向基函数替代模型的变量驱动型协同优化机制，以便在粗略搜索的各阶段探索具有潜力的变量信息。实验结果表明，所提出的算法相较于标准贝叶斯优化有显著提升，其性能也优于五种现有的高维贝叶斯优化算法以及四种基于替代模型的进化优化策略。总体而言，本研究为解决大规模高成本优化问题提供了新的有效路径。引言 在科学和工程领域中，许多问题都属于高成本问题，例如复杂机器学习模型的超参数设置、车辆碰撞安全性评估以及机翼设计优化等。对于这类问题，目标函数或约束条件往往只能以黑箱形式存在，必须通过计算成本高昂的仿真或物理实验来评估。例如，对高频集成电路进行一次评估大约需要10到15分钟，而一般的太赫兹频段电磁仿真则可能需要20到30分钟。在这种情况下，贝叶斯优化作为一种高效的全局优化方法，能够提供宝贵的指导。当将贝叶斯优化应用于这类问题时，那些成本高昂的黑箱目标函数或约束条件通常会被各种替代模型所近似，比如径向基函数、支持向量机、随机森林、人工神经网络以及高斯过程等。在这些模型中，高斯过程因其具备不确定性量化功能、无需对黑箱函数做过多参数假设，同时还拥有高效的后验更新机制，而被最为广泛地用作替代模型。同时，贝叶斯优化会依据某种获取函数来选择需要进一步评估的候选解，常见的获取函数包括下置信界、改进概率以及期望改进值等。与下置信界和改进概率相比，期望改进值能够通过动态衡量当前最佳解的改进潜力，实现探索与利用之间的平衡，这不仅降低了超参数调整的敏感性，还能提升优化的样本效率。因此，通过结合高斯过程与期望改进值，贝叶斯优化已被证明在处理高成本优化问题时具有良好效果，尤其是在决策空间规模较小的情况下。然而，贝叶斯优化在解决大规模高成本问题时仍面临诸多挑战。显然，决策空间可以通过增加决策变量的数量或扩大每个变量的取值范围两种方式来扩展。面对巨大的决策空间，有限的样本无法有效引导贝叶斯优化过程，而替代模型和获取函数也难以找到最优解。为直观说明这一问题，图中对Griewank函数进行了实证分析，其中决策空间在不同设定下分别为：χ1={x∈R2:?6≤xi≤4,i=1,2}、χ2={x∈R2:?60≤xi≤40,i=1,2}以及χ3={x∈R50:?6≤xi≤4,i=1,2,…,50}。从图中的结果可以看出，当决策空间为χ1时，每轮抽样中50个随机选取解的预测目标值及其标准差差异较大，因此可以很好地区分不同解的性能，获取函数也能有效筛选出有潜力的候选解，贝叶斯优化也能正常工作。而当决策空间变为χ2和χ3时，预测目标值及其不确定性变得难以区分。这是因为随着决策空间的扩大，有限的样本无法获取足够的问题全局信息。这些观察结果与之前的研究结论一致，但那些研究主要强调了维度的影响，而忽略了各维度取值范围的作用。对于可微问题，由于存在可用的梯度信息，算法的效率不会太受决策变量取值范围的影响。但对于大规模高成本问题，由于不存在明确的解析模型，候选解的性能只能通过成本高昂的仿真或物理实验来评估。在这种情况下，虽然扩大决策变量取值范围带来的影响小于增加变量数量的影响，但它仍然会不可避免地降低贝叶斯优化的性能。为了解决贝叶斯优化在大型决策空间中的难题，过去二十年来人们提出了多种方法，包括变量选择、线性/非线性嵌入以及加性结构等。变量选择方法认为，一个解的性能完全由少数变量决定，这些变量被称为优化问题中的活跃变量。这些活跃变量可以通过分层对角采样、参考分布变量选择或基于指示变量的贝叶斯变量选择等方法来识别。有研究提出了基于主成分分析得到的协方差矩阵特征值加权概率分布的维度调度算法，用于选择活跃变量子集；还有研究引入了基于解之间统计差异的自适应丢弃机制，将其融入进化算法中，以便在每次迭代中优化不同的变量。另有研究者开发了基于蒙特卡洛树搜索的变量选择方法，通过迭代构建低维子空间并优化该子空间内的变量。与直接选择活跃变量的方法不同，还有一些研究者提出利用嵌入函数定义低维潜空间，然后在该潜空间内优化大规模高成本问题，之后再将得到的填充样本投影回原始空间进行函数评估。随机嵌入贝叶斯优化算法就是这样一个典型例子，它利用高斯随机矩阵将原始的高维决策空间映射到随机低维子空间中，并从理论上证明了该方法在处理无关维度较多时的稳定性。在此基础上，有研究者指出，传统的线性嵌入方法可能无法为高斯过程模型提供足够的表示，或者会导致搜索陷入局部最优解。还有研究者设计了一种基于低维子空间嵌入的高维贝叶斯优化方法，并给出了基于哈希函数的高效实现方案，其实际性能优于其他依赖高斯投影或结构学习的方法。此外，偏最小二乘回归、切片逆回归等监督学习技术也可用于构建更具信息量的子空间。加性结构是另一种用于解决贝叶斯优化在处理大规模高成本问题时面临的瓶颈的方法，该方法将整个高维决策空间划分为多个互不重叠的低维子空间，分别在每个子空间中应用贝叶斯优化，之后再将这些不同维度的解组合起来进行函数评估。有研究提出的加性高斯过程上置信界方法假设变量可以被划分为多个相互独立的子集，此时高维目标函数可以表示为这些子集上低维函数之和。这样一来，原本复杂的优化问题就被转化为了多个易于处理的子问题，可以通过构建不同核函数的高斯过程来对这些子问题进行优化。不过，由于加性高斯过程上置信界方法对目标函数加性可分离性的假设过于严格，一些研究者对其进行了改进，提出了投影加性假设或允许子集存在重叠的模型。有研究者证明了投影加性方法的损失仅与维度数量呈线性关系，同时还提出了受限投影追求高斯过程模型，用于优化相关的非盒形约束。还有研究者设计了基于一般子集的加性模型，这些子集无需互不重叠，并推导出了高维版本的GP-UCB算法，该算法通过消息传递机制高效地优化获取函数。在特征空间分解未知的情况下，可以将该问题视为超参数优化问题，通过引入马尔可夫链蒙特卡洛方法、吉布斯采样或汤普森采样等技术来进行求解。关于贝叶斯优化在大型决策空间中应用的综述可见相关文献。然而，上述方法大多是对优化目标函数做结构上的假设。在许多实际的优化任务中，所有变量对目标函数的贡献程度大致相当，这就限制了变量选择和嵌入方法的适用性。当这些基本假设不成立时，这类算法的性能往往会受到影响。对于加性结构框架而言，可用样本的匮乏不仅会给问题的可靠分解带来困难，也会影响在各个子问题之间合理分配计算资源。此外，决策变量取值范围的影响至今尚未得到充分重视，但实际上它必然会降低贝叶斯优化的性能，进而影响最终解的质量，如图所示。为弥补这些缺陷，本研究创新性地提出了一种多阶段模糊贝叶斯协同优化算法。该算法利用模糊理论将传统单阶段优化转变为粗略到精细搜索的模式，包括多阶段逐步降低模糊度的粗略搜索以及精细搜索阶段。与那些仅通过聚焦部分决策变量来缩小搜索空间的方法不同，该算法是通过为不同粗略搜索阶段的每个变量定义合适的模糊解来实现这一目标的。因此，它并不假设目标函数仅受部分变量主导，也不要求目标函数能够被合理地分解为多个相互独立的子问题，而是持续探索所有变量对目标函数的影响，这更有助于了解目标函数的真实特性，也具有更广泛的适用性。同时，该算法还引入了基于有潜力变量的协同优化机制，以便进一步挖掘有价值的信息。此外，还设计了多种自适应机制，以提高算法在处理不同问题时的适用性。综上所述，该框架不仅避免了做结构上的假设，还能有效缓解决策变量取值范围带来的负面影响。据我们所知，这是首项利用模糊理论系统解决大规模高成本优化问题的研究。本文的主要贡献如下：1. 针对大规模高成本优化问题，提出了一种粗略到精细的贝叶斯优化框架，该框架通过多阶段在逐渐降低模糊度的不同决策子空间中进行粗略搜索，从而高效地了解全局优化景观，随后再根据已识别的有潜力区域在原始决策空间中寻找最优解。2. 设计了自适应机制，依据高斯分布的特性来确定粗略搜索的阶段数，并在各阶段合理分配评估资源，从而避免手动设置参数的主观性，提高算法对决策空间规模的适应能力。3. 提出了一种基于有潜力变量的协同优化机制，以及一种基于黄金分割比的自适应有潜力变量选择策略，以便在粗略搜索过程中进一步挖掘有价值的信息，提高找到优质候选解的概率。本文的其余结构如下：第2节介绍标准贝叶斯优化算法的背景，第3节阐述所提出的多阶段模糊贝叶斯协同优化算法，第4节展示相应的数值实验结果，第5节给出本文的结论。相关技术 本文研究的是单目标优化问题，这类问题可以表述为：minf(x)s.t.x∈χ?Rd其中，f为目标函数，d为决策变量的数量，x为d维决策变量向量，χ={x∈Rd:vi≤xi≤ui,i=1,2,…,d}为决策空间，vi和ui分别表示第i个变量的下限和上限。目标函数f没有封闭形式的表达式，每次评估都需要消耗大量的计算资源。在贝叶斯优化中，计算框架 本节介绍了用于解决大规模高成本优化问题的多阶段模糊贝叶斯协同优化算法，其核心流程如图3所示。首先，可以根据优化问题的参数来确定初始决策空间，记为χ={x∈Rd:0≤xi≤1,i=1,2,…,d}。接着，通过模糊化处理将初始决策空间转化为多个具有不同模糊程度的决策子空间。为避免主观参数设置，本文采用了相应的框架。

数值实验
在本节中，通过一系列综合实验来评估所提出的MSFBCO算法在解决大规模优化问题方面的有效性。我们将MSFBCO与标准贝叶斯优化方法、五种最先进的高维贝叶斯优化算法以及四种基于替代模型的进化算法进行了比较。

结论
在本研究中，我们提出了一种多阶段模糊贝叶斯协作优化方法，用于解决ELSPs问题。该算法包括粗略搜索和精细搜索两个阶段，其中利用模糊理论将粗略搜索划分为多个逐步降低模糊度的优化阶段。此外，还设计了一种有效的基于变量的协作优化机制，以帮助筛选出有潜力的解决方案。针对Rastrigin函数进行了消融研究。

CRediT作者贡献声明
刘瑞光：撰写——初稿、验证、方法论、概念设计。岳鹏：验证、方法论。明飞：验证、研究分析。陈彦展：可视化、验证。余帆：验证、方法论。刘俊利：可视化、验证。