将神经网络特征整合到非平稳高斯过程中，用于高效优化

《Swarm and Evolutionary Computation》：Integrating neural network features into nonstationary gaussian processes for expensive optimization

　　王亚婷|曾三友|赵飞|蒋玉红|李长和|焦如旺
中国地质大学（武汉）机械工程与电子信息学院，武汉430074，中国

摘要
在计算成本高昂的优化问题中，人们期望替代模型既能实现高预测精度，又能进行可靠的不确定性量化，从而在有限的评估预算下为采样决策提供支持。由于神经网络在模拟复杂系统行为方面具有强大能力，因此被视为有潜力的替代模型。然而，它们缺乏直接量化预测不确定性的能力。鉴于高斯过程在不确定性估计方面具有固有优势，本文提出将高斯过程集成到神经网络中，这也可视为基于神经网络特征构建的高斯模型。具体而言，通过将神经网络与高斯过程相结合，开发了一种新的非平稳建模方法。在该方法中，神经网络的隐藏层特征被用作非平稳高斯过程的基函数，使得均值函数能够随决策变量自适应变化，而残差部分则由平稳高斯过程来建模。理论分析表明，所提方法能获得更高的最优似然值以及更强的趋势表征能力。实验结果进一步显示，该方法在不同维度设置下都具有更优的预测精度和优化性能，证明了其在基于替代模型的进化优化中解决高成本优化问题的有效性。

引言
在实际的工程和科学优化任务中，目标函数的评估往往依赖于成本较高的数值模拟或物理实验，如计算流体动力学模拟[1]、结构设计[2]以及电磁优化[3]。与传统优化问题不同，这类高成本优化问题需要大规模的模拟或实验才能获得目标函数值，从而导致极高的计算成本和时间消耗[4]。然而，直接应用传统的进化算法来解决这类问题会导致极高的评估成本，因为通常需要数千次函数评估才能找到最优解。为了解决这一难题，人们提出了基于替代模型的进化算法[5,6]，即利用计算成本较低的替代模型来近似替代昂贵的真实函数评估，从而减少昂贵评估的次数并加快收敛速度。在基于替代模型的进化算法框架内，各种机器学习方法被用作替代模型来构建目标函数的近似值。常见的替代模型包括多项式响应面[7,8]、高斯过程/克里金法[9, [10], [11]]、径向基函数网络[12,13]、支持向量机[14,15]以及神经网络[16, [17], [18]]。这些模型在近似能力、计算成本以及不确定性量化方面存在不同的权衡关系。

与传统依赖预定义函数形式的分析模型相比，神经网络采用多层非线性映射和端到端训练机制，以数据驱动的方式自适应地学习输入变量之间的高阶相关性。这使得它们在建模复杂响应面时具有更高的表示灵活性和泛化能力[19]。因此，神经网络越来越多地被引入替代模型构建中，并应用于进化优化中，以提高对复杂高成本函数的近似精度和搜索效率[16,20]。然而，神经网络本质上是确定性模型，只能提供点估计值，且缺乏明确的不确定性量化功能，因此不适合直接用于支持基于不确定性的自适应采样策略，如期望改进法[21,22]和上置信界法[23,24]。尽管贝叶斯神经网络[25]和MC-dropout方法[26,27]可以提供近似的不确定性估计，但它们往往存在较高的计算成本和校准稳定性不足的问题，这限制了它们在基于替代模型的进化算法中的应用[28]。

在针对高成本优化的基于替代模型的进化算法中，由于其概率建模特性，高斯过程被广泛采用[29,30]。通过对函数空间设定先验并进行后验推断，高斯过程能够同时提供预测均值和分析性预测方差，从而自然地支持基于不确定性的采样策略[31]。然而，高斯过程依赖预定义的协方差核来建模相关性结构，其均值函数通常被设定为常数。这限制了它们有效捕捉复杂趋势、强非平稳性或高度非线性响应的能力[32]。

为了解决上述局限性，研究人员进一步提出了非平稳高斯过程。通过引入与输入相关的协方差结构，非平稳高斯过程能够根据局部特征动态调整其统计行为[33,34]。然而，这类方法仅通过局部修改核函数来处理输入空间的非平稳性，而其均值函数仍然依赖简单的预定义形式。它们无法自动从数据中提取具有区分度的高级表示特征，因此在复杂的工程优化问题中，其表示能力和适应性仍受到限制。

在此背景下，本文从自适应均值函数表示的角度，开发了一种神经网络与非平稳高斯过程的集成模型。具体而言，将神经网络的隐藏层特征作为数据驱动的基函数纳入均值函数中，同时利用协方差函数来捕捉残差变化。通过这种方式，模型的表达能力和概率建模能力得到了协同提升。本文的主要贡献可总结如下：
1）提出了一种基于特征的神经网络-非平稳高斯过程+集成模型，将该模型中的神经网络隐藏层特征纳入非平稳高斯过程的均值函数中，从而实现了兼具高预测精度和不确定性量化能力的替代模型构建。
2）设计了两种不同的神经网络与非平稳高斯过程集成策略，即基于特征的策略和基于输出层的策略，并通过理论分析和实验对这两种策略进行了比较。
3）在典型的高成本优化基准问题上验证了所提方法的有效性，结果表明，在基于替代模型的进化算法框架下，基于特征的神经网络-非平稳高斯过程+替代模型具有更优异的性能。

本文的其余结构如下：第2节介绍神经网络和非平稳高斯过程的基本理论及相关研究；第3节阐述两种集成策略及其理论分析，并提出基于特征的神经网络-非平稳高斯过程+替代模型辅助的进化算法；第4节报告实验结果并进行分析；最后，第5节对全文进行总结，并指出未来的研究方向。

片段摘录
神经网络
神经网络起源于对生物神经系统中信息处理机制的抽象[35]。它们的发展经历了多个阶段，包括感知器[36]、基于反向传播的多层前馈网络[37]、卷积神经网络等结构化架构[38]，以及现代深度学习范式[39]。随着反向传播算法和非线性激活函数的发展，神经网络逐渐演变为一种强大的建模框架。

神经网络的结构
本研究采用的神经网络是一种四层全连接架构，其中隐藏层的神经元数量分别设置为16D、8D和2D+1，D表示输入决策向量的维度。设输入决策向量为x=[x1,x2,?,xD]T，根据公式(1)和公式(2)，各层输出的表达式如下：
h1(x)=tanh(W1x+b1)
h2(x)=tanh(W2h1(x)+b2)
h3(x)=tanh(W3h2(x)+b3)
o(x)=W4h3(x)+b4
其中，h1(x)∈R16D，h2(x)∈R8D，h3(x)∈R2D+1。

实验设置
1）测试问题
实验中采用了CEC2014基准测试集[63]，该测试集广泛用于评估替代模型性能和数据驱动优化算法。它涵盖了多种复杂特性，包括单峰和多峰函数，以及连续、不连续、旋转和非旋转的函数景观，从而能够有效模拟实际优化问题中遇到的非平稳且高度复杂的适应度景观。

结论
本文提出了一种基于特征的神经网络-非平稳高斯过程+方法，并将其嵌入到基于替代模型的进化算法中，用于解决高成本优化问题。通过利用神经网络的隐藏层特征来构建自适应均值函数，所提模型有效地提升了非平稳高斯过程捕捉复杂函数趋势的能力，同时保持了分析性的不确定性估计功能。在CEC2014基准测试集上的实验结果表明，所提算法的性能显著优于基于输出层的集成模型。

CRediT作者贡献说明
王亚婷：写作——审稿与编辑，写作——初稿，方法论，概念设计。
曾三友：监督，资源提供。
赵飞：监督。
蒋玉红：写作——审稿与编辑，监督，项目管理，概念设计。
李长和：监督。
焦如旺：写作——审稿与编辑，监督。