用于进化贝叶斯优化的帕累托集合分配转移方法

《Pattern Recognition》：Pareto-Set distribution transfer for evolutionary Bayesian optimization

　　• Pareto集合先验引导的填充标准提高了查询效率，并在昂贵的多目标优化中实现了稳健的迁移。• 基于最优传输的对齐机制实现了几何一致性迁移。• 高斯混合先验指导采样朝向决策空间流形。• 理论：通过先验引导的填充标准来确定遗憾界限。• 机器学习模型的超参数优化。

引言
多目标优化问题（MOPs）在各种现实世界领域中频繁出现，例如超参数优化[1]和工程设计[2]。与单目标问题不同，MOPs需要同时考虑多个相互冲突的目标，因此无法找到一个能够同时优化所有目标的单一解决方案。因此，MOPs的目标是近似一组多样化且具代表性的帕累托最优解，这些解共同构成了帕累托前沿（PF），表征了竞争目标之间的权衡关系。多年来，进化算法（EAs）已被证明在解决具有挑战性的优化任务方面非常有效且稳健，包括在噪声存在和建模不确定性下的参数恢复问题[3]。然而，它们通常需要大量的评估才能在多目标优化中达到收敛。在每个评估都非常昂贵的场景中（例如，鲁棒空气动力学设计[4]），总体评估成本可能非常高昂。为了减少昂贵目标的评估预算，EAs采用了低成本的替代模型来指导搜索[5]、[6]。早期研究使用替代模型来加速计算成本高昂环境中的局部搜索[7]。除了局部建模之外，贝叶斯优化（BO）[8]还追求目标函数的全局建模，并通常使用高斯过程（GPs）[9]作为概率替代模型，通过填充（获取）函数来平衡探索和利用。然而，由此产生的函数景观往往是非凸的且多模的。由于基于种群的EAs能够保持多样性、并行探索，并且不太容易陷入局部最优解，因此它们能够很好地处理这种崎岖的景观[10]。这激发了进化贝叶斯优化（EBO）[11]的发展，它使用EA来优化填充标准并产生新的评估点。代表性的EBO方法包括ParEGO[12]、MOEA/D-EGO[13]和K-RVEA[14]。

尽管在解决昂贵的MOPs方面有许多成功的案例，但许多现有算法仍然高度依赖数据。在评估预算极为有限的场景中，如现实世界应用中常见的情况，仅基于少量样本构建的替代模型可能缺乏有效指导优化过程所需的准确性。因此，这些方法可能仍然需要大量的评估才能充分探索PF。这种限制通常被称为“冷启动”问题。一种有前途的方法是迁移优化[15]，它旨在通过利用相关源任务的知识来加速目标任务的收敛。通过重用之前的优化经验，迁移优化可以提高搜索效率并显著减少所需的昂贵评估次数。例如，在空气动力学翼设计中，为亚音速飞机优化的几何参数可以用于快速启动类似跨音速飞机的设计，利用共享的空气动力学结构以更少的模拟次数获得高质量的设计[5]。

最近在昂贵的黑盒问题迁移优化方面的进展主要集中在开发可迁移的替代模型来指导搜索过程[16]。例如，基于迁移核和多任务GPs的方法通过建模目标值的概率相关性来跨任务共享知识[17]。在这些基于替代模型的框架中，新的候选解通常是通过优化从替代预测计算出的填充标准来生成的。这种填充标准利用了在迁移感知替代模型中编码的先验知识（例如，通过迁移核或多任务结构），从而将候选解的生成偏向于在相关任务中被预测为有前途的区域。

相比之下，我们的方法是通过直接建模决策空间中非支配解的分布来实现迁移的，而不是近似完整的响应面。在许多多目标问题中，帕累托最优解位于一个低维流形上，该流形完全包含在搜索空间的有前途区域内。如果相关任务具有相似的帕累托集合几何形状，那么在源任务和目标任务的非支配解的实证分布之间建立基于最优传输的对应关系提供了一种几何感知的迁移机制，使搜索偏向于这个流形及其邻域。这将评估集中在结构上合理的候选解上，并使优化对任务之间的输出尺度或目标形状变化不那么敏感，因为先验编码的是“好解所在的区域”，而不是“整个函数的行为”。对于昂贵的优化来说，这种几何感知的先验使搜索偏向于结构上有前途的区域，增加了转移帕累托集合周围的采样密度，同时仍然允许在其外部进行探索。如图1所示，这有助于避免对广阔无前途区域的有效探索，从而减少不必要的评估并加速收敛。这种方法还提供了两个额外的方法论好处。首先，它使得迁移过程较少依赖于响应面的相似性，因为迁移的知识是由帕累托集合的几何形状表示的，而不是目标值的相关性。其次，它避免了训练成本高昂的多任务或迁移替代模型，使得迁移机制在源任务数量或决策变量增加时更具可扩展性。这些好处在第4节通过与替代驱动的迁移方法和高维可扩展性实验的比较中进行了检验。

基于这一视角，我们提出了Pareto-Set Distribution Transfer for Expensive Evolutionary Multi-Objective Optimization（PSDT-ExEMO），这是一种具有先验引导填充标准的EBO框架。我们的主要贡献总结如下：
• 我们提出了一种基于OT的方法，在目标决策空间中构建几何一致的先验，通过使用源任务和目标任务的实证精英分布之间的耦合来学习传输映射，并将映射的源任务非支配解作为高斯混合先验的中心。与依赖于预定义参数假设的对齐策略不同，我们的方法直接在实证分布之间建立了基于Wasserstein的软耦合，在构建先验之前不需要一一对应的源-目标匹配。
• 在此先验的基础上，我们制定了一个先验引导的填充标准（PGIC），该标准通过联合考虑目标GP后验和几何一致的先验来选择候选解，不同于将迁移个体注入目标种群的基于精英的方法和将源响应面信息嵌入迁移替代模型的基于替代模型的方法。这种方法引导采样朝向转移的帕累托集合流形，同时保持探索性，规避了多任务或迁移GP替代模型的高计算成本。
• 我们将先验引导的填充标准嵌入到一个EBO框架中，从而产生了PSDT-ExEMO。在合成基准测试、超参数优化和可移动微工厂位置规划上的广泛实验验证了所提框架的有效性和实际适用性。

章节片段
初步介绍及相关工作
本节简要概述了多目标优化、高斯过程（GPs）和OT的背景，并回顾了迁移优化的相关工作。

提出的方法
本节介绍了所提出的PSDT-ExEMO框架。我们首先介绍先验引导的填充标准及其理论动机，然后描述了构建几何一致先验的基于OT的机制，最后介绍了完整的PSDT-ExEMO算法。

实验设置
我们采用了来自[24]的mDTLZ和mDTLZ?1基准测试套件。目标任务的定义是δ1=1和δ2=0，而源任务的定义是δ1=0.75和δ2=0.25。源任务和目标任务的相似性通过从采样决策空间点的标量化目标值获得的平均R2来量化，结果记录在补充材料的表S-7中。所有基准问题都有10个决策变量和3个目标。源数据集Ds是使用ParEGO[12]和UCB生成的，而Dsnd

结论
在本文中，我们提出了PSDT-ExEMO，这是一种用于昂贵的多目标优化中的帕累托集合分布迁移的先验引导EBO框架。PSDT-ExEMO通过OT对齐源任务和目标任务的精英解分布，并将迁移的源任务非支配解编码为一个具有几何感知的高斯混合先验。这个先验被集成到一个先验引导的填充标准中，使得搜索能够利用可迁移的帕累托集合几何形状，同时保持基于GP-UCB的探索性。

作者贡献声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
吴浩峰：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、软件、方法论、概念化。
刘蛟：资源、形式分析、概念化。
Anna V. Kononova：撰写——审稿与编辑、研究。
Thomas B?ck：撰写——审稿与编辑、监督。
金瑶初：撰写——审稿与编辑、监督、研究。
Yew-Soon Ong：撰写——审稿与编辑、撰写——原始草稿、监督、概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。