用于昂贵多任务优化的相关性筛选稀疏代理模型集成

《Expert Systems with Applications》:Correlation-screened sparse surrogate ensembles for expensive many-task optimization

【字体: 大 中 小 】 时间:2026年08月29日 来源:Expert Systems with Applications 9.4

编辑推荐:

   摘要 昂贵的多任务优化(EMaTO)寻求在严格的实际评估预算下同时解决多个相关的黑盒优化任务。单任务代理辅助进化算法(SAEAs)通过低成本的模型查询提高数据效率,但它们无法直接复用其他任务学到的景观信息;相反,不进行筛选就接纳所有源任务会使目标搜索暴露于弱相关知识。本文提

  

摘要

昂贵的多任务优化(EMaTO)寻求在严格的实际评估预算下同时解决多个相关的黑盒优化任务。单任务代理辅助进化算法(SAEAs)通过低成本的模型查询提高数据效率,但它们无法直接复用其他任务学到的景观信息;相反,不进行筛选就接纳所有源任务会使目标搜索暴露于弱相关知识。本文提出了一种相关性筛选稀疏代理集成框架,称为CSS-MPS。对于每个目标任务,CSS-MPS使用Z分数动态标准化目标响应,根据在目标留出数据上的Spearman秩相关性筛选在线源代理,并通过一个保留目标自模型的有限单纯形约束二次规划形成集成。相关性筛选、活动源的上限以及自模型锚点共同限制了弱源的影响,从而降低了负迁移的风险。CSS-MPS仅在代理建模阶段插入:候选生成和下一个评估点的选择仍由原始主机优化器控制。我们将该框架集成到六个代表性的单任务SAEA中。在CEC19-MaTSO基准测试套件上,CSS-MPS增强后的主机取得了统计显著的提升或与其原始版本保持统计可比性。任务规模实验进一步表明,在测试范围内,端到端运行时间随任务数量近似线性增长。

引言

昂贵的多任务优化(EMaTO)旨在在有限的实际函数评估预算下同时解决多个相关的黑盒优化任务。此类问题出现在多条件气动设计(Ong, Nair, Keane, 2003; Yan, Zhu, Kuang, Wang, 2019)、不同地质假设下的水库生产优化(Chen, Zhang, Zhang, Xue, Ji, Yao, Yao, Yang, 2020; Dai, Zhang, Wang, Zhang, Chen, Chen, Xue, Wang, Liu, Yan, et al., 2025)以及跨多个学习任务的超参数或架构搜索(Falkner, Klein, Hutter, 2018; Snoek, Larochelle, Adams, 2012)中。与仅涉及少量任务的昂贵多任务问题相比,多任务设置带来的困难超出了每次评估的成本:每个并发任务维护的代理都可能成为其他每个任务的知识来源,因此候选源池随着任务数量K的增长而增长。同时,源-目标关系可能是弱的、不对称的,或者仅在当前的搜索区域内有效。因此,使用不合适的源可能会重新引导搜索并消耗评估预算中不可恢复的部分。

代理辅助进化算法(SAEAs)通过将部分实际评估替换为近似模型的预测来解决昂贵优化问题(Jin, 2011; Jin, Wang, Chugh, Guo, Miettinen, 2019; Shahriari, Swersky, Wang, Adams, de Freitas, 2016)。然而,当任务独立优化时,单任务代理无法利用相关任务已经获取的景观信息。研究人员因此将代理辅助搜索与进化迁移优化相结合,产生了昂贵多任务搜索和多问题代理(MPS)方法(Lu, Zhang, Xue, Zhang, Chen, Cao, Liu, Tan, 2025; Min, Ong, Gupta, Goh, 2019; Tan, Feng, Jiang, 2021; Tan, Wang, Sun, Pang, Tang, 2025; Wei, Wang, Zhong, Liu, Zhang, 2022)。在多任务设置下,这一系列工作提出了三个相关问题:当前阶段哪些在线源代理是可信赖的,当目标数据稀缺时多个源应该如何组合,以及如何控制随着任务数量增加而筛选所有源的成本。

现有的迁移策略仅解决了这一问题的部分。方案级方法交换精英或候选解决方案,并且很容易与不同的优化器兼容,但单个源解决方案并不能描述候选方案在目标任务的当前搜索区域中的排序情况(Liang, Xu, Liu, Tu, Zhu, 2022; Lu, Zhang, Xue, Zhang, Chen, Cao, Liu, Tan, 2025; Wang, Cao, Feng, Jiang, Tan, 2025; Xue, Yang, Feng, Zhang, Song, Tan, 2024)。联合多任务代理可以通过跨任务协方差捕获更丰富的景观依赖性(Bonilla, Chai, Williams, 2007; Swersky, Snoek, Adams, 2013; Tan, Wang, Sun, Pang, Tang, 2025),尽管它们的训练成本随着任务数量和数据样本数量的增加而增加。模型级迁移提供了一个折中方案:训练好的源代理作为景观信息的紧凑载体,其预测结构可以选择和组合。最近的工作表明,大型源代理池中弱相关的模型可能会引起负迁移,这促使了明确的源选择、对齐或稀疏组合(Li, Wan, Gong, Qin, Wu, Xing, 2026b; Li, Xiong, Gong, Qin, Wu, Xing, 2025)。然而,大多数这些研究考虑的是一种预先指定的源模型库或迁移进化多目标优化。在EMaTO中,源代理由并发优化的任务在线更新,而目标任务通常只提供少量的验证样本。因此,仍然存在一个实际差距:动态源代理必须使用本地目标证据进行筛选,并以适度的在线成本集成到不同的单任务主机中。

为了解决这一差距,我们提出了一种相关性筛选稀疏代理集成框架,称为CSS-MPS。该框架包含两个连接组件。验证驱动的秩相关性筛选(VDRCS)首先测试源代理是否在目标留出数据上保留了目标候选方案的局部排序。正相关阈值和源数量上限仅保留少量当前相关的在线代理。然后,一个有限单纯形约束的凸组合将这些源与目标自模型集成,并根据目标验证误差分配权重。因为自模型保留在每个集成中,所以当源信息无用时,预测可以完全依赖目标任务数据。筛选控制哪些源可以进入集成,而有界权重控制被接纳的源对预测的影响程度;这些机制共同降低了弱相关知识引起负迁移的风险。

CSS-MPS仅在主机优化器的代理建模阶段运行。它筛选和组合源代理,但不重新定义候选生成或选择。一旦集成预测返回给主机,下一个评估点仍然由主机的原始模型管理程序、搜索算子或获取准则决定。如果主机能够接受集成预测并继续自己的选择过程,那么它可以使用该模块;如果不需要此类接口或跨任务代理重用,则无需启用CSS-MPS。我们针对六个代表性的单任务SAEA实现了此集成,并在CEC19-MaTSO基准测试套件上进行了评估,使用共同的评估预算和30次独立运行。除主要比较外,我们检验了留出比例、任务规模和小样本相关性估计,以评估参数选择、在线成本和筛选稳定性。

主要贡献如下:
1. 我们为在线EMaTO源代理库引入了一种目标本地筛选机制。VDRCS直接测试每个源在目标留出输入上保留候选方案排序的情况,并使用正相关阈值和Lmax保留少量当前相关的源。
2. 我们构建了筛选后的源代理和目标自模型的一个轻量级凸集成。该方法仅估计少数非负权重,而不重新训练联合多任务模型。目标本地秩筛选、源数量约束和自模型锚点共同限制了弱源的影响并降低了负迁移的风险。
3. 我们将CSS-MPS集成到六个单任务SAEA中,并提供了关于留出比例、任务规模和源筛选稳定性的额外实验。

本文其余部分组织如下。第2节回顾了EMaTO、代理辅助搜索、昂贵多任务优化中的迁移以及源代理组合。第3节介绍了CSS-MPS工作流程、VDRCS、稀疏集成构建和复杂性分析。第4节报告了实验设置和结果。第5节讨论了适用性和局限性,第6节总结了本文。

章节片段

昂贵的多任务优化

一个昂贵的多任务优化问题包含K个具有单独评估预算的黑盒任务:
{x1*,…,xK*}={arg minx∈Ω1f1(x),…,arg minx∈ΩKfK(x)},
其中fk是任务k的目标函数,Ωk是其决策空间,xk*是对应的最优解。由于实际评估很昂贵,每个任务仅维护一个小型的已评估存档,Dk={(xik,yik)}i=1nk,yik=fk(xik)。随着并发任务数量的增加,每个目标获得更多的潜在知识来源,但...

概述

考虑一组K个昂贵的黑盒任务,T={T1,T2,…,TK}。对于任务Tt,主机优化器维护一个已评估存档Dt={(xt,i,yt,i)}i=1Nt和一个仅在该存档上训练的自模型Mt。在线模型库是M={M1,M2,…,MK}。当Tt是目标时,剩余的模型{Ms: s ≠ t}构成候选源代理集。CSS-MPS插入在主机优化的代理建模阶段。其作用在筛选候选源模型并组合选定的模型后结束。

实验研究

本节评估了CSS-MPS在CEC 2019昂贵的多任务优化基准上的有效性、可集成性和计算效率。我们首先检验CSS-MPS如何改变六个单任务昂贵优化器的性能,并将增强后的主机与MSAS-BCKT进行比较。运行时间、任务规模、消融和参数敏感性研究然后评估了计算负担和框架组件的作用。最后,基于实际的纵向诊断...

讨论与局限性

六个主机的结果表明,CSS-MPS可以插入到代理建模阶段而不改变主机的选择规则。该模块仅改变主机使用的预测来源。当没有可用接口存在或不需要跨任务代理重用时,无需启用它。CSS-MPS降低负迁移风险的机制有两层。对于目标任务t,VDRCS首先构建St=TopLmax{s:ρ^ts>τρ},这仅接纳少数...

结论与未来工作

本文提出了CSS-MPS,一个用于昂贵的多任务优化的相关性筛选稀疏代理集成框架。动态Z分数标准化对齐了目标响应尺度,目标留出数据识别相关的在线源代理,而带有目标自模型锚点的低维度凸集成控制了它们对目标预测的影响。相关性筛选首先限制了弱源的接纳;非负凸权重和自模型锚点然后...

CRediT作者贡献声明

洪宇朱:概念化、方法学、软件、验证、形式分析、调查、数据整理、可视化、写作—原稿、写作—审阅和编辑。
黄王鹏:概念化、方法学。
马恩杰:概念化、方法学。
丁金亮:概念化、方法学、监督、项目管理。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本论文所报告的工作。

洪宇朱|黄王鹏|马恩杰|丁金亮
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号