基于强化学习增强的零阶优化方法用于大规模多目标优化问题

《Swarm and Evolutionary Computation》：Reinforcement learning enhanced zeroth-order optimization for large-scale multiobjective optimization problems

　　

摘要“维度灾难”对多目标进化算法（MOEAs）在大规模多目标优化问题（LSMOPs）中的可扩展性构成了重大挑战。尽管现有的MOEAs在处理数百个决策变量的问题上取得了令人鼓舞的性能，但求解更高维度的LSMOPs仍然计算成本高昂。为缓解这些可扩展性挑战，我们提出了MOZO，一种进化零阶（ZO）优化方法，将零阶方向估计与基于种群的MOEA框架相结合。具体而言，MOZO首先估计和聚合面向目标的ZO梯度以在高维决策空间中提供搜索方向。然后利用加速和自适应模块优化这些方向，并将其嵌入基于种群的进化搜索过程中，以提高对噪声估计和目标冲突的鲁棒性。此外，MOZO整合了强化学习机制，在搜索过程中自适应配置合适的ZO和MOEA模块。在多达100,000个决策变量的基准LSMOPs上的实验结果表明，与五种最先进的MOEAs相比，MOZO具有有效性、高效性和可扩展性。我们进一步将MOZO应用于单GPU上OPT-2.7B和OPT-6.7B大语言模型的微调，结果显示其在内存受限设置下具有实际应用潜力。

引言优化旨在使系统尽可能高效，是推动学术界和工业界进步的基本工具[1]。历史上，研究工作主要集中在单目标优化上，其主要目标是根据指定的标准或性能指标识别最优解[2]。随着系统复杂度的增加，多目标优化的需求也随之增长，以解决相互冲突的目标之间的权衡问题。特别是，各种现实世界的优化挑战体现了多目标优化问题（MOPs）的精髓，其特点是存在多个相互冲突的目标。与单目标优化不同，求解MOP会得到一组Pareto最优权衡解，为决策者提供全面的信息。

数百种多目标进化算法（MOEAs）已被提出，它们遵循全局优化的元启发式原理，使用基于种群的机制来获得一组多样化的最优解[3]。尽管在解决MOPs方面取得了令人鼓舞的进展，但目标函数的固有非线性和维度限制了MOEAs的效率和有效性[4]。非线性问题源于非多项式映射函数，记为??。这些函数会产生具有局部最优、多模态特征、偏差或凹特征的崎岖景观[5]。幸运的是，这一挑战可以通过纳入多样性维持策略来解决，例如小生境机制或多种群模型。这些方法提高了MOEAs的探索能力，但功能评估次数（FEs）的适度增加是不可避免的[6]。

MOEAs面临的第二个挑战是优化问题中的“维度灾难”。当问题维度线性增长时，搜索空间的体积会呈指数增长，从而导致这一现象的发生[7]。这种维度增长导致搜索空间稀疏，使得MOEAs难以有效地探索最优解[8]。维度问题引发了两个专门的研究领域：多目标优化问题（MaOPs）和大规模MOPs（LSMOPs）。MaOPs需要处理三个以上的目标（??>3），由于其存在支配性抗力，传统MOEAs的选择压力会减弱，因此处理起来较为困难[9]、[10]。相比之下，LSMOPs需要在100个决策变量（??≥100）上进行优化，当?????时挑战更大。此外，LSMOPs中目标函数的非线性导致复杂的变量交互作用，产生崎岖的适应度景观和大量局部最优解[11]。

新兴应用，如电力系统参数优化[12]、深度学习模型的设计与微调[13]，以及大语言模型（LLMs）的任务对齐[14]，都需要强大的MOEAs来处理LSMOPs。目标是在学术界和工业界同时管理精细的细节和扩展的系统规模。已对大规模MOEAs给予了显著关注，用于导航广阔的决策空间和复杂的变量交互作用[15]，大致可分为三类。

(1) 基于决策变量分组的MOEAs：如MOEA/DVA[16]、LMEA[17]、LSMOEA/D[18]和LERD[19]等方法，分析决策变量之间的交互作用。通过将高维优化任务划分为多个低维子问题????，??，这些方法通过分治策略有效减少了搜索空间并提高了搜索效率。然而，决策变量分析通常会产生???(??2)的复杂度，这可能导致过多的FEs和可扩展性挑战[20]。

(2) 基于决策空间降维的MOEAs：如WOF[21]、LSMOF[22]和LMOEADS[23]等技术，从问题缩减的角度构建降维映射??:??→???。然而，这种降维可能无意中使搜索陷入局部或伪最优解中[24]，特别是在降维过程中关键区域被不当排除或扭曲时。

(3) 基于新颖子代生成的MOEAs：这些方法通过自适应繁殖算子增强种群搜索能力，如LMOCSO中的群体智能[25]、DGEA中的分布扰动机制[26]，以及DSSEA中的子空间探索[27]。其主要目标是通过生成有希望的子代解来增强MOEAs的探索能力，这需要大量的FEs才能有效收敛[28]。

尽管在处理数百、数千甚至数百万决策变量的LSMOPs方面取得了显著进展[29]，但随着决策空间维度的扩大，实现有效且高效搜索的挑战依然存在。利用梯度信息是缓解大规模决策变量相关复杂性的最有效策略之一。Adam[30]和随机梯度下降（SGD）[31]等基于梯度的技术被用于训练深度学习模型，被视为训练大型模型最有效的方法。然而，在黑箱优化场景中，梯度信息往往无法获取或在数学上极难推导。现有方法，如MOCGDE[32]和基于DE的方法[33]，通常忽略估计梯度与进化算子之间的关系。其他方法依赖引入随机性的元启发式策略，但缺乏明确的数学基础[34]。所有这些疏忽都限制了它们在LSMOPs复杂性面前的导航能力。

近年来，零阶（ZO）优化技术在深度学习领域受到关注[35]。ZO优化通过有限差分近似梯度，从而绕过对显式梯度的需求，所得算法在结构上与一阶（FO）方法相似[36]。这些ZO方法在理论上具有无偏梯度估计和可证明的收敛性，适用于大语言模型（LLM）微调任务[37]。然而，ZO估计误差在高维空间中迅速增加。其在多个冲突目标下的可扩展性也很差，限制了收敛速度和在大规模设置中的适用性[38]。

受ZO优化与MOEAs相结合处理LSMOPs潜力的启发，我们探索了这一有前景的途径。这种整合并非直接简单，因为使用ZO技术近似多个冲突目标的搜索方向仍然具有挑战性，同时需要在保持大规模决策变量可扩展性的同时保留元启发式处理非线性和崎岖景观的优势。为应对这些挑战，我们提出了一种用于大规模多目标优化的自动进化零阶优化方法。主要新贡献总结如下：

• 我们提出了MOZO，一种用于LSMOPs的进化零阶方法。其机制层面的创新在于在基于种群的更新过程中耦合了面向目标的ZO方向构建、多目标方向聚合与冲突处理，以及状态依赖的模块配置。MOZO并非声称消除维度灾难，而是旨在通过在高维决策空间中提供评估高效的方向引导来缓解由此带来的可扩展性困难。

• 我们开发了一种基于强化学习的配置机制。它在搜索过程中自适应选择估计、聚合、加速、自适应和MOEA模块。这使得MOZO能够在线调整搜索行为，而不是依赖固定的人工选择配置。

• 在基准LSMOPs上的大量实验证明了MOZO的有效性、高效性和可扩展性。在OPT-2.7B和OPT-6.7B微调任务上的额外结果显示了MOZO在内存受限LLM优化场景中的实际应用潜力。

本文其余部分组织如下。第2节回顾了一些优化概念并概述了本研究动机。第3节详细阐述了MOZO及其模块。第4节给出了实验研究和应用结果，第5节得出结论。

章节片段

**预备知识与动机**

本节介绍大规模多目标优化的问题设置，简要回顾与本工作相关的零阶优化背景，并提出MOZO的动机。

**方法**

我们提出了MOZO，一种用于大规模多目标优化的自适应进化零阶算法。如图2所示，MOZO在基于种群的搜索过程中增加了零阶方向信息和在线配置控制器。在第??代，控制器首先指定估计、聚合、加速和自适应模块的配置。根据选定的配置，MOZO为每个个体计算面向目标的零阶Jacobian。

**实验验证**

我们系统地在GLSMOP测试套件上测试了MOZO及其静态变体的性能，分析了各组件的贡献以及基于RL的动态选择机制的有效性。然后考察了MOZO相对于问题维度的可扩展性，并与五种最先进的MOEAs进行了全面比较。最后，在GPU内存受限条件下比较了MOZO相对于基线方法在LLMs多目标微调中的性能。

**结论与未来工作**

本工作提出了MOZO，一种处理具有扩展决策变量的LSMOPs的自动进化零阶优化方法，将ZO优化与MOEA范式相结合，并整合强化学习实现自适应配置。这种整合弥合了高效无梯度启发式方法与现代MOEAs采用的有效全局搜索策略之间的差距，从而缓解了与“维度灾难”相关的某些可扩展性挑战。

CRediT作者贡献声明

Yonglin He：原创草稿撰写、方法论、调查研究。Cheng He：审阅与编辑、资金获取。Zhichao Lu：方法论、形式化分析、数据整理。Ye Tian：软件开发、方法论。Handing Wang：验证、调查研究。Yinglan Feng：资源提供。Hongbin Li：监督指导。

代码可用性

为支持可重复性，我们已准备了一个发布包，包含实现代码、PPO训练设置、随机种子、静态模块配置和LLM微调脚本。该包在项目仓库中公开可用。

**5 利益冲突声明**

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所述工作的客观性。

Yonglin He | Cheng He | Zhichao Lu | Ye Tian | Handing Wang | Yinglan Feng | Hongbin Li

华中科技大学电气与电子工程学院，先进电磁技术国家重点实验室，武汉，430074，中国