基于梯度引导的条件扩散方法用于高维高成本多目标优化

《Swarm and Evolutionary Computation》：Conditional diffusion with gradient guidance for high-dimensional expensive multi-objective optimization

　　陈世坤 中国宁波财经大学金融信息学院

摘要：在函数评估成本较高的多目标优化问题中，需高效利用有限的计算资源。现有的基于替代模型的进化算法通常依赖高斯过程或径向基函数，但这些方法存在立方级计算复杂度，并且在高维决策空间中性能下降。本文提出了一种条件扩散框架，将帕累托集建模为可学习的概率分布，而非离散点集合。该方法包含三个部分：基于变换器的扩散模型，根据偏好向量生成候选解；梯度引导采样机制，在逆向扩散过程中利用替代模型得到的下降方向；以及用于批量选择的熵加权采集集成。该扩散模型能够直接将噪声样本映射到帕累托最优区域。与各向同性的变异操作不同，梯度引导使生成过程朝着更好的目标值发展，而排斥机制则保持解的多样性。我们在决策维度高达100、目标数量多达10的多个基准测试集中对所提方法进行了评估，结果显示在相同的评估预算下，其性能优于现有最先进方法。

引言：多目标优化问题出现在工程设计、药物发现以及机器学习超参数调整等领域，决策者需要在相互冲突的目标之间找到平衡[1][2]。在许多实际场景中，每个目标函数的评估都需要复杂的模拟或物理实验。例如，航空航天设计中，每个候选配置都需要数小时的计算流体动力学分析[3]；同样，药物研发依赖于实验室检测，这限制了可测试化合物的数量[4]。这类问题被称为高成本多目标优化问题（EMOPs），其评估预算仅限于几百到几千次函数调用，因此传统意义上的基于种群的进化算法并不适用。其目标是通过最少的函数评估来近似帕累托集和帕累托前沿。

基于替代模型的进化算法（SAEAs）通过构建计算成本较低的近似模型来解决这一难题[5]。尤其是高斯过程模型，因其既能提供预测结果又能给出不确定性估计，而被广泛采用[6][7]。然而，高斯过程对于N个训练样本的计算复杂度为O(N3)，随着数据量的增加，这种立方级增长会变得难以处理。更严重的是，在高维决策空间（D>30）中，核距离度量会失去区分能力，不确定性量化也会随之下降[8]。

径向基函数（RBF）网络则为降低计算开销提供了另一种选择[9]。最近的进展引入了多模式运行策略，使RBF在优化不同阶段能表现出不同的行为[10]。不过，不同近似模式之间的切换会在优化过程中引入不连续性。基于神经网络的替代模型，尤其是在训练和测试阶段都应用了丢弃操作的模型，虽然可以通过蒙特卡洛抽样提供不确定性估计，且能适应更高维度的问题[11]，但它们仍受到底层进化框架的限制：变异操作以各向同性的方式扰动解，这种盲目的扰动忽略了帕累托集流形的几何结构，导致大量计算资源被浪费在远离最优权衡面的区域。

对于受约束的EMOPs，除了目标优化外，还需要考虑约束条件的满足，这进一步增加了复杂性。关系型替代模型可以通过预测支配关系来解决这一问题[12]，而基于梯度的变异策略则利用替代模型的导数来处理等式和不等式约束[13]。不过，这些方法通常为目标和约束分别构建模型，从而增加了训练数据的需求。

去噪扩散概率模型（DDPMs）的出现为解决这些限制提供了可能[14][15]。扩散模型通过学习逆转逐步加噪的过程，从而捕捉数据的潜在分布。在优化领域，如果将扩散模型在非支配解上训练，它就能学习到概率分布P(x|Pareto Optimal)。从该模型生成样本，就相当于直接从估算出的帕累托流形中采样，而非在庞大的决策空间中盲目搜索。

最近已有研究开始探索这一方向。CDM-PSL将扩散模型整合到贝叶斯优化循环中，并通过基于熵的加权机制来平衡不同目标之间的指导作用[16]；SPREAD在逆向扩散过程中融入多个梯度下降方向，以确保算法既能收敛又能保持多样性[17]；PGD-MOO则训练一个支配分类器，引导生成过程朝着能够支配参考点的解发展[18]；ParetoFlow则利用流匹配技术学习从噪声到帕累托最优区域的确定性映射[19]。这些方法展示了基于扩散模型的方法的潜力，但它们要么适用于具有固定数据集的离线环境，要么仅适用于维度较低（D≤10）的问题。尽管这些最新研究中出现了梯度引导采样、基于熵的采集以及偏好条件化等独立组件，但尚未有研究将它们统一在一个能够适应高维决策空间（D=100）并支持主动学习的框架中。

本文提出了一种针对高成本多目标优化的条件扩散框架，以应对上述挑战。该方法将帕累托集建模为可学习的概率分布，而非离散点集合。基于变换器的扩散模型根据指定目标权衡区域的偏好向量生成候选解。逆向扩散过程则利用替代模型得到的梯度来引导生成过程朝着更好的目标值发展。熵加权采集集成负责选择需要进行昂贵函数评估的样本批次，而排斥机制则用于保持解的多样性。该框架能够处理含有100个变量的决策空间以及最多10个目标的目标空间。本文的贡献如下：
1. 一种用于帕累托集建模的条件扩散架构，通过基于变换器的噪声预测网络，能够适应高维决策空间（D=100）。
2. 一种梯度引导的逆向扩散采样机制，整合了来自轻量级RBF替代模型的多个梯度下降方向。
3. 一种熵加权采集集成，能够根据不同优化难度自适应地平衡探索与利用。
4. 在包含182种问题配置的多个基准测试集上的实证验证，结果表明在相同的评估预算下，所提方法的性能优于现有最先进的SAEA方法。

本文的其余结构如下：第2节回顾相关研究；第3节介绍所提方法；第4节描述实验设置并分析结果；第5节探讨其背后的机制及局限性；第6节总结全文并指出未来研究方向。图1展示了我们所提出的框架。

相关研究：基于替代模型的进化算法（SAEAs）通过构建成本低廉的近似模型来指导搜索，从而减少昂贵的函数评估次数[5]。高斯过程（GP）替代模型既能提供均值预测结果，又能给出不确定性估计[20]；MOEA/D-EGO则将高斯过程与基于分解的搜索方法相结合[7]，而K-RVEA则通过参考向量引导的选择机制将其扩展到多目标问题[6]。高斯过程的不确定性特性使得可以构建合理的采集函数。

多目标优化：多目标优化问题（MOP）旨在在决策空间Ω上同时最小化M个目标函数：minx∈ΩF(x)=(f1(x),f2(x),…,fM(x))?，其中Ω?RD表示由xL≤x≤xU界定的D维决策空间，F:Ω→RM则将每个决策向量映射到Y?RM中的目标向量。当函数评估成本较高时，总的评估预算B就会受到严格限制。由于各个目标通常存在冲突，不存在一个能同时优化所有目标的单一解。决策...

基准问题：我们在三个涵盖不同问题特征、维度及应用领域的基准测试集上对所提方法进行了评估。DTLZ测试集[42]提供了具有已知帕累托前沿几何结构的可扩展合成问题，我们包含了DTLZ1到DTLZ7，每种问题都带来了不同的优化挑战。DTLZ1和DTLZ3属于多模态问题，存在众多局部帕累托前沿，容易使基于梯度的方法陷入困境。DTLZ2和DTLZ4则具有凹形帕累托前沿，其中DTLZ4还...

为什么扩散模型能提升高成本多目标优化的性能：其优势源于三种互补的机制。首先，扩散模型学习到帕累托集流形的连续表示，而非将解视为离散点。这种学习到的分布使得可以在已观察到的解之间进行插值，从而在未被探索的权衡区域生成候选解，而无需额外的多样性操作。由于训练数据仅包含非支配解，因此生成的解会集中在帕累托前沿附近。

结论：高成本多目标优化问题由于评估预算极为有限，且需要近似处理多种不同的帕累托最优权衡关系，给进化计算带来了持续挑战。传统的基于替代模型的方法虽然在低维环境中效果良好，但随着决策空间维度超过30个变量，就会出现可扩展性障碍。本文通过引入一种条件扩散框架来应对这些挑战...

利益冲突声明：作者声明没有已知的可能会影响本文研究的财务利益或个人关系。

致谢：作者未获得任何外部资助。