基于变分贝叶斯推断的多目标可靠性设计优化方法

《Applied Mathematical Modelling》：Variational Bayesian inference-assisted approach for multi-objective reliability-based design optimization

　　凌春燕|杨乐昌|王敏杰|恩里科·齐奥
上海大学机电工程与自动化学院，上海，中国

**摘要**
基于可靠性的设计优化长期以来一直得到研究，已经建立了许多方法来减轻计算负担。然而，多目标基于可靠性的设计优化是一个新兴的研究领域，由于其复杂性，尚未得到充分研究。为了填补这一空白，本文提出了一种新颖的方法，能够高效地解决具有隐式概率约束函数的多目标问题。总体思路是在实施优化之前，首先为复杂的概率约束函数建立一个足够精确的替代模型。为此，采用元模型来构建替代模型，减少对原始黑盒模型的调用次数，提高计算效率。扩展的可靠性空间确保替代模型在优化过程中可能访问的所有区域内保持准确性。该方法不是同时生成所有候选方案，而是通过变分贝叶斯推断逐步生成候选方案，以分层更新替代模型。此外，还开发了一种多目标性能度量方法用于内环可靠性分析，进一步减轻计算负担。通过几个示例展示了所提方法对非线性问题的有效性和适用性，结果表明其与现有研究相比具有竞争力。

**引言**
不确定性是工程设计中固有且普遍存在的成分，即使是其值的微小变化也可能由于非线性和耦合效应导致系统异常或任务中断[1,2]。虽然精密制造可以有效减轻不确定性，但无法完全消除不确定性。因此，更根本的方法是设计对变化本质上不敏感的系统，这是基于可靠性的设计优化（UBDO）[[3], [4], [5]]的基础原则。将不确定性分析纳入决策过程是可靠性和设计领域的一项重大突破[[6], [7], [8]]。作为UBDO的关键流派，基于可靠性的设计优化（RBDO）[[9], [10], [11]]提供了一个严格的框架，确保在概率约束下系统的安全性和功能性，有效地用可量化的可靠性度量代替了经验驱动的、通常偏保守的安全系数。此外，许多实际设计问题涉及多个 conflicting 目标，如成本、重量和性能。在这种情况下，为每个目标设置刚性约束是不切实际的。这促使RBDO扩展为多目标RBDO（MORBDO）。MORBDO旨在找到一组帕累托最优解，代表竞争目标之间的最佳折中方案，其中改进一个目标不可避免地会恶化另一个目标[12,13]。由于没有单一解决方案可以优化所有冲突目标[14]，当前的方法是找到一组帕累托最优解，以阐明目标之间的权衡[15,16]。这可以通过使用无需主观权重分配的无梯度灵活元启发式算法（如NSGA-II [17] 和多目标粒子群优化（MOPSO）[18]）有效地实现。这些方法可以在单次优化运行中探索一组不同的非支配最优解。尽管MORBDO提供了丰富的帕累托前沿上的权衡解，但它累积了可靠性分析和多目标优化（MOO）的计算挑战，尤其是在使用高保真仿真模型时。

在这种情况下，将元模型与MOO算法结合是一种非常合理的方法。例如，Song等人[19] 使用人工神经网络（ANNs）和动态MOPSO处理复杂结构的MORBDO，其中ANNs近似系统响应，MOPSO调整惯性权重和学习因子。Hamzehkolaei等人[20]引入了两种混合方法：一种结合非支配排序加权仿真和局部搜索的方法来近似帕累托前沿；另一种伪双循环方法，将加权仿真与NSGA-II结合，迭代优化帕累托解。Ho-Huu等人[21]将MORBDO分解为独立的MOO和可靠性分析阶段，以识别符合可靠性的帕累托解。Panagant等人[22]为桁架结构开发了两种多目标差分进化变体，区别在于是否使用了鲸鱼优化。Lim等人[23]结合基于最可能点（MPP）的可靠性方法和一阶敏感性以及多目标遗传算法（MOGA），并通过序列统计建模和降维进行改进。Ghaderi等人[24]建立了用于公差设计的贝叶斯模型，并使用NSGA-II进行MORBDO。Zadeh和Mohagheghi[25]提出了基于混合分解的MOPSO和顺序二次规划方法，用于复合结构的MORBDO。

尽管已经做了很多努力来有效解决MORBDO问题，但仍有改进的空间。特别是对于依赖高保真仿真的高端设备结构和机械（如航空设备），它们的概率约束涉及隐式黑盒模型。直接调用仿真模型会带来巨大的计算成本，使得难以满足工程应用的效率要求。因此，需要设计更高效的方法来有效降低MORBDO的计算成本。关键在于如何在确保解决方案准确性的同时减少模型调用次数。从上述文献综述[26,27]可以看出，结合进化算法和先进的可靠性分析策略（即基于元模型的方法）可能是提高解决MORBDO问题效果的潜在途径。基于此，本文提出了一种新的基于元模型的方法来解决MORBDO问题。该方法首先在扩展的可靠性空间中为概率约束函数建立一个全局替代模型[28,29]。然后，将单目标性能度量方法（PMA）扩展到多目标问题，将概率约束函数转换为确定性约束函数。之后，将简单的分析替代模型应用于可靠性分析和优化，从而显著降低计算负担。为此，建立的替代模型必须在优化阶段可能被调用的所有地方都保持准确性。与大多数现有的一次性生成所有候选样本的基于元模型的方法[2]不同，本文提出了一种基于变分贝叶斯推断（VBI）的自适应重构策略，以提高替代模型的效率和准确性。

VBI是一种统计推断的变分方法，可以渐近地近似指定变分族中的潜变量后验分布[[30], [31], [32]。基于平均场理论（MFT）[32]，VBI将潜变量的联合后验分布分解为它们边缘分布的乘积。它是一种计算效率高的马尔科夫链蒙特卡洛（MCMC）模拟的替代方法，已被广泛应用于各种机器学习算法中。MCMC是一种随机方法，它生成的后验样本取决于链中的前一个样本，其接受或拒绝一个点依赖于随机数。相比之下，VBI是一种确定性方法，生成的样本彼此独立。此外，它在推断后验方面的效率远高于MCMC。

本文提出的候选样本池自适应重构方法利用了VBI的后验推断能力。从一个小的初始样本池开始，它使用新添加的训练样本点提供的有效信息来推断新候选样本的分布，从而生成新的候选样本池。通过嵌入候选样本池自适应重构策略，替代模型的更新包括两个过程：样本池重构过程和替代模型更新过程，直到替代模型达到足够的准确性。所提出的策略可以自适应地确定最终候选样本池的大小，并在每次更新替代模型时压缩候选样本池的大小，从而显著提高训练样本的搜索效率和替代模型的更新效率。

本文的主要贡献如下：
(1) 构建了一个样本池自适应重构策略。与一次性采样[2]相比，该策略可以逐步构建和动态调整候选样本池，自适应地确定其大小，从而有效减少候选样本池的规模并加速模型收敛；与需要在每次迭代时更新候选样本池的局部替代模型方法[33]相比，所提出的方法不需要在每次采样之前寻找最优设计解，从而实现更高的灵活性和更低的错误率。
(2) 开发了一种基于元模型的多目标PMA（MO-PMA），将概率约束等效地转换为确定性约束，简化内环可靠性评估，并提高解决方案过程的可行性和计算效率。

本文的其余部分组织如下：第2节回顾了MORBDO的表述，第3节详细介绍了所提出的解决方法，第4节提供了数值验证，第5节总结了研究。

**MORBDO的表述**
MORBDO的数学模型通常可以表示为[18]：
\[
min_{\mu} X := \left\{ C_1(\mu X), C_2(\mu X), \cdots, C_k(\mu X) \right\} \in S, \quad \text{满足 } P\{ g_i(X) \leq 0 \} \leq \Phi(-\beta_i T) \quad (i = 1, 2, \cdots, n_c), \quad \mu_XL \leq \mu_X \leq \mu_XU
\]
其中 \( C(\mu X) \) 是与不确定设计参数 \(\mu_X \) 相关的多个目标函数 \( C_i(\mu X) (i = 1, 2, \cdots, k) \) 的集合，目标函数的数量 \( k \geq 2 \)。\( X \) 是由分布参数为设计变量 \(\mu_X \) 的随机变量组成的向量。\( \mu_XL \) 和 \( \mu_XU \) 是 \(\mu_X \) 的下限和上限向量。

**基于VBI的MORBDO元模型方法**
当概率约束函数的评估计算成本较高时，基于元模型的方法非常有效。核心思想是用一个代价低廉但准确的替代模型替换原始复杂函数。通过使用定制的自适应学习策略，该方法逐步丰富实验设计（DoE），逐渐提高替代模型在关键区域的局部准确性，使其能够捕捉原始函数的关键特征。

**示例**
到目前为止，我们已经详细描述了用于解决MORBDO问题的完整算法。本节提出了两个数值示例和一个工程应用来验证其有效性。在以下示例中，应用了三种方法来求解帕累托解：没有元模型的标准MO-PMA；由GP元模型辅助的MO-PMA（MO-PMA-GP）；以及添加了VBI的改进型MO-PMA-GP（MO-PMA-VBI-GP）。关键区别在于替代模型建模的方法。

**结论**
为了解决实际工程应用中MORBDO问题由于仿真模型导致的计算强度，本文提出了一种高效的解决方案策略，该策略将自适应替代模型与MO-PMA相结合。关键在于加快候选样本池的遍历速度，以实现快速筛选训练样本和实时更新替代模型。为此，开发了一种自适应候选样本池重构策略。

**作者贡献声明**
凌春燕：撰写——原始草案，方法论。
杨乐昌：方法论，概念化。
王敏杰：调查，形式分析。
恩里科·齐奥：撰写——审阅与编辑，验证。