基于可扩展神经分类器的自适应重要性抽样用于失效概率估计

《Structural Safety》：Scalable neural classifier-based adaptive importance sampling for failure probability estimation

　　

• 神经网络分类器能够实现复杂高维失效边界的建模。
• 朗之万采样引导重要性采样候选分布的样本生成。
• 防御性重要性采样提高了失效概率估计的鲁棒性。
• 在高达784维的基于图像的算例研究中证明了有效性。

**引言**

可靠性分析是工程系统不确定性量化的基本组成部分，旨在量化系统达到失效状态的概率[1][2][3][4]。形式上，考虑一个具有$d$维随机输入参数$\boldsymbol{x} \in \mathbb{R}^d$的系统，失效概率$P(F)$定义为：
$$P(F) = \int_{\mathbb{R}^d} I(G(\boldsymbol{x}) \leq 0) \, p(\boldsymbol{x}) \, d\boldsymbol{x}$$
其中$p(\boldsymbol{x})$是$\boldsymbol{x}$的联合名义概率密度函数(PDF)，失效事件$F$由极限状态函数(LSF)$G(\boldsymbol{x})$决定，即$F = \{G(\boldsymbol{x}) \leq 0\}$，$I(\cdot)$是指示函数。在许多工程应用中，LSF $G(\boldsymbol{x})$依赖于计算密集型数值模型，使得方程(1)的解析求值不可行。人们已设计了许多技术用于失效概率估计[3][5]。基于优化的方法如FORM和SORM[6][7]在设计点处近似LSF轮廓，但对于具有高度复杂失效区域的问题可能失去精度[8]。代理模型构建LSF的低成本近似并在失效边界附近自适应细化[9][10][11]。然而，完全用代理模型替代高保真模型不可避免地会向失效概率估计引入偏差[12][13]。子集模拟(SuS)[1][14]将一个罕见失效事件分解为一系列更频繁的有条件事件。总体而言，基于采样的策略因其渐近精确性而仍是一个主要焦点[5]。当$P(F)$很小时，基本采样方法即粗蒙特卡洛模拟(MCS)由于需要过多样本才能准确估计而变得不切实际。因此，方差缩减是必不可少的。

重要性采样(IS)是一种基础的方差缩减技术[15][16]。IS从候选分布$h(\boldsymbol{x})$中抽取样本，该分布对失效区域进行过采样，然后重新加权以进行无偏估计：
$$P(F) = \int_{\mathbb{R}^d} I_{G(\boldsymbol{x}) \leq 0} \, \frac{p(\boldsymbol{x})}{h(\boldsymbol{x})} \, h(\boldsymbol{x}) \, d\boldsymbol{x}$$
只要$h$的支撑覆盖整个失效域，上述IS即可提供无偏估计。IS的效率取决于候选分布的选择。零方差(最优)IS密度为：
$$h^*(\boldsymbol{x}) = \frac{I(G(\boldsymbol{x}) \leq 0) \, p(\boldsymbol{x})}{P(F)}$$
由于它需要事先知道失效域和$P(F)$，因此这在实践中无法实现。尽管如此，方程(3)提供了指导原则：有效的IS候选分布应在失效域附近集中概率质量，同时保持稳定的重要性权重。早期的IS工作在进行初步FORM步骤后，围绕设计点构建候选密度[17]，而更近期的方法则利用深度生成模型[18]、高斯混合[19]或变分推断[20][21]来参数化候选分布。

由于失效域可能与名义PDF $p(\boldsymbol{x})$存在显著差异，自适应重要性采样(AIS)方法通过一系列中间阶段迭代地细化候选分布[22]。一种常见的AIS策略引入一系列具有递减LSF阈值的中间失效事件[23][24]：
$$\xi_1 > \xi_2 > \cdots > \xi_T = 0$$
使得每个中间目标分布代表对于逐渐变得更罕见的事件$F_t = \{G(\boldsymbol{x}) \leq \xi_t\}$的最优IS分布：
$$h_t(\boldsymbol{x}) = \frac{I(G(\boldsymbol{x}) \leq \xi_t) \, p(\boldsymbol{x})}{P(F_t)}$$
其中$P_t$是归一化常数。

对于可靠性分析中的IS，Tabandeh等人[16]的综合综述将现有方法分为两大类，取决于最优IS密度的知识如何被使用。这种分类为定位本文工作提供了一个自然框架：

• **密度估计IS**通过估计失效样本上的条件失效概率分布来直接近似最优候选分布。代表性方法包括交叉熵(CE)方法，该方法迭代拟合参数族以模仿最优候选分布[23]。然而，当失效区域多模态或输入维度较高时，密度估计可能不稳定[25]。此外，密度估计仅使用失效样本来构建候选分布，丢弃了占主导地位的多数安全样本。然而安全样本携带着有价值的信息：它们约束了失效边界。一种同时利用失效和安全样本的方法可以从每次LSF评估中提取完整的信息内容。最后，密度估计器可能对模型误设敏感[26]。具有$k$个分量的高斯混合最多只能表示$k$个失效模式[24]。即使具有足够的分量，混合模型的优化景观也是非凸的，导致对初始化的敏感性以及可能收敛到较差的局部最优[26]。非参数混合[26]、冯·米塞斯-费舍尔混合[27]或标准化流[18]等高级变体试图缓解这些问题，但模型灵活性与可训练性之间的张力依然存在，特别是在维度增长时[28]。

• **代理建模IS**不建模密度，而是通过回归用低成本评估的代理替代昂贵的LSF[10][29]。主动学习策略可以显著地提高样本效率[9]，将评估集中在代理不确定性最大的区域。尽管如此，构建准确的代理在高维情况下可能具有挑战性[30]。还存在一类混合方法，利用代理模型生成样本以估计IS候选密度，涉及先用代理建模，然后基于代理进行密度估计[12][31]。

在本文中，我们提出一种替代的桥接方法，它通过重新表述依赖于分类[32][33]，继承密度估计和代理建模方法的关键优势。具体来说，我们训练神经网络分类器来近似AIS序列中每个中间失效事件的指示函数，并将其输出与名义PDF $p(\boldsymbol{x})$结合形成隐式、未归一化的候选分布。由于该候选分布无法直接采样，我们采用马尔可夫调整的朗之万算法(MALA)[34]，利用分类器的梯度信息生成样本，同时保持正确的平稳分布。为了解决累积训练数据集中出现的严重类别不平衡问题，即失效样本远远少于安全样本的情况，我们采用焦点损失[35]。在最终估计步骤中，进一步采用防御性重要性采样混合[29]，以稳定重要性权重，防止学习到的候选分布与真实失效区域之间可能存在的不匹配。

值得将所提出的方法与相关的罕见事件模拟策略进行对比：

• **与密度估计IS的关系。** 关键区别在于未规定密度；相反，候选分布由神经网络分类器隐式定义，具有高度灵活性，实际上可缓解影响参数密度估计器在高维或多模态环境中的困难。分类器的性质使我们能够探索从失效和安全样本中学习，与仅从失效样本学习的表达力神经网络流密度估计IS如REIN[18]形成对比。

• **与代理基于IS的关系。** 与代理基于IS方法一样，所提出的方法从数据中学习LSF几何。然而，大多数代理方法通过回归学习响应的连续近似，而所提出的方法仅通过二分类学习LSF的符号。这使得我们的适用范围更广，适用于任何报告安全/失效结果的模拟器，包括从未暴露数值LSF值的黑箱代码。此外，神经网络分类器的可扩展性可以补充传统代理模型（如高斯过程）在高维和丰富的样本问题上的表现。

• **与子集模拟和序列IS的关系。** 该框架还分享了除AIS之外的中间失效事件的概念思想，包括SuS[1]、放大输入变异的定向IS[36][37]以及其他序列IS技术[38][39]。与SuS不同，SuS将失效概率分解为跨层级的条件概率之积，NC-AIS仅利用中间阶段逐步训练分类器。最终估计通过单次重要性采样步骤获得，避免了跨层级的乘法误差累积。

• **与ASTPA的关系。** Eshra等人[19]的ASTPA框架通过解析平滑指示函数构建未归一化的IS候选分布，并通过准牛顿预条件哈密顿蒙特卡洛进行采样，后跟一个后处理逆IS步骤以恢复归一化常数。虽然ASTPA直接在非高斯空间中取得了令人印象深刻的性能，但它使用解析参数平滑，需要LSF的解析梯度和手动指定平滑参数。相比之下，所提出的框架使用数据驱动的神经网络分类器来直接学习分类失效边界。它不需要LSF梯度，自适应其复杂性以适应问题几何，自然利用失效和安全样本。此外，我们的多阶段设计用于生成逐步具有信息量的训练数据集。

总之，我们的贡献是：
• 一种神经网络分类器引导的AIS框架(NC-AIS)，该框架学习中间失效事件的指示器而非显式密度，在输入维度和训练集大小方面均提供可扩展性；
• 一套实用技术，包括累积数据集构建、针对不平衡训练数据集的焦点损失训练，共同提高小失效概率的估计；
• 在涵盖高达784维问题的全面数值验证，包括多模态解析基准、桁架问题、有限元热传导问题和基于图像的算例研究，证明了所提出的基于分类方法的有效性。

本文其余部分组织如下。第2节回顾了基础知识并详细说明了所提出的神经网络分类器引导的AIS方法。第3节展示了数值结果并与若干基线方法进行比较。第4节扩展到784维基于图像的算例研究。第5节进一步讨论和分析NC-AIS的行为。最后，第6节给出了结论性评论和未来可能的方向。

**分节摘要**

**神经网络分类器引导的自适应重要性采样**
本节发展了所提出的神经网络分类器引导的自适应重要性采样(NC-AIS)框架。

**数值基准算例**
本节通过各种数值算例考察所提出的NC-AIS的性能。

**高维可扩展性研究：基于图像的MNIST分类器算例**
深度神经网络模型越来越多地部署在安全关键应用中，量化其可靠性变得至关重要。这也带来了真正的方法论挑战：神经网络可以通过数百万个学习参数隐式地定义复杂的极限状态函数。输入空间非常高维，通常是图像或时间序列格式中的数百或数千个变量。在本节中，我们构建了一个在784维空间中运行的基于图像的测试算例。

**讨论**
在本节中，我们将分析扩展到关键算法组件的个体贡献、计算开销，然后概述性能优势和局限性。

**结论**
本工作提出了NC-AIS，该框架将自适应重要性采样重新表述为一系列分类问题而非密度估计任务。通过训练神经网络分类器来近似中间失效边界并利用MALA中的其梯度，NC-AIS在不规定参数族或不直接在中间阶段估计归一化常数的情况下构建了高效的候选分布。数值实验证明了……

**CRediT作者贡献声明**

田宇张：撰写——原始草稿、可视化、验证、软件、方法论、调查、获取资金、正式分析、数据管理、概念化。
纪泽张：撰写——审阅与编辑、验证、监督、资源、项目管理、方法论、调查、获取资金、概念化。

**利益冲突声明**
作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

**致谢**
两位作者感谢国家自然科学基金(资助号12302318)和香港研究资助局(资助号26200124)的支持。田宇张感谢香港研究资助局香港博士奖学金计划(HKPFS)的财政支持。

田宇张 | 纪泽张