基于自适应混合密度网络的随机模拟器高效重要性采样方法

《Structural Safety》：Efficient importance sampling for stochastic simulators using adaptive mixture density networks

　　韩鹏|张吉泽
香港科技大学土木与环境工程系，香港

摘要
传统的可靠性分析方法通常假设计算模型是确定性的，即对于给定的输入，极限状态函数会给出一个固定值。然而，许多工程系统实际上涉及随机模拟器，对于相同输入的多次评估会得到一系列输出结果，这一现象广泛应用于风力涡轮机模拟和地震工程等领域。本文提出了一种基于随机重要性抽样（SIS）的随机模拟器可靠性分析高效框架，该框架解决了在不知道系统条件失效概率的情况下构建有效提议分布这一核心难题。我们开发了一种基于混合密度网络（MDNs）的自适应替代模型重要性抽样方法，通过参数化混合密度来建模条件输出分布。该框架包含三项创新：利用连续排名概率得分训练MDNs以优化条件失效概率估计；通过对不同数据子集训练的MDNs进行集成聚合以提高鲁棒性；以及将替代模型嵌入到逐步优化提议分布的迭代方案中。我们在基准问题以及随机地震载荷下的结构可靠性分析中验证了该框架，结果表明与现有的SIS方法相比，所提出的MDN-SIS方法在精度和计算效率上均有显著提升。

引言
结构可靠性分析为在不确定性条件下评估工程系统的安全性提供了严谨的概率框架[1]、[2]、[3]。在经典场景中，人们使用确定性模拟器，即给定输入向量总会产生相同的输出。失效事件由某一条件决定，其中表示阈值，相应的失效概率为。通常引入极限状态函数，使得失效对应于某个区域。用这种表示法，失效概率可以统一写为：其中为指示函数，当条件满足时返回1，否则返回0；为输入的联合概率密度函数。由于这种概率积分通常没有封闭形式解，人们通常通过蒙特卡洛模拟来估算[4]、[5]、[6]、[7]。在简单的蒙特卡洛实现中，从总体中抽取个独立样本，失效概率则通过失效指示值的样本均值来近似。这种估计量是无偏的，但在罕见事件情况下方差很大，因为大多数样本位于安全区域，对结果的贡献可忽略不计。

重要性抽样是一种降低方差的技巧，它通过将采样分布向输入空间的失效区域偏移来解决这一问题[8]、[9]、[10]、[11]。具体而言，样本是从经过精心选择的提议分布中生成的，该分布会在失效区域赋予更高的概率密度。为了纠正由此引入的偏差，每个样本都会按照似然比进行加权。重要性抽样的失效概率表示为：通过合理选择，重要性抽样可以大幅降低估计量的方差。理论上，理想的零方差状态可以通过最优提议分布实现，但由于需要事先知道失效区域，这在实践中是不可行的。因此，挑战在于近似这种最优采样分布。目前已有多种重要性抽样提议近似策略，最著名的是基于交叉熵优化的方法[12]、[13]、[14]、[15]、[16]、[17]、[18]，以及替代模型技术[19]、[20]、[21]、[22]。

我们关注一种反映许多现代工程应用的具体场景：模拟器本质上是随机的，因此即使输入相同，由于内部或未建模的随机因素，重复运行也会产生不同的输出[23]、[24]、[25]。从数学上看，这类固有不确定性可以用潜在随机变量表示，这些变量可能确实无法观测，或者维度过高而无法作为显式输入参数纳入。和共同定义了一个随机响应函数。这类随机模拟器广泛应用于多个学科领域，包括社会学[26]、流行病学[27]以及材料科学[28]、[29]。在结构工程中，它们的作用尤为突出，因为结构往往要承受变化的外部载荷，例如由随机生成的风场驱动的风力涡轮机模拟[30]、[31]，以及存在随机不确定性的地震风险评估[32]、[33]、[34]。对于每个输入，随机模拟器都会产生一系列输出结果；我们用表示相应的条件失效概率函数，其中为对应的随机极限状态函数。失效概率则为输入条件下失效概率的期望值：在这种随机环境中，虽然无法通过控制潜在变量的具体值来使模拟器失效，但输入仍然可以控制。

随机重要性抽样将重要性抽样的理念扩展到随机模拟器，通过更频繁地从对失效至关重要的输入区域采样来实现。现有的SIS方法要么试图近似条件失效概率函数，要么直接近似最优提议分布。大致上，已探索了两类主要方法。基于交叉熵的SIS方法[35]、[36]会在每个输入下多次运行模拟器，以获得可靠的基于样本的估计值，然后利用该值拟合参数化的提议分布族。这种方法可能有效，但随着输入维度增加或失效概率降低，所需的模拟工作量（不同输入与每个输入的重复次数之积）会呈指数级增长，从而导致计算上的困难。基于替代模型的SIS方法[37]则通过相对较少的模拟次数训练随机替代模型，从而预测整个输入域内的结果，然后再基于该替代模型构建SIS提议分布。根据假设和数据获取方式的不同，随机替代模型可分为三类。第一类是基于场的方法，它们用谱表示法[38]或Karhunen–Loève展开[39]将模拟器输出表示为随机场。第二类是基于重复仿真的替代模型，如随机克里金法[40]、[41]和核嵌入方法[42]，这类方法依靠在选定的输入位置进行多次模拟来建模输出分布。第三类是不依赖重复仿真的替代模型[23]、[24]、[43]、[44]、[45]，它们基于非重复数据集（每个输入点仅一次模拟）并通过最大似然估计等统计方法推断条件输出分布。最近的研究[46]还探讨了基于降维的方法，通过低维嵌入的联合输入-输出数据来构建随机替代模型。在所有情况下，提议分布的质量都高度依赖于替代模型的准确性：不准确的替代模型会导致较差的提议分布，进而使最终估计量的方差或偏差增大，尤其是在面对复杂的多模态输出分布或高度局部化的失效事件时。

在本文中，我们提出了一种新的基于替代模型的SIS框架，通过采用深度学习替代模型和强大的训练策略来应对这些挑战。我们使用混合密度网络作为替代模型，该模型能够预测模拟器输出的高斯分布混合参数。为了有效地训练用于SIS的MDN，我们没有采用标准的最大似然训练方法，而是使用连续排名概率得分作为损失函数。CRPS是一种适当的评分规则，用于衡量预测的累积分布函数与经验累积分布函数之间的差异。通过最小化CRPS，我们促使MDN不仅准确预测输出的均值和方差，还能预测整个分布，尤其是决定失效概率的尾部行为。我们还通过集成与剪枝策略进一步提升替代模型的可靠性，即使用不同的数据分割训练MDN，再通过剪枝减少替代模型预测的方差。这种MDN替代模型被嵌入到一个自适应SIS算法中，通过新的模拟器运行批次不断优化替代模型。在每次自适应迭代中，当前的替代模型都被用来将采样分布向易失效区域偏移，从而引导有用的训练数据的获取。最终输出是通过所有迭代中按重要性加权的样本计算得到的无偏失效概率估计值。我们在从解析函数到涉及随机地震激励下非弹性建筑框架的真实结构可靠性问题等多种测试问题上评估了所提出的基于MDN的SIS方法。与现有的先进方法，包括基于交叉熵的SIS方法[35]、[36]以及最新的非参数基于替代模型的SIS方法[26]相比，我们的方法在失效概率估计的精确度上始终具有更高表现。

本文的其余部分结构如下：第2节阐述了随机模拟器可靠性问题及相应的最优重要性抽样提议分布。第3节详细介绍了我们基于MDN的SIS框架，包括网络架构、基于CRPS的结合集成学习的训练方法以及自适应采样算法。第4节通过三个示例进行了数值实验，比较了我们方法与现有方法的性能。最后，第5节总结了研究成果，并探讨了未来工作的潜在方向。

问题表述
在随机模拟器可靠性评估中，最显著的特点是每个输入x会通过潜在随机变量z引出一系列输出y=Y(x,z)，从而形成条件失效概率函数s(x)和系统失效概率Pf，如方程(3)、(4)所示。我们的目标是高效地估算Pf。为此，我们采用SIS方法来引导输入x的采样。Choe等人[52]提出了两种无偏的SIS估计量，其形式取决于具体应用场景。

MDN随机替代模型原理
在本研究中，我们采用混合密度网络作为随机替代模型，因为它们能够很好地建模复杂的多模态条件输出分布p(y|x)[49]。虽然各组成分布可以来自任何参数化族，但我们选择高斯混合分布：
py|x=∑k=1KπkxNy|μkx,σk2x
其中混合权重πkx、均值μkx和方差σk2x均由神经网络预测。为确保得到有效的概率密度函数，输出激活值需要进行适当处理。

示例分析
我们在多个具有代表性的示例上，将所提出的MDN-SIS框架与三种现有的SIS方法进行了对比。前两种方法基于CE-SIS方法[35]、[36]，该方法将提议分布的构建转化为密度估计问题。在CE-SIS中，参数化的提议分布q(xi;θ)是通过最小化加权负对数似然来更新的：
Lθ=-1N∑i=1NwCExilogq(xi;θ)
其中权重wCExi可近似表示为：
wCExi≈s^(xi)f(xi)/q^(xi;θ′)
其中s^(xi)表示……

结论
我们提出了一种基于混合密度网络的随机重要性抽样（MDN-SIS）框架，用于高效分析随机模拟器的可靠性。该方法的核心是一个经过训练的MDN，用于近似条件失效概率函数。其有效性依赖于三个关键要素：基于CRPS损失函数的训练，可提高条件失效概率估计的精度；集成策略，可降低替代模型预测的方差；以及自适应采样机制。

CRediT作者贡献说明
韩鹏：撰写——初稿、可视化、软件、方法论、研究、形式分析、数据整理、概念设计。张吉泽：撰写——审阅与编辑、验证、监督、软件、资源管理、项目协调、方法论、研究、资金申请、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
作者衷心感谢中国国家自然科学基金（项目编号12302318）和香港研究资助局（项目编号16200625）的财政支持。