基于最高密度区域的采样方法：在替代模型中的应用

《Structural Safety》：A sampling method based on highest density regions: Applications to surrogate models

　　摘要：本文提出了一种实用的、一次性的实验设计策略，用于在不确定性量化背景下训练替代模型。与根据输入分布来设计实验——该方法倾向于在分布的模态附近选取训练点——不同，我们提出了一种启发式方法，在输入随机向量的最高密度区域均匀采样，旨在在整个域上获得更为均匀的近似精度。该方法的性能通过四种误差指标进行评估：两种与任务无关的精度度量（留一法与相对均方误差），以及两种与任务相关的度量，用于衡量参考全局灵敏度指数和失效概率的恢复情况。在各项基准测试中，基于最高密度区域的实验设计在大多数替代模型任务组合中与基于分布的设计相当或更精确，尤其在预测精度和可靠性方面优势明显，而对灵敏度指数的恢复几乎没有影响。该方法适用于黑箱环境，且与现有的低维及适度相关输入的不确定性量化框架兼容，维度灾难主要影响样本生成而非设计策略本身。当单个替代模型需在多个下游不确定性量化任务中重复使用时，该方法尤为有用。

引言：大多数工程和物理问题都涉及对极其复杂过程的理解。在科学界，变分公式被广泛用于描述这类问题。在此背景下，系统行为的预测通常是通过求解一组偏微分方程来实现的。众所周知，这类系统往往极难通过解析方法求解，且在大多数情况下不存在易于计算的封闭形式解。自20世纪70年代以来，有限元方法作为近似求解微分问题最成功的数值方法之一，其处理非线性的能力很快得到了Oden的认可。除了确定合适的模型y=M(x)存在困难外，系统描述中所涉及的大多数变量也都存在不确定性。因此，输入和输出变量可以用随机向量来概率表示。要提取这些向量的统计特性，就需要运用专门的不确定性量化框架，其应用往往涉及如蒙特卡洛模拟这类计算成本较高的方法。尽管现代计算设备的算力提升使得复杂的确定性有限元问题能够在合理时间内得到解决，但将有限元方法与不确定性传播相结合仍然具有很高的计算要求，对于大规模有限元模型而言可能难以承受。为了解决这一限制，所谓的替代模型、元模型或响应面方法受到了广泛关注。影响替代模型质量的一个因素就是实验设计所采用的采样策略。在关于稀疏多项式混沌展开方法的综述中，Lüthen等人将采样策略分为四类：基于输入分布的采样（此处称为自然采样）；从不同分布采样的方法（也称为诱导采样）；最优采样；以及自适应采样。第(i)至第(iii)类策略通常被称为一次性方法，其样本生成无需了解具体问题或进行模型评估。这与第(iv)类的顺序式方法形成对比，后者通过自适应算法在难以近似的区域生成新样本。在本研究中，我们仅聚焦于第(i)和第(ii)类策略。最直接的方法是自然采样，即根据输入随机向量的概率分布来生成样本。在这方面，多位学者已经证明，如拉丁超立方采样、Sobol序列或Niederreiter序列之类的空间填充设计，能够生成在d维单位超立方体[0,1]d内分布极为均匀的样本，从而提高替代模型的精度。从单位超立方体到底层随机向量的映射是通过等概率变换实现的，即便这些样本并非来自[0,1]d上的蒙特卡洛采样，也能按照底层分布在其自然空间中分布。在文献中，另一种称为从不同分布采样的策略，即诱导采样，是通过修改输入变量的概率密度，然后根据更有利的度量标准进行采样。在完整型与稀疏型多项式混沌展开方法的研究中，Hampton和Doostan的研究表明，旨在最小化相干性参数的采样方法，无论是在人造随机函数上还是20维椭圆型偏微分方程上，都能稳定回归过程并降低均方误差。同样地，Narayan和Zhou为非结构化多变量网格上的配置方法建立了稳定性和准确性准则，为在已知输入分布时选择随机网格或低差异网格提供了依据。Narayan等人还提出了所谓稀疏近似方法，以改善条件数并减少所需样本数量。本文的研究也属于类似范畴，但采用了几何和启发式规则。我们没有根据输入变量的自然分布来生成实验设计，而是提议在紧凑区域内均匀采样。由于实际应用中大多数分布的支撑集都是无界的且为单峰分布，我们将该区域定义为输入随机向量概率为1?α的最高密度区域，其中α是一个调节参数，用于控制采样区域的范围。选择这一方法的直觉在于：在自然采样下，训练点会集中在底层分布的模态附近，因此得到的替代模型在模态附近能很好地近似未知模型，但在支撑集的其他区域则未必如此。相比之下，在最高密度区域内均匀采样不会偏向任何特定区域，因此有望在整个域上获得更为均匀的近似精度，包括自然采样很少涉足的低密度区域。需要强调的是，所提出的策略仅作用于实验设计生成阶段：它不会干扰现有流程，对输入分布、替代模型类型以及下游任务均不敏感，因此可以融入任何现有的替代模型构建工作流中。此外，由于所有训练点是一次性生成的，因此训练集的构建完全可并行化，这对于计算成本较高的模型尤为有利。不过，这种通用性也带来了代价。按设计，最高密度区域覆盖策略会将资源分配到整个域，而无法在特定下游任务需要的地方集中样本；因此，在需要针对某一明确关注的量进行设计的场景中，顺序式设计有望更高效地利用相同的评估资源。此外，目前最高密度区域采样的实际应用仅限于低至中等维度的输入数据：这一限制源于在最高密度区域内生成均匀样本的过程，而基于接受-拒绝原理的实现方式会受到维度灾难的影响。本研究将对这些权衡因素进行探讨。我们将所提出的策略应用于三种不同的替代模型构建方法，即多项式混沌展开、普通克里金法和多项式混沌克里金法；对于基于多项式的替代模型，多项式族的选择是基于自然输入随机向量，但样本则是根据不同的分布明确生成的。该方法在九个问题上进行了验证，这些问题包括解析函数、结构工程问题以及地质力学问题。通过四种性能指标来评估采用这两种采样策略训练得到的替代模型的预测能力，这些指标涵盖了替代模型质量的多个方面：两种与任务无关的精度度量，以及两种与任务相关的度量，分别用于全局灵敏度分析和可靠性估计，后者的失效概率范围在10?6到10?2之间。对于这类任务，当仅关注单次失效事件时，顺序式、目标导向型的设计已被证明比一次性设计效率更高，而一次性设计则因其可重复使用性而在实际应用中具有优势，例如可在多个可靠性阈值下或与其他同一替代模型的下游分析一起使用。为获得具有统计意义且易于解释的结果，相关计算共重复了100次。本文的结构如下：第2节介绍了多项式混沌展开模型和克里金模型的数学表达式，阐述了我们的采样方案基础，并定义了用于比较两种采样方法——即自然采样和最高密度区域采样——的四种误差指标。第3节简要介绍了我们用于在最高密度区域内均匀采样的数值实现方法，并给出了9个基准测试问题。第4节首先通过图形直观展示所提方法的主要结果，接着详细比较了各种方法之间的优劣，最后通过一个额外的d维简化函数，探讨了维度与概率水平α的共同影响。第5节讨论了结论及未来的研究方向。

片段摘录：

替代模型构建工作流：设M为一个描述物理系统的计算模型。在黑箱方法中，M被视为一个从d维输入x=(x1,…,xd)到标量输出的未知映射：M:x∈Dx?Rd?y=M(x)∈R。由于M的输入变量往往存在不确定性，因此可以用随机向量来表示，即建立从样本空间——也就是所有可能结果的集合——到称为状态空间的可测空间之间的映射X:Ω→Dx?Rd，该状态空间可以是离散的，也可以是连续的。X=(X1,……

数值实现：为提出一种与现有不确定性量化框架兼容的方法，我们使用了基于的库。该库为替代模型构建和不确定性量化提供了丰富的功能，并且经过了严格的验证。我们的方法能够集成到该库的现有工作流中，主要包括两个功能：确定最高密度区域，以及在該区域内生成均匀分布的点。

Franke问题M1：首先，我们使用二维Franke函数M1来比较这两种采样方法。在n=300的实验设计以及概率为α=0.05的最高密度区域条件下，我们构建了六个Franke函数的近似模型，如图10所示。图10(a)、10(b)和10(c)对应于基于自然设计训练得到的替代模型，而图10(d)、10(e)和10(f)对应于基于最高密度区域设计训练得到的模型。尽管比较不同替代模型系列并非本文的目标……

结论：本文研究了采用另一种采样策略来训练多项式混沌展开、普通克里金法和多项式混沌克里金法替代模型。基于一种启发式和几何准则，我们提议在输入随机向量的最高密度区域所定义的紧凑支撑集内均匀采样。通过一项包含九个问题的基准测试，将所提出的方案与自然采样——即根据输入分布进行采样——进行了比较。

CRediT作者贡献声明：Jocelyn Minini：撰写——初稿、可视化、验证、软件、方法论、概念构思。Micha Wasem：撰写——审阅与编辑、监督、资金获取、正式分析、概念构思。

资金来源：本研究得到了瑞士西部应用科学大学HES-SO“工程与建筑”领域的资助，特此致谢。

利益冲突声明：作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。

致谢：我们衷心感谢同事Corinne Hager J?rin就本研究中的概率和统计方面所提供的宝贵意见与反馈。

Jocelyn Minini | Micha Wasem
瑞士西部应用科学及艺术大学工程与建筑学院，佩罗勒斯80号，1700弗里堡，瑞士