分层Dirichlet过程在矩无关全局敏感性分析中的应用：一种稳健的多模态分布处理方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Hierarchical Dirichlet Processes for Moment-Independent Global Sensitivity Analysis

本文提出并验证了使用分层Dirichlet过程(HDP)替代传统核密度估计(KDE)进行矩无关全局敏感性分析(MIGSA)的方法。作者指出，KDE在处理多模态分布时存在局限性，而HDP方法不仅能生成更准确的联合分布样本，还能提供敏感性指标的分布特性，从而在多模态场景下提供更稳健的结果，并为模型不确定性提供更深入的洞见。

　　

Highlight

全局敏感性分析

全局敏感性分析(GSA)旨在理解模型参数在所有可能输入空间中的整体敏感性，同时考虑输入的不确定性。我们将模型从确定性过程转换为分布视角，将模型的输入X和输出Y视为随机变量，其中Y = f(X)，f是定义模型的某个可测映射。

KDE存在的问题

KDE通常用于从样本中估计概率密度函数。给定一个非负核函数K: R → R_≥0和带宽h > 0，应用于样本 {x_i}_i=1ⁿ? R 的KDE形式为 f?_h(x) = (1/(nh)) Σ_i=1ⁿK((x - x_i)/h). 然而，为了获得准确的估计，必须仔细选择核函数K和带宽h。尽管存在多种选择带宽的规则，但KDE通常对带宽选择很敏感，并且其估计结果依赖于样本质量。在处理多模态或稀疏数据时，KDE可能无法准确捕捉真实分布的结构，导致敏感性分析结果不可靠。

分层Dirichlet过程

分层Dirichlet过程(HDP)是一类从生成数据中近似分布密度的模型。与许多其他密度估计器不同，HDP是一种通用密度估计器，能够从与观测值和先验都一致的后验分布中产生样本。

HDP的特征由以下公式定义：

G_j| G₀～ DP(α_j, G₀)

G₀～ DP(α₀, H)

Θ_ji| G_j～ G_j

X_ji| Θ_ji～ F(Θ_ji)

其中 DP(α, H) 是一个具有集中参数α和基分布H的Dirichlet过程。HDP通过层次化结构共享基分布G₀，使得不同组间的分布可以共享统计强度，从而能够更灵活、更稳健地建模复杂数据，尤其适合多模态分布的估计。

KDE与HDP的对比

在本节中，我们研究KDE和HDP应用于多模态数据时的行为。图3展示了一个双峰混合分布p(x) = 0.25 N(μ=1.5, σ=1)(x) + 0.75 N(μ=-1.5, σ=1)(x)的直方图。

在图3中，选择带宽h_opt以最小化KDE与真实密度之间的总变分距离，即 h_opt= arg min_h∫ |p_t(x) - p_kde(x; h)| dx，其中p_t是真实密度，p_kde(·; h)是带宽为h的KDE的密度。我们将其与HDP密度样本进行比较。在某些区域，KDE可能会过度平滑或欠平滑，导致密度估计失真，而HDP则能更好地保持分布的多个模态。

方法论

我们提出了一种计算矩无关全局敏感性指标（公式(5)）的新方法，其中密度通过分层Dirichlet过程进行估计。具体而言，HDP被实现为一个无限高斯混合模型(IGMM)。我们的方法建立在Wei等人的工作基础上，用HDP替换了核密度估计器，同时保留了公式(8)的重新表述框架。

虽然用HDP替换KDE进行密度估计最初看起来只是简单的替代，但它带来了显著优势。HDP能够对潜在分布的不确定性进行建模，并为敏感性指标提供分布式的表征，而不仅仅是点估计。

示例

在以下示例中，我们展示了HDP方法与基于KDE的方法相比的实用性。Wei等人通过20次独立重评估（每次使用从参数随机变量中独立抽取的样本集）来量化其方法的一致性。在这里，我们使用两种方法从HDP和KDE方法中生成样本。对于HDP评估，我们从MCMC过程中抽取1000个样本，并从得到的密度估计中评估δ敏感性。我们选择...

结论

在这项工作中，我们证明了在计算矩无关全局敏感性指标时，使用分层Dirichlet过程(HDP)进行密度估计的优势。我们的结果表明，当应用于相同数据时，HDP方法比核密度估计(KDE)方法实现了更高的准确性。上面展示的示例清晰地说明了这一点。虽然两种方法在解析案例中结果一致，但HDP方法在其他案例中表现出显著的改进。总的来说，HDP方法在捕获多模态数据特征和量化估计不确定性方面更具优势。