基于截断矩的分段概率分布估计方法在数据不确定性量化中的应用

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Truncated Moments-Based Piecewise Estimation of Probability Distributions for Data Uncertainty Quantification

　　摘要
数据驱动的概率分布构建是工程不确定性量化中的基本任务。传统的分布估计方法在双侧尾部区域通常存在准确性不足和不可靠的外推问题，特别是在数据高度偏斜或非正态的情况下。为了解决这一局限性，本文提出了一种基于截断矩的分段概率分布估计方法。整个分布被划分为主体区域和两个尾部区域，每个区域分别使用具有截断矩的三次正态分布（CND）进行建模。引入了范围扩展策略和边界约束，以确保分段模型的连续拼接并满足概率归一化条件。此外，建立了尾部拟合误差、样本大小和截断矩之间的定量关系，为阈值选择提供了系统化的标准。通过对理论分布、随机函数和真实世界工程数据集的广泛验证，证明了所提出方法在尾部区域估计和概率外推方面具有更高的准确性。

引言
材料属性、环境载荷和结构响应中固有地存在不确定性[1,2]，这些不确定性来源于固有的随机性、制造变异性以及测量或观测误差。在工程实践中，从观测数据估计概率分布是结构状况评估、安全评估和不确定环境中的早期预警系统的基本步骤。例如，风速的统计建模能够准确估计风载荷，从而为韧性结构设计策略的开发提供依据[3]。同样，由结构健康监测（SHM）系统收集的数据可以用来构建桥梁交通载荷效应的概率模型，支持关键基础设施的基于证据的设计和维护决策[4]。此类分析的主要目标是基于经验数据评估目标事件的概率，从而揭示相关随机变量的分布特征。这些洞察力支持了一系列下游任务，包括统计推断、基于风险的决策制定和设计优化。在这个工作流程中，选择适当的模型和估计方法是准确拟合经验分布的关键步骤，这些分布通常由观测数据的直方图表示。

非参数方法避免了关于底层分布形式的先验假设，完全依赖于经验数据进行模型构建。一个著名的例子是核密度估计（KDE）[5,6]，该方法已在广泛的工程和科学应用中得到采用[7,8]。该方法使用预定义的核函数平滑单个观测数据点，然后将平滑后的值聚合起来以构建概率密度函数的估计。KDE的准确性在很大程度上取决于适当带宽的选择[9,10]，必须在这两者之间平衡局部分布细节的保留和全局平滑性。作为另一种选择，正交级数估计方法[11,12]通过正交基函数的展开来近似密度函数。尽管理论上是严格的，但这些方法往往无法保证有效概率分布的基本属性，尤其是非负性和单位积分的归一化。另一种灵活的建模框架使用基于B样条的方法[[13], [14], [15]]，其中目标密度函数表示为B样条基函数的线性组合。在这类工作中，开发了一种先进的方法[16]，该方法结合了B样条理论和最大熵原理来重建复杂的概率分布，分布的形式通过优化样条系数来确定。此外，还提出了一种基于改进的Mellin变换的高级非参数分布估计方法[17]，尽管这种方法需要开发一个更合理的标准来选择总谐波矩的数量。

尽管非参数方法在适应不同分布形状方面具有灵活性，但它们经常难以准确描述分布尾部行为。具体来说，这些方法生成的概率估计被限制在观测数据的范围内，无法外推到极端尾部区域。此外，由于可用样本的稀少，尾部区域的概率估计非常不可靠，这通常导致噪声较大、不稳定的估计结果。

参数方法假设经验数据遵循已知的、预定义的概率分布模型，并使用包括最小二乘回归、最大似然估计、贝叶斯推断和矩方法在内的成熟技术来估计模型参数。最小二乘法[18,19]通过最小化理论分布预测与观测数据之间的差异来优化模型参数。最大似然估计[20,21]识别出能够最大化观测数据集可能性的参数值。贝叶斯推断[4,22]基于贝叶斯定理，通过计算密集型数值方法将先验领域知识与观测数据结合起来，以推导出模型参数的后验分布。矩方法[23,24]通过匹配样本矩和其理论对应值来估计模型参数，具有较高的计算效率。这些估计框架促进了各种概率分布的实际应用。常用的双参数分布包括正态分布、对数正态分布和威布尔分布[25]。更灵活的三参数公式包括偏态正态分布[26]、平方正态分布[27]、三参数对数正态分布[28]、伽马分布[29]和三参数威布尔分布[30]。高级的四参数模型包括Pearson系统[31]、广义λ分布（GLD）[32]、偏移广义对数正态分布（SGLD）[33]、三次正态分布（CND）[34]和Hermite多项式模型（HPM）[35]。此外，还开发了鞍点近似方法[36,37]、基于矩的最大熵模型[38]和混合分布模型[39,40]，以提供更好的建模灵活性。具有不确定混合组分数量的混合分布模型，也称为半参数方法，可以为描述复杂分布模式提供额外的灵活性。

尽管参数方法在适应不同分布形状方面越来越成熟，但大多数方法需要复杂的估计程序，这阻碍了它们在实际工程应用中的广泛应用。此外，上述几乎所有参数方法都依赖于从完整数据集中提取的全局信息来构建整个概率分布。这种整体建模方法往往无法准确捕捉分布尾部的行为，特别是对于具有显著偏斜或非正态性的分布，这直接降低了后续可靠性评估的准确性。

在这些方法中，矩方法因其概念简单性和计算效率而长期受到青睐。结合偏度和峰度的基于矩的CND被广泛认为能够有效描述尾部行为。基于这一能力，进行了许多研究来提高这些模型的准确性或计算效率[[41], [42], [43], [44]]。同时，矩的替代公式在学术文献中受到了越来越多的关注。L-矩[45,46]由于对稀疏尾部样本的相对不敏感性而在尾部建模中表现出强大的鲁棒性，而分数矩[47,48]克服了传统整数矩的局限性，提供了更大的灵活性和分布近似的准确性。此外，Ding和Chen[49]提出了一种硬化的HPM公式，用于考虑具有快速衰减趋势的狭窄尾部特征。最近，第五和第六阶矩也被进一步纳入这些模型中，以便更精细地描述分布形状特征[50,51]。这些努力有效地提高了尾部概率估计的准确性；然而，矩方法无法同时捕捉两个尾部的特征，特别是对于来自具有明显不对称性的分布的观测数据。这通常会导致其中一个尾部的概率估计不准确，大大降低了这些方法的实际效用。

为了应对准确的尾部区域估计这一关键挑战，本研究引入了一种结合截断矩和CND的分段估计方法。本文的其余部分组织如下：第2节概述了分段拟合方法和从尾部区域及主体区域构建模型的核心概念。第3节介绍了分段概率分布模型的连续性调整和归一化适应。第4节介绍了基于截断矩的CND，用于获得子变量的分布。第5节详细介绍了不同区域的划分阈值选择策略。第6节提供了所提出方法的逐步实施程序。第7节展示了所提出方法在拟合常见分布、随机函数和经验数据方面的性能。

核心概念
设X表示从中抽取观测数据的总体，其相应的直方图如图1所示。在工程实践中，一个基本任务是从可用的观测数据估计X的概率密度函数（PDF）、累积分布函数（CDF）或超越累积分布函数（ECDF）1?F(x)。在实验观测或数值模拟中，收集的观测数据……

连续性调整和归一化适应
在实践中，即使采用分段拟合策略，区域概率模型的估计误差也是不可避免的，这将导致模型在分区边界处不连续，即pL(δL)≠pM(δL)和pR(δR)≠pM(δR)。因此，这种分段估计框架引入的一个关键挑战是确保PDF在边界处的连续性（等同于确保CDF连续可微）。这种连续性对于工程应用至关重要，例如……

翻译理论
如上所述，原始的分段分布拟合任务被转化为对三个子变量XΘ（Θ?=?L, M和R）的单独概率分布估计。根据等概率原理，任何连续随机变量都可以通过单调递增的平移函数映射到标准正态变量U，满足关系XΘ=gΘ(U)，其中g(·)=FΘ?1[Φ(·)]表示子变量XΘ的平移函数，Φ(·)是CDF……

阈值选择
在提出的分段估计框架中，每个区域内观测数据的截断矩作为模型构建的核心输入。用于划分数据范围的阈值ηL、ηML、ηMR和ηR必须适当选择，以满足分段模型的准确性要求，同时确保截断矩的稳健估计。当排除尾部区域的影响时，主体区域的拟合难度显著降低。此外，……

实施程序
对于实际的工程应用，所提出的分段拟合方法集成了采样误差分析、阈值选择、特定区域的分布拟合和连续性调整。完整的实施工作流程如下顺序步骤：
a. 分析截断峰度αΘ4与有效尾部样本量nΘ的变化，以确定矩估计的稳定范围。
b. 通过方程（20）计算稳定范围内的σW值。
c. 选择满足条件的nΘ……

对数正态分布
这个例子说明了所提出的分段CND方法在描述对数正态分布方面的性能。作为对比，还实现了基于中心矩的CND（记为CM-CND）。对数正态分布的PDF由以下公式给出：f(x)=1xβ2πexp[?(lnx?α)22β2]，其中α和β是位置参数和尺度参数。分析了两种代表性情况：情况1：α?=??0.0431，β?=?0.2936，对应于偏度?=?0.9271和峰度?=?4.5664（轻微的非正态性）；情况2：α……

结论
本研究提出了一种基于截断矩的分段概率分布估计方法，有效缓解了传统基于中心矩方法的固有单侧尾部偏差。主要发现和贡献总结如下：
?所提出的三区域分段建模框架能够独立地表征主体和两个尾部区域，消除了不同尾部拟合精度之间的权衡……

代码和数据可用性
所提出的分段估计方法、阈值选择程序和数值示例的MATLAB实现代码作为补充材料上传。

作者贡献声明
赵彦刚：撰写——审稿与编辑、验证、方法论、调查、资金获取、概念化。
于浩然：撰写——审稿与编辑、撰写——原始草稿、验证、软件、方法论、调查、概念化。
季晓文：撰写——审稿与编辑、验证、软件、方法论、概念化。