二元双分量正态混合模型的统计推断:代表点特征刻画与高效参数估计

《Journal of Multivariate Analysis》:Statistical inference for bivariate two-component normal mixtures: Characterization of representative points and efficient parameter estimation

【字体: 大 中 小 】 时间:2026年08月30日 来源:Journal of Multivariate Analysis 1.6

编辑推荐:

   摘要:多元正态混合分布被广泛应用,尤其是在数据中观察到子群体时。平均平方误差代表点(MSE-RPs)在统计推断中很有前景,但其关于正态混合的刻画尚未得到彻底研究。序列数论优化(SNTO)方法在估计一维正态混合方面显示出潜在优势,但在高维情况下面临挑战。因此,我们首先专注于二元

  

摘要:多元正态混合分布被广泛应用,尤其是在数据中观察到子群体时。平均平方误差代表点(MSE-RPs)在统计推断中很有前景,但其关于正态混合的刻画尚未得到彻底研究。序列数论优化(SNTO)方法在估计一维正态混合方面显示出潜在优势,但在高维情况下面临挑战。因此,我们首先专注于二元两分量正态分布的混合,从投影的角度考察二元位置混合密度的模态性以及其与MSE-RPs唯一性的关系。我们提出了一种新的参数估计方法,通过投影寻踪方法和协方差矩阵的重参数化技术来克服SNTO面临的挑战。

引言

有限混合模型提供了一种特别适合捕捉数据复杂性的方法,因为它们可以结合多个分布来描述不同的子群体或数据模式(Everitt和Hand,2013)。多元混合模型在遗传学、生物学、流行病学以及许多其他领域有广泛应用(Everitt,1996,Karlis和Meligkotsidou,2007)。在这些模型中,正态混合是最基本的,在实践中也最常观察到。它提供了一种灵活的参数化方法来对来自不同正态子群体的异质多元数据进行建模(McLachlan和Basford,1988)。关于正态混合的平均平方误差代表点(MSE-RPs)的刻画尚未得到深入研究。因此,在推广到高维和多分量正态混合之前,本文首先专注于二元两分量正态分布的混合,记为MixN2(??,??(1),??(1),??(2),??(2)),其中0
概率密度函数定义为???(??)=??????(??∣??(1),??(1))+(1???)????(??∣??(2),??(2)),其中???(??∣??,??)表示均值为??、协方差矩阵为??的多元正态分布的概率密度函数。MixN2有四种不同类型,总结如下:

1. 尺度:MixN2.S(??,??,??(1),??(2)),??≡??(1)=??(2),??(1)≠??(2);

2. 位置:MixN2.L(??,??(1),??(2),??) ,??(1)≠??(2),??≡??(1)=??(2);

3. 镜像混合是位置混合的一种特殊情况,记为MixN2.M(??,??),其概率密度函数为???(??)=12?[???(??∣??,??)+???(??∣???,??)];

4. 一般型:MixN2(??,??(1),??(1),??(2),??(2)),??(1)≠??(2),??(1)≠??(2)。

对于来自不同子群体的聚类数据,文献中已提出了几种正态混合的估计方法(McLachlan和Basford,1988)。其中,普通最大似然估计(MLE)方法通常被认为是一种具有良好性质的直接方法(Lourens等,2013)。几项研究探讨了高维正态混合的MLE(Wolfe,1965,Wolfe,1970)。MLE中的最大化步骤面临混合似然函数有很多局部最大值的困难。混合模型的MLE通常通过EM算法获得(Ng等,2011),但EM可能收敛缓慢且对初始值非常敏感,尤其是在多元设置中(Biernacki等,2003,Karlis和Xekalaki,2003)。Karlis和Xekalaki(2003)回顾了多种初始化策略,包括网格搜索(B?hning,1999)、基于聚类的方法(Leroux,1992,Woodward等,1984)、主成分分析(McLachlan,1988)和基于矩的初始化(Furman和Lindsay,1994)。Biernacki等(2003)比较了随机初始化、CEM、SEM和EM短运行,并建议在许多情况下使用最后一种策略,同时也指出没有单一初始化方法在所有情况下都是最优的。最近的研究继续开发新的初始化方案,如递归初始化(Baudry和Celeux,2015)和结合多次重启、EM迭代和聚类的迭代初始化(You等,2023)。因此,在本文中,我们使用Biernacki等(2003)提出的短运行EM初始化作为基准,与我们提出的方法进行比较。

Fang和Wang(1991)提出了序列数论优化(SNTO)算法来求解非线性方程组。Fang等(1994)比较了SNTO与拟牛顿BFGS方法在具有多个极值的全局优化问题上的表现,表明SNTO在收敛性方面具有实际和理论上的优势。Yan等(2024)将图形估计与SNTO结合用于双峰混合威布尔分布的参数估计,而Li和Fang(2024)将SNTO应用于一维正态混合(MixN)并展示了其相对于EM的优势。两项研究都使用了Harrell-Davis(HD)估计量来完善MLE,其中MLE是从估计的分位数而非原始样本计算的。然而,对于MixN2模型,SNTO在高维立方体上的采样不会自动保持??(1)和??(2)的正定性。此外,MixN2估计比MixN估计对初始猜测更敏感,因为更高维的参数空间需要更多的采样点。无信息的初始猜测需要较大的初始搜索区域,使得计算成本可能过高。

EM算法收敛缓慢的问题在文献中已得到处理(Karlis和Xekalaki,2003)。但它仍然高度依赖于良好的初始化策略,并且没有适用于所有情况的通用解决方案(Biernacki等,2003)。作为数论方法,SNTO算法已在统计学中的许多问题中成功应用(Fang等,1994)。它对模型假设具有鲁棒性,不需要目标函数的二阶导数或凸性。只要初始搜索区域包含全局最优解,SNTO就能以预先确定的收缩率收敛到全局解。

在本文中,利用SNTO在估计MixN方面的优异性能,我们设计了一种针对MixN2情形的有效参数估计算法,基于投影寻踪方法(Rao,1973)和协方差矩阵的下三角-对角-下三角(LDL)分解(Newton,1988)。设??~ MixN2(??,??(1),??(1),??(2),??(2)),??=(??1,??2)??∈?2,则??在??上的投影,记为????=???????,根据Rao(1973)的结果,服从混合正态分布,????~ MixN(??,???????(1),???????(1)???,???????(2),???????(2)???)。投影方向限制在??∈(0,??]上,??=(cos???,sin???)??。二维正态混合MixN2沿着选定的??个方向????,??∈{1,…,??}被投影到一维空间,产生??个MixN模型,每个模型都有通过SNTO算法求解的未知参数??????,如Li和Fang(2024)所述。对于??~MixN?(??,??1,??2,??21,??22),重叠系数(OVL)是由Inman和Bradley Jr(1989)提出的衡量两个分布之间差异的指标。随后计算??个投影MixN模型的OVL值,并选择OVL最小的方向进行基于贝叶斯规则的分量分配。从这种最可分离的投影MixN模型中获得的数据标签被分配给原始样本。基于这些标签,使用样本均值向量、样本协方差矩阵以及第一分量的样本量比例来构建MixN2参数的初始值。LDL分解进一步保证了SNTO采样过程中协方差矩阵的正定性。因此,SNTO算法可以在定义良好的初始搜索区域内估计MixN2的参数??,同时保持协方差矩阵的正定性。虽然EM算法和各种初始化策略对于混合模型的MLE已经非常成熟,但SNTO提供了一种鲁棒的替代方案并具有潜在优势。提出的基于SNTO的方法对混合分量的排序不敏感,并且可以推广到高维混合模型。

此外,我们研究了二元两分量正态分布位置混合在最小平均平方误差准则下的离散化。各种分布的MSE-RPs已被广泛研究;全面的综述可参见Fang和Pan(2023)以及Fang等(2025)。Yang等(2022)研究了椭圆分布的三种类型的代表点,包括多元正态分布。在本文中,我们专注于MSE-RPs,因为它们在统计推断中具有强大的性能。对于多元混合分布,Yamamoto和Shinozaki(2000)建立了球形对称分布的位置混合具有两个MSE-RPs的唯一性的充分条件。Matsuura和Kurata(2013)研究了同类混合中位于低维线性子空间中的??个MSE-RPs,而Matsuura和Kurata(2014)进一步在椭圆对称混合的异速生长扩展模型下,提供了2个和??个MSE-RPs限制在一维空间中的充分唯一性条件。在本文中,从基于投影的降维的角度,我们讨论了位置混合MixN2.L的投影中MSE-RPs的唯一性与MixN2.L本身MSE-RPs唯一性之间的关系。结果表明,基于反例,MixN2.L的MSE-RPs唯一性与其投影之间不存在充分或必要条件。此外,我们还讨论了位置混合的模态性以及众数与MSE-RPs之间的关系。Li和Fang(2024)以及Li等(2022)的方法对我们的研究具有参考价值。

关于位置混合的MSE-RPs和众数的讨论在第二节中,其中一些较长的证明放在附录A中。提出的参数估计方法在第三节中详述,包括我们提出的两项关键技术:投影寻踪方法和协方差矩阵的重参数化。第四节包含一项模拟研究,而两张长表格包含在补充材料中。第五节给出了结论。

段落片段

关于MixN2.L模态性的讨论

定义1:设随机向量??~???(?)在?2中具有有限均值向量和协方差矩阵的概率密度函数???(?)。点集??={????,??∈{1,…,??}}称为平均平方误差代表点(MSE-RPs),如果它最小化平均平方误差(MSE):MSE?(??)=∫?2min??∈{1,…,??}?‖???????‖2????(??)????,其中‖?‖表示??2-范数。

定义2:???中的??个点集{??1,…,????}关于??维随机向量??和???的划分{????,??∈{1,…,??}}称为自洽的,如果???[??∣??∈????]=????,??∈{1,…,??}。

参数估计

将MixN2的十一个参数记为??=(??,??(1)1,??(1)2,??(2)1,??(2)2,??(1)11,??(1)22,??(1)12,??(2)11,??(2)22,??(2)12),其中??(1)12=??(1)21,??(2)12=??(2)21。协方差矩阵??(??),??=1,2的参数空间受正定性约束为??(??)={(??(??)11,??(??)12,??(??)22)∣??(??)11>0,??(??)22>0,??(??)11???(??)22?[??(??)12]2>0}。因此,??的参数空间为??=(0,1)×?4×??(1)×??(2)。设{????}????=1是来自具有概率密度函数???(??∣??)的MixN2的??个独立同分布样本。对数似然函数定义为??(??∣…

模拟

进行了一项模拟研究以评估所提方法在MixN2参数估计中的性能。我们将其与K-means初始化的EM算法(Bishop,2006)进行比较,在R(4.1.2版)中使用mixtools包(2.0.0.1版)实现。我们还将其与Biernacki等(2003)的em-EM算法进行比较,该算法使用多次随机起始,执行短EM运行,并选择观察对数似然最大的起始值进行最终的EM迭代。SNTO…

结论

二元两分量正态混合的统计推断在生物医学决策中很重要,例如疾病诊断和治疗反应预测。在本文中,我们结合投影寻踪与协方差重参数化研究了MixN2模型。SNTO算法在MixN估计中表现良好(Li和Fang,2024),而LDL分解保证了正定协方差估计。由于直接估计MixN2的十一个参数…

致谢

作者感谢编辑、副编辑和审稿人的宝贵意见。本研究由中国博士后科学基金资助(项目编号:2025M783068)。

Tian-Yu Yan | Kai-Tai Fang | Hong Yin | Yu-Xuan Lin
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号