用于具有难以处理似然函数的空间模型的延迟接受辅助变量MCMC方法

《Spatial Statistics》:A delayed acceptance auxiliary variable MCMC for spatial models with intractable likelihood function

【字体: 大 中 小 】 时间:2026年02月11日 来源:Spatial Statistics 2.7

编辑推荐:

  李钟贤|金钟民|李熙相|朴在伍韩国首尔延世大学统计与数据科学系摘要许多空间模型包含难以处理的归一化函数,比如空间格点模型、交互式空间点过程模型以及社交网络模型。对于这类模型进行贝叶斯推断十分困难,因为其后的验分布也是难以处理的。尽管辅助变量MCMC算法被认为是最实用的方案,但由于

  李钟贤|金钟民|李熙相|朴在伍韩国首尔延世大学统计与数据科学系摘要许多空间模型包含难以处理的归一化函数,比如空间格点模型、交互式空间点过程模型以及社交网络模型。对于这类模型进行贝叶斯推断十分困难,因为其后的验分布也是难以处理的。尽管辅助变量MCMC算法被认为是最实用的方案,但由于需要反复进行辅助变量模拟,其计算成本很高。为了解决这一问题,我们提出了延迟接受辅助变量MCMC方法,该方法能够减少辅助变量模拟的次数。该算法的第一阶段使用成本较低的替代函数来判断是否接受某个参数值,第二阶段则确保与验分布保持详细平衡。只有在第一阶段被接受的参数才会进行辅助变量模拟。我们针对那些难以处理的问题设计了多种特定的替代函数,包括子采样策略、高斯过程仿真以及基于频率论估计器的近似方法。通过模拟数据和真实数据的应用,我们验证了该方法的实用性,表明它适用于复杂的空间模型。引言在许多学科中都会出现难以处理的空间模型,例如用于离散格点数据的Potts模型(Potts, 1952)、用于空间点模式数据的交互式点过程模型(Strauss, 1975, Goldstein等, 2015),以及用于社交网络数据的指数随机图模型(ERGMs)(Robins等, 2007)。对于这类模型进行贝叶斯推断十分困难,因为其似然函数中包含难以处理的归一化函数,而这些归一化函数又是目标参数的函数。设x∈X为来自未归一化概率模型h(x|θ)的一个实现,其中模型参数为θ∈Θ。该未归一化概率模型具有难以处理的归一化函数Z(θ)=∫Xh(x|θ)dx。结合先验p(θ)后,θ的验分布为π(θ|x)=p(θ)h(x|θ)p(x)Z(θ),其中边际似然为p(x)=∫Θp(θ)h(x|θ)Z(θ)dθ。此处,p(x)虽然难以处理,但由于它不依赖于θ,因此在推断过程中可以忽略。而另一个难以处理的项Z(θ)则是θ的函数,因此不能忽视,这就使得应用标准的马尔可夫链蒙特卡洛算法变得困难。Murray等人(2006)将π(θ|x)称为双重难以处理的分布,因为验分布中同时包含了难以处理的p(x)和Z(θ)两项。为了解决这一难题,人们发展出了多种贝叶斯方法,Park和Haran(2018)将其分为两类:(1)似然近似方法;(2)辅助变量方法。似然近似方法(Atchade等, 2008, Lyne等, 2015, Alquier等, 2016)直接利用重要性抽样估计来近似Z(θ),并将这些估计值代入Metropolis-Hastings算法的接受概率中。而辅助变量方法(M?ller等, 2006, Murray等, 2006, Liang, 2010, Liang等, 2016)则在每次迭代时从h(?|θ)中生成一个辅助变量,以此消除接受概率中的归一化函数。作为进一步的发展,Caimo和Friel(2011)为ERGMs开发了一种群体MCMC方法,以改善标准AVM算法的混合性。通过大量的数值研究,Park和Haran(2018)指出,就单位时间内的有效样本量而言,辅助变量MCMC方法(Murray等, 2006, Liang, 2010)是最有效的,这里的有效样本量是指考虑了MCMC样本之间的自相关性后的有效样本量除以实际计算时间。这一指标用于衡量算法的采样效率与其计算成本之间的关系,也被广泛用于比较不同MCMC方法的实际性能。因此,我们还将所提出的方法与这些AVM方法进行了比较。由于易于使用,AVM方法已被广泛应用于诸多领域,例如天体物理问题(Tak等, 2018)、纵向项目反应模型(Park等, 2022),以及存在欠分散和过分散现象的空间计数数据(Kang等, 2024)。然而,当x的维度变大时,AVM方法的计算成本会显著上升,因为从h(?|θ)生成辅助变量需要更长的马尔可夫链长度。在本文中,我们提出了用于难以处理的空间模型的延迟接受辅助变量MCMC方法。Christen和Fox(2005)提出的DA-MCMC方法是一种两阶段的Metropolis-Hastings算法,它通过初始筛选步骤降低了计算复杂模型似然值时的计算负担。在该算法的第一阶段,会使用计算成本较低的替代函数来评估候选参数。如果第一阶段就接受了该参数,算法才会在第二阶段计算成本较高的似然函数。最终是否接受该参数取决于这一修正步骤。由于其高效性和灵活性,DA方法已被广泛用于构建替代函数(Golightly等, 2015, Sherlock等, 2017, Cao等, 2024)或对大型数据集进行划分(Banterle等, 2015, Quiroz等, 2018)。我们的研究正是受到这些最新计算方法的启发。在DA-AVM的第一阶段,我们为各种双重难以处理的问题设计了专门的替代函数。具体来说,我们研究了子采样策略、高斯过程仿真,以及基于频率论估计器的近似方法,如蒙特卡洛最大似然法(MCML)(Geyer和Thompson, 1992)或最大伪似然法(MPL)(Besag, 1974)。通过这些替代函数,我们无需模拟属于X空间的辅助变量,就能快速排除θ空间中不合理区域。如果第一阶段接受了该参数,我们才会模拟辅助变量以确定最终是否接受。由于该算法满足详细平衡条件,DA-AVM能够在减少辅助变量模拟次数的同时,产生与标准AVM相同的验分布。需要注意的是,纯仿真型方法的性能在很大程度上取决于替代模型的准确性。Park和Haran(2020)开发了一种两阶段MCMC算法,该算法通过重要性抽样来近似Z(θ),再利用高斯过程仿真器对其进行插值。Park和Haran(2020)的定理1表明,随着重要性样本数量和设计点数量的增加,高斯过程仿真算法产生的马尔可夫链样本在总变差距离上会逐渐接近π(θ|x)。但实际上,在高维空间中构建精确的仿真器十分困难:要获得准确的重要性抽样估计,重要性参数需要接近最大似然估计值;而对于高斯过程仿真器而言,设计点的数量会随着维度增加而呈指数级增长。尽管Park和Haran(2020)提出通过用另一种算法(如AVM)的短运行结果来构建仿真器来解决这个问题,但这种做法只是经验性的,当维度超过五时就不太实用了。我们的研究也发现,随着参数维度的增加(见图2、图3、图4),高斯过程仿真无法准确近似真实的验分布。而我们的DA-AVM在替代模型构建方面更为稳健,因为算法的第二阶段能够纠正偏差,确保收敛到目标验分布。近似贝叶斯计算方法(ABC方法)(Beaumont等, 2002, Marin等, 2012)为那些具有难以处理似然函数的模型提供了良好的分析框架。例如,Vihrs等(2022)开发了一种新的点过程模型,该模型能够同时体现聚集效应和排斥效应,他们还采用了专为该模型设计的基于汇总统计量的ABC方法。受AVM方法的启发,Stoica等(2017)开发了ABC Shadow算法,该算法从h(?|x)中生成辅助变量,从而避免了对难以处理的Z(θ)的评估,进而能在ABC框架内近似得到验分布。在此基础上,Stoica等(2021)又提出了Shadow模拟退火算法,该算法通过引入温度调度机制来提升收敛速度。Laporte-Chabasse等(2022)提出了一种将空间过程与ERGMs相结合的社会过程模型,他们同样使用ABC Shadow算法来近似处理难以处理的验分布。为了减少ABC方法中合成数据模拟的次数,Everitt和Rowińska(2021)引入了延迟接受策略,这一思路也为我们的研究提供了灵感。与现有方法相比,DA-AVM是一种既易于使用又具有较高计算效率的方法。与ABC方法相比(参见Shirota和Gelfand, 2017, Vihrs等, 2022),它不需要依赖那些会严重影响近似验分布质量的汇总统计量或容忍度水平。与似然近似方法相比(Atchade等, 2008, Lyne等, 2015, Alquier等, 2016),它需要调整的参数更少,且由于无需在每次MCMC迭代中都进行多次重要性抽样,因此运算速度更快。与AVM方法类似,只要能够从模型中生成辅助变量,我们的框架就很容易实现,而延迟接受步骤则通过减少辅助变量模拟的次数进一步提升了效率。由于其通用性,该框架可应用于多种模型,包括格点空间模型、空间点过程模型、网络模型以及时间序列模型,我们的数值研究也证明了这一点。本文的其余部分结构如下:第2节中,我们将介绍用于难以处理的空间模型的AVM算法,并探讨其面临的计算挑战,同时也会介绍DA-MCMC方法的背景。第3节中,我们将提出一种高效的DA-AVM方法,并介绍多种候选的替代函数。我们会证明,我们的DA-AVM方法满足与目标验分布的详细平衡条件,且由此产生的马尔可夫链是遍历的。第4节中,我们将通过四种难以处理的模型——三种空间模型和一种非空间模型——来测试我们方法的性能,以此说明该方法能够降低计算成本。第5节则总结了本研究的主要发现和贡献。片段辅助变量MCMC作为一项开创性工作,M?ller等人(2006)开发了AVM方法,该方法通过构建模型参数与辅助变量的联合验分布,避免了直接计算Z(θ)。设f(y|θ,x)表示辅助变量y∈X的条件分布,那么联合验分布可以表示为π(θ,y|x)=f(y|θ,x)π(θ|x)∝f(y|θ,x)p(θ)h(x|θ)Z(θ)。MH算法是通过以下两种成分构成的联合提议来实现的:q((θ,y)→(θ?,y?))=q1(θ?|θ,y)q延迟接受辅助变量MCMC在本节中,我们将介绍一种用于难以处理的空间模型的DA-AVM通用框架。应用部分在本节中,我们将把所提出的DA方法应用于四种难以处理的模型:三种空间模型——Potts模型、交互式点过程模型以及指数随机图模型(ERGM)——还有一种非空间模型,即易感者-感染者-康复者模型(SIR模型)。示例中使用的所有数据集均展示在图1中。如前所述,我们基于子采样、高斯过程仿真以及频率论估计器构建了第一阶段的核函数,这些方法分别被记为DA-AVMS、DA-AVMGP讨论在本文中,我们提出了能够减少辅助变量模拟次数的高效DA-AVM方法。我们证明了所提出的方法满足详细平衡条件且具有遍历性,因此DA-AVM算法产生的样本能够收敛到通过AVM方法得到的近似验分布。我们还研究了DA-AVM在多种难以处理的空间模型中的应用,结果表明,与标准AVM相比,DA-AVM在计算效率上更具优势,同时还能得到相当不错的结果。致谢本研究得到了韩国延世大学2024-22-0581号人文社会科学研究创新基金的资助。作者们感谢匿名审稿人仔细审阅并给出宝贵意见。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号