结合无限交换平行退火的弹跳粒子采样器

《Neurocomputing》：Bouncy particle sampler with infinite exchanging parallel tempering

　　

摘要

马尔可夫链蒙特卡罗（MCMC）是从复杂分布（如贝叶斯推断中的后验分布）中获取样本的最有用工具之一。弹跳粒子采样器（BPS）是一种利用匀速直线运动和弹性碰撞进行采样的方法。由于BPS不需要时间离散化，预计其对于曲率变化大的分布比广泛使用的哈密顿蒙特卡罗（HMC）和朗之万蒙特卡罗（LMC）更具优势。为了从多峰分布中更高效地采样，我们基于先前研究中提出的具有无限交换率的LMC-PT，在无限交换极限下提出了具有并行回火（PT）的BPS（BPS-PT）。使用曲率变化大的分布，BPS-PT表现出与HMC-PT和LMC-PT相当的估计精度，并且在每单位计算时间获得了更高的有效样本量（ESS）。因此，BPS-PT被认为对曲率变化大的分布有效。

引言

马尔可夫链蒙特卡罗（MCMC）[1]是从复杂概率分布（如贝叶斯推断中的后验分布）[2], [3], [4], [5], [6]中获取样本的最有用方法之一。对于连续概率分布，朗之万蒙特卡罗（LMC）[7]和哈密顿蒙特卡罗（HMC）[8]被广泛使用（LMC也称为Metropolis增强的朗之万算法（MALA））。对于离散概率分布，离散变量通过构建满足细致平衡条件的转移矩阵来更新。结合两种方法，我们可以从混合连续-离散分布中获取样本。

最近，使用分段确定性马尔可夫过程的非可逆采样方法被提出，并在理论方面[9], [10], [11], [12], [13], [14]、改进[15], [16]和应用[17], [18]方面进行了研究。弹跳粒子采样器（BPS）是一种利用由非齐次泊松过程产生的随机反射进行匀速直线运动来从连续分布中采样的方法[9], [10]。通过在BPS动力学中插入离散变量的转移事件，BPS可以应用于混合连续-离散分布[19]。据报道，BPS的一个优势是与HMC相比更容易调整模拟参数[10]。在LMC和HMC中，模拟时间通过$$进行离散化，同时保持细致平衡条件。当目标分布的曲率（海森矩阵）显著变化时，使用恒定的$$难以高效采样。因此，我们应该自适应地改变$$，如黎曼流形HMC[20]所做的那样，或者对变量进行变换以获得曲率变化小的分布（预条件化）[21]。前者通常会显著增加计算成本，而后者可能需要复杂的非线性变换。由于BPS不需要离散化模拟时间，如果我们能够模拟非齐次泊松过程，它可能是一种从这类分布中采样的有效方法。此外，包括BPS在内的分段确定性马尔可夫过程（PDMP）采样器可以应用于具有delta函数的分布[22]和重尾分布[23]。

在某些多峰目标分布中，粒子很少从一个模式移动到另一个模式，导致向目标分布收敛缓慢。并行回火（PT）是通过引入温度来促进跨模态过渡从而缓解此问题的方法[24], [25]，并与各种采样算法结合使用，例如LMC和HMC。有关于优化温度[26], [27]以及将不可逆过程应用于温度交换[28], [29]的研究。最近研究表明，在LMC中，PT的交换率越高，向目标分布收敛越快[30]。此外，提出了将PT与无限交换极限相结合的LMC算法[30]。

由于在BPS中也观察到多峰分布中的缓慢收敛，我们首先将PT结合到BPS中。然后，我们假设收敛加速也适用于BPS，提出了一种无限交换极限下的算法。接下来，我们呈现了一种温度优化方法，将使用策略梯度在相邻温度交换PT[27]中的方法扩展到三个或更多温度交换PT。然后，我们展示了使用BPS有效和无效的分布的数值模拟。

本文的组织如下。第2节回顾用于连续和混合连续-离散概率分布的BPS。第3节介绍结合PT的BPS并提出具有无限交换率的BPS-PT。然后，我们将策略梯度的温度优化扩展到三个或更多温度交换PT。第4节进行数值模拟并确认，与更广泛使用的具有有限交换率的HMC-PT和LMC-PT算法相比，具有无限交换率的BPS-PT对于曲率变化大的多峰分布更有用。第5节总结本文。

章节摘要

弹跳粒子采样器的回顾

MCMC [1]是从具有未知归一化常数的概率分布中采样的有效方法。特别是，HMC [31]及其改进形式——无需转向采样器（NUTS）[32]——被广泛用于连续分布，而构建满足细致平衡条件的转移矩阵的MCMC被用于离散分布。BPS [9], [10]是通过随机弹跳粒子沿直线运动来从连续分布中获取样本的方法

具有无限交换率的BPS-PT

在多峰目标分布中，粒子可能难以从一个模式移动到另一个模式，这导致向目标分布收敛缓慢。PT [24], [25]已用于解决此问题，方法如下。我们将逆温度$$引入概率分布中作为$$，在每个分布中并行移动粒子，然后交换粒子的位置。随着逆温度降低，概率分布变得平坦，一个粒子

数值模拟

为了讨论BPS-PT的优势，我们采用了三种目标分布。其中两种具有高曲率变化：具有均匀圆分布的Gamma分布混合体（MGC），以及Neal漏斗的混合体（MNF）[36]。其中一种具有低曲率变化：参考文献[37]中使用的高斯混合模型。我们将HMC-PT、LMC-PT、普通BPS和具有无限交换率的BPS-PT应用于这些模型并比较结果。尽管MGC和MNF可以容易地变换

结论

MCMC [8]是从复杂分布中获取样本的最有用方法之一。对于连续分布，HMC [8]和LMC [7]被广泛使用。这些方法需要在保持细致平衡条件的同时离散化时间。对于曲率变化大的目标分布，恒定的$$会导致采样效率低下。在这种情况下，通过考虑黎曼流形上的运动来自适应调整$$或变换分布为低曲率是有效的

作者贡献声明

斋藤洋平：撰写——初稿，方法论，形式化分析，概念设计。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

斋藤洋平报告称获得了KAKENHI科学研究补助金的财务支持。竹田康仁报告称获得了KAKENHI科学研究补助金的财务支持。竹田康仁报告称获得了萩原基金会的财务支持。如果有其他作者，他们声明没有其他已知的竞争性财务

致谢

YS和KT得到了KAKENHI No. 20H05776的支持。KT还得到了KAKENHI Nos. 20H05774, 23K10978, 25H01509以及日本萩原基金会的资助。

斋藤洋平是群馬大学数学与数据科学中心的合作研究员。他获得了东京大学的理学硕士和博士学位。

斋藤洋平|木村俊|竹田康仁