一种基于基函数展开的可扩展变分贝叶斯方法，用于拟合非共轭空间广义线性混合模型

《Computational Statistics & Data Analysis》：A Scalable Variational Bayes Approach for Fitting Non-Conjugate Spatial Generalized Linear Mixed Models via Basis Expansions

　　金亨利|本·塞永·李，普渡大学，美国印第安纳州西拉法叶市大学街北250号，邮编47907

摘要
在环境监测、生态学和遥感领域，具有非高斯响应的大型空间数据集越来越常见，但针对这类数据的可扩展贝叶斯推断仍然面临挑战。对于大型数据集，马尔可夫链蒙特卡洛方法往往难以应用，而现有的变分贝叶斯方法则依赖于共轭性或强近似，这限制了它们的适用性，并可能导致后验方差被低估。本文提出了一种可扩展的变分框架，该框架结合了半隐式变分推断与空间广义线性混合模型的基函数表示，即便模型不具备共轭性也能适用。该框架可处理连续空间域上的伽马分布、负二项分布、泊松分布、伯努利分布和高斯分布响应。在包含50,000个观测点的20种模拟场景中，SIVI方法在保持与Metropolis–Hastings方法和哈密顿蒙特卡洛方法相当的计算精度和后验分布的同时，显著提升了计算速度。将该方法应用于MODIS地表温度数据和蓝松鸦数量数据，进一步证明了其在大规模非高斯空间数据集中的实用性。

引言
在经济学（Redding和Rossi-Hansberg，2017）、水文学（Zhou和Li，2020）、公共卫生（Rushton，2003）以及遗传学（Wagner和Fortin，2013）等诸多学科中，都存在着具有内在空间依赖性的大型高斯和非高斯空间数据集。数据采集技术的进步使得人们能够获取包含数百万个观测点的数据集，而这些数据集通常来自非平稳且异质性的空间区域。为分析此类空间数据，人们广泛使用空间广义线性混合模型（SGLMM）（Diggle和Tawn，1998）。SGLMM为带有空间随机效应的数据建模提供了灵活的框架，已被广泛应用于高斯和非高斯空间相关数据集（Bonat和Ribeiro，2016；Lee和Park，2023；Zilber和Katzfuss，2021）。这些空间随机效应通常被建模为具有特定空间协方差函数的潜在高斯过程。在贝叶斯层次建模框架下（Wikle等人，1998），后验推断通常通过马尔可夫链蒙特卡洛方法来实现。然而，当潜在变量维度较高且存在强烈的空间依赖性时，马尔可夫链的混合速度会变慢（Haran等人，2003），而且计算成本会随着观测点数量的增加而呈立方级增长。为此，人们提出了多种针对空间模型的可扩展方法，包括低秩和基函数表示方法（Banerjee等人，2008；Cressie，2015；Cressie和Johannesson，2008；Higdon，1998；Katzfuss，2017），以及利用协方差矩阵或精度矩阵的稀疏性的方法，如最近邻高斯过程（NNGP）（Datta等人，2016）、Vecchia近似法（Katzfuss，2017）和协方差渐变法（Furrer等人，2006）。其他策略还包括集成嵌套拉普拉斯近似法（INLA）（Rue等人，2009），以及诸如Pólya–Gamma混合模型（Polson等人，2013）和潜在共轭模型（Bradley等人，2020）之类的共轭空间模型。尽管这些方法能在计算效率上带来显著提升，但许多方法仍需基于MCMC的后验采样，这对于非常大的数据集而言是不切实际的，或者依赖于已知会低估不确定性的正态分布和拉普拉斯近似（Ferkingstad和Rue，2015）。

变分贝叶斯方法（VB）（Blei和Jordan，2006；Fox和Roberts，2012；Jordan等人，1999）是一种优化方法，它通过指定一个变分分布来近似目标分布（如后验分布），该变分分布能够最小化与目标分布之间的库尔贝克-莱布勒散度。均值场变分贝叶斯方法（MFVB）（Blei和Jordan，2006；Han和Yang，2019；Mohammad-Djafari和Ayasso，2009）、混合MFVB方法（Tran等人，2021；Wang和Blei，2013）以及集成非因子化变分贝叶斯方法（INFVB）（Han等人，2013；Lee和Lee，2024）等变体方法因能有效分析大规模数据而受到众多研究人员的青睐。半隐式变分推断方法（SIVI）（Yin和Zhou，2018）通过神经网络来定义变分混合分布，从而为充分建模多变量后验分布中的依赖关系提供了灵活性。然而，将VB方法应用于连续空间域中的非高斯SGLMM模型仍然十分有限。Ren等人（2011）将VB方法应用于小型高斯空间数据集。Wu（2018）使用集成非因子化变分贝叶斯方法处理高斯区域数据，而Bansal等人（2021）和Parker等人（2022）则对计数型和二元区域数据进行了建模。Cao等人（2023）采用了一种基于稀疏逆乔列斯基表示的变分方法来处理潜在高斯过程，相比其他方法，该方法的收敛速度更快。Lee和Lee（2024）提出了一种用于建模非高斯空间数据的可扩展INFVB方法，但他们的方法仅限于来自高斯、伯努利和泊松分布的空间数据，且依赖于共轭或近似共轭的假设。Song和Datta（2025）将NNGP方法嵌入到MFVB框架中，但他们的方法仅适用于高斯响应类型，且继承了MFVB的一些固有缺陷，比如块独立性假设以及可能低估后验方差的变分函数（Blei和Jordan，2006；Han等人，2013）。Garneau等人（2025）将NNGP方法纳入SIVI框架中，但他们的框架仅适用于高斯和小型泊松数据集（例如n=500），无法处理负二项分布、伽马分布或伯努利分布等其他类型的响应数据。此外，他们的大规模应用也主要针对高斯空间数据，因为在这种数据中，潜在的空间随机效应可以很容易地被积分掉，从而大幅减少需要估计的模型参数数量。本文提出了一种可扩展的变分框架，该框架将SIVI方法与空间基函数表示相结合，以便针对各类非高斯响应类型的大规模连续域SGLMM模型快速进行贝叶斯推断。本研究重点关注在连续空间域上定义的空间模型（即以点为参考的数据），而非像马尔可夫随机场或CAR/SAR模型这样的区域数据模型（Cressie，2015）。通过将隐式神经网络混合分布与用于基函数系数和固定效应的显式高斯变分层相结合，我们的SIVI–基函数方法能够在保持计算效率的同时，灵活捕捉后验分布中的依赖关系。该方法能够处理包括负二项分布、伽马分布、泊松分布、伯努利分布和高斯分布在内的多种响应类型，且无需依赖拉普拉斯近似或共轭近似。通过涵盖20种场景的大量模拟研究以及两个实际应用案例，我们证明了所提出的SIVI–基函数框架在保持与MCMC方法相当的计算精度和后验总结能力的同时，能够将计算时间缩短一个数量级甚至更多。在连续域SGLMM模型方面，目前还缺乏这样一种VB方法：既能同时处理具有离散度的伽马分布和负二项分布响应，以及伯努利分布、泊松分布和高斯分布数据，又能利用基函数表示来实现对大规模空间数据集的处理，同时还无需采用为满足条件共轭性而需要的特殊拉普拉斯或二次近似。我们所提出的框架将SIVI方法与潜在空间过程的基函数表示相结合，这使得无需依赖共轭近似即可同时估计回归效应、离散度参数和潜在空间效应。这将可扩展的变分推断方法应用到了更广泛的空间模型中，同时仍能高效地处理大规模数据集。

本文的其余部分结构如下：第2节概述了SGLMM模型及其基函数表示扩展形式——基函数SGLMM模型。第3节回顾了变分贝叶斯方法和SIVI方法，并介绍了我们针对基函数SGLMM模型提出的基于SIVI的推断框架，包括相关的算法细节。第4节通过大量的模拟研究并对比其他竞争方法来评估所提出的框架。第5节将该方法应用于两个大型非高斯空间数据集：一个是来自遥感领域的数据集，另一个来自北美繁殖鸟类调查的数据集。第6节最后总结了本文的局限性、实用建议以及未来研究的方向。

片段摘录
空间广义线性混合模型（SGLMMs）
空间广义线性混合模型（SGLMMs）（Diggle和Tawn，1998）是一种广泛用于建模非高斯空间数据的框架，它能处理多种类型的响应数据（Bonat和Ribeiro，2016），还能处理具有空间相关性的随机效应。设Z={Z(si)}i=1N表示在空间位置si∈S?R2收集到的观测值，X∈RN×p则表示相应的协变量矩阵。空间依赖性是通过随机效应ω={ω(si)}i=1N∈RN来体现的，这些随机效应通常被建模为均值为零的高斯分布。

基函数SGLMMs的半隐式变分推断
在本节中，我们首先简要回顾了变分推断方法，包括SIVI方法，然后介绍了我们基于SIVI的用于拟合基函数SGLMMs的方法。

模拟研究
我们通过基于大规模空间数据集（N=50,000）的大量模拟研究来评估所提出的SIVI框架，这些数据集是在包含不同响应分布、潜在空间随机场的平滑程度以及空间相关性衰减等多种复杂条件下的生成结果。我们还将该框架与Metropolis–Hastings（MH）算法和哈密顿蒙特卡洛（HMC）方法等竞争方法进行了对比分析。

应用
我们利用两个真实的空间数据集来展示所提出的半隐式变分推断（SIVI）方法的应用效果：分别是来自NASA Aqua卫星的地表温度数据（Zilber和Katzfuss，2021），以及蓝松鸦的数量数据（Ziolkowski Jr.等人，2022）。作为基准测试，我们还将SIVI方法与MH方法和HMC方法进行了比较，具体分析与模拟研究中的内容相同。

讨论
我们开发了一种SIVI方法，用于在连续空间域中建模多种具有空间相关性的数据类型，包括负二项分布、伽马分布、二元分布、计数分布和高斯分布数据。通过将SIVI方法与基函数SGLMMs相结合，我们的框架使得空间广义线性混合模型能够应用于具有空间随机效应的大规模场景，即便数据集规模达到N=50,000也是如此。据我们所知，这是首个用于连续域的变分框架。

披露声明
作者们并未报告任何潜在的利益冲突。