
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于分治与重组的可扩展泊松回归:结合渐近理论、蒙特卡洛模拟及其在BRFSS心血管风险因素负担研究中的应用
《Scientific Reports》:Scalable Poisson regression via divide and recombine with asymptotic theory, Monte Carlo simulation, and application to cardiovascular risk factor burden in BRFSS
【字体: 大 中 小 】 时间:2026年08月07日 来源:Scientific Reports 4.9
编辑推荐:
摘要庞大的健康监测数据集会导致标准泊松回归在计算上成本高昂,即便是在配置良好的工作站上也是如此。我们开发并评估了一种用于泊松回归的分治与重组框架,该框架兼具计算可扩展性与严格的推断保证。我们证明了聚合估计量的一致性、渐近正态性以及效率,并给出了随着子集数量增加而产生的O(S/n)
庞大的健康监测数据集会导致标准泊松回归在计算上成本高昂,即便是在配置良好的工作站上也是如此。我们开发并评估了一种用于泊松回归的分治与重组框架,该框架兼具计算可扩展性与严格的推断保证。我们证明了聚合估计量的一致性、渐近正态性以及效率,并给出了随着子集数量增加而产生的O(S/n)级效率损失上限。通过1,000次蒙特卡洛模拟来评估有限样本下的性能,样本量从100,000到5,000,000不等。我们将该方法应用于包含2,398,073条观测记录(2015–2024年)的行为风险因素监测系统数据集,以分析心血管风险因素的负担情况,并与在500万行合成数据集上运行的glm()和speedglm()方法进行对比。在各项模拟中,该方法显示出可忽略的偏差,且95%置信区间覆盖率接近理想水平。在低计数研究场景下(平均计数为1–5,存在相关预测变量),该方法同样能够保持无偏估计及合理的置信区间覆盖率。进一步的实验验证了该方法对序列相关的稳定性、与调查权重的兼容性、与高效分布式估计器的等效性,以及其效率比单一子集数据简化方法高出一到两个数量级。该方法的主要计算优势在于内存使用:与完整数据建模相比,其峰值工作内存减少了高达98%,且这种降低效果在所有样本量和计数水平下均保持不变。在蒙特卡洛研究中,计算时间减少了57–58%;在低维度低计数研究中也观察到了类似的趋势,只不过在\(n = 10^5\)时D&R方法的计算速度仍慢于完整数据建模,而在\(n = 10^6\)时则快13–28%。在BRFSS应用中,该方法的系数与完整数据建模的结果相差最多0.003,且计算时间缩短了43–55%;在合成数据基准测试中,其计算时间比glm()方法快62%,比speedglm()方法快19%。分治与重组泊松回归能够在大幅减少内存和存储需求的同时,近乎完美地实现基于完整数据的推断,因此非常适合用于大规模健康监测任务。
生物通微信公众号