将数据拆分并重新组合的方法应用于大规模健康监测数据的逻辑回归拟合：以BRFSS中的糖尿病风险预测为例

《Scientific Reports》：Divide and recombine approaches for fitting logistic regression to large-scale health surveillance data: application to diabetes risk prediction in BRFSS

　　

摘要

全球糖尿病发病率的上升构成了一个重大的公共卫生问题，这凸显了开发有效风险预测模型的迫切需求，以支持早期识别和预防策略。然而，由于内存限制和高计算要求，将传统的统计技术应用于大规模健康监测数据仍然具有挑战性。一种有前景的替代方法是“分割与重组”（D&R）方法：该方法将数据划分为较小的子集，在每个子集内独立拟合逻辑回归模型，然后结合这些估计结果来近似全样本的最大似然结果。尽管D&R方法及其理论特性在统计文献中已经得到了充分验证，但在国家层面的健康监测数据上的应用仍然有限。本研究对D&R方法在处理大规模数据集时高效拟合逻辑回归模型的能力进行了全面的实证验证，证明了其在计算上的可扩展性、统计上的稳健性以及在现实公共卫生环境中的可重复性。我们使用了2014年至2024年的行为风险因素监测系统（BRFSS）数据，该数据包含超过240万个观测值以及16个人口统计、行为、临床和社会经济预测因子。通过使用500万个合成观测值和1000次重复实验进行的蒙特卡洛模拟证实，D&R方法的统计效率与集中估计方法相当（相对效率>99.8%），同时计算时间减少了52%以上，内存使用量减少了77%至89%。将该方法应用于BRFSS数据进一步证明了该框架的实际可扩展性，成功识别出了包括年龄、体重指数、总体健康状况、酒精使用、心血管疾病史和吸烟在内的已知糖尿病风险因素，这些结果与流行病学文献一致。这些发现表明，D&R框架能够在标准计算基础设施上实现大规模慢性病建模，而无需依赖高性能系统，这对人群健康监测和预防性护理资源分配具有直接意义。