分而合之负二项回归框架实现大规模住院时长数据的内存高效精确推断

《BMC Medical Research Methodology》：Exact divide-and-recombine estimation for negative binomial regression: a simulation study and application to SPARCS hospital length-of-stay data

　　# 摘要## 背景住院时长（LOS）是一种右偏的计数型结局，相对于泊松基准存在显著的过度分散，导致普通最小二乘法和泊松回归在大规模数据上不再适用。## 方法本文提出了一种针对负二项（NB）回归的分而合之（D&R）框架，通过对观测数据按顺序分块并在每次遍历中累积渐进无损压缩表示（ALCRs），使得即便数据量超出可用内存，仍可实现全数据最大似然推断。我们证明所得估计量与全量集中式交替Fisher评分/IRLS算法在每次迭代中代数上完全一致，而不仅仅是渐近等价；同时分别给出了恢复全数据MLE的条件，并推导了分散参数的汇总渐近方差。## 结果与MASS::glm.nb相比，每次迭代的活跃内存从O(np)降至O(n_Sp + p2)。蒙特卡洛研究（n = 5,000,000，1,000次重复）确认与经验基准MASS::glm.nb的吻合精度：系数误差在1.8 × 10?1?以内，分散参数误差在8.0 × 10?1?以内，相对效率与1.000无法区分。峰值内存降低96%，计算时间缩短为原来的1/3.75，其中分块贡献了2.35倍的加速（在SPARCS数据上为2.58中的1.15）。强制50次迭代的追踪确认每次迭代均满足恒等性；在n = 200,000的独立研究中，分散参数的代入式标准误覆盖率为0.947。补充实验表明，在推荐分块大小下限以下一个数量级的情况下，该精确性仍然成立，且从n = 10,000到5,000,000的范围内，D&R始终快于直接拟合。在2024年纽约SPARCS住院出院数据集（n = 2,196,737）中，估计的分散参数θ? = 1.797证实了严重的过度分散（方差-均值比 = 13.4）；APR严重程度是主导因素，与轻微入院相比，极重度、重度和中度的发病率比（IRR）分别为4.26、2.16和1.55。由于出院记录在医疗机构内存在聚集，我们报告了机构聚类稳健标准误，其将基于模型的误差平均放大了17.8倍，并使二十九个项中的十一个偏离了名义显著性水平，但严重程度和死亡风险的梯度仍然稳健。## 结论上述结果确立了D&R作为医疗服务研究中大规模计数回归的一种有原则、可解释且计算上可行的基础方法。