《PLOS Computational Biology》：The influence of ensemble size and composition on the performance of combined real-time COVID-19 forecasts
编辑推荐：
在传染病暴发期间，短期预测可为决策者和公众发挥重要作用。既往研究显示，将个体预测组合为集成（ensemble）可提高准确性和一致性，但多模型预测平台组织者关于如何构建集成的实践指导仍稀缺。特别地，集成性能与底层模型池规模的关系尚不完全清楚，当依赖面临竞争性优先
在传染病暴发期间，短期预测可为决策者和公众发挥重要作用。既往研究显示，将个体预测组合为集成（ensemble）可提高准确性和一致性，但多模型预测平台组织者关于如何构建集成的实践指导仍稀缺。特别地，集成性能与底层模型池规模的关系尚不完全清楚，当依赖面临竞争性优先事项的建模团队自愿贡献时，这是一个相关问题。此外，集成预测的确切构成可能影响其性能。集成可同等纳入所有模型，或基于既往性能或其他特征进行区分。利用欧洲COVID-19预测中心（European COVID-19 Forecast Hub）的数据，研究人员调查了这些问题，旨在为传染病暴发期间多模型预测平台组织者提供实践指导。研究人员发现，纳入更多模型既改善又稳定了总体集成性能，而选择更优组件模型未带来任何特殊优势。模型间多样性，无论以数值还是定性方式衡量，对集成性能均无清晰影响。这些结果表明，对于征集协作集成贡献者而言，将参与度提高到中等水平比优化组件模型有更明显收益。
研究背景与问题：在传染病暴发期间，短期预测可降低短期不确定性并支持规划与资源分配。既往研究反复显示，将多个模型预测组合为集成（ensemble）可提高预测准确性和一致性，并促成对大规模建模协作的持续投资。然而，协作集成通常是“机会性集成”（ensembles of opportunity），即由非系统选择且可能波动的贡献模型组成，对模型相互依赖或性能的处理有限。因此，即使集成预测常优于多数个体模型，仍需评估其性能对不同模型构成的稳健性；集成性能的贡献因素可能包括成员模型数量、模型多样性和个体预测性能。既往基于美国流感和COVID-19预测的工作刻画了组件模型数量的影响，发现随机选择模型时增加模型数可改善集成性能并降低变异性，尤其在最多4个模型范围内；其他领域研究讨论了纳入多样预测的价值，但传染病预测中尚不清楚跨方法类型组合是否优于单一类型，以及基于个体既往表现选择或加权模型是否有效。该研究利用欧洲COVID-19预测中心（European COVID-19 Forecast Hub）数据，考察集成规模、组件模型多样性和个体模型性能的影响，旨在为多模型预测平台组织者提供实践指导。
关键技术方法：研究数据来自欧洲COVID-19预测中心，覆盖德国、波兰、捷克共和国、英国和法国，目标为COVID-19病例和死亡，时间为2021年3月中旬至2022年3月中旬，共52个预测日期。仅纳入至4周全部预测时程和23个分位数水平的“完整”预测。用加权区间评分（weighted interval score, WIS）评估，并通过成对比较得到缩放相对技能（scaled relative skill）。第一部分从各地点-目标可用模型池中重组模型构建不同规模集成，按模型类型分为同质（homogeneous）和异质（heterogeneous），以中位数聚合。第二部分用4周滚动窗口选择近期表现最佳k=3、5、8、10个模型，采用均值或中位数、等权或逆评分加权（inverse-score weighting）聚合，与中心复制集成（Hub-replica ensemble）比较。分析用R和scoringutils完成。
研究结果：**集成规模与多样性**。通过重组实验从可用模型池中构建不同规模k的替代集成，并以WIS和成对比较相对Hub-replica基准评分，研究人员发现，纳入更多模型总体改善并稳定了集成性能；除少数例外，含4个及以上成员的集成优于朴素基线模型（naive baseline model）。多数序列中，中位缩放相对技能的最大下降出现在2至4个组件模型之间，之后性能通常进入平台期或改善更慢；较大k的百分比变化多接近0，但个别地点如波兰死亡在较高k仍有中度改善。相对性能的离散度随k增加而明显下降，提示纳入更多模型可能减少挑选特别有利组件模型的必要性。将集成分为同质和异质后，两组性能范围相似，尤其成员多于2个时未见清晰支持异质集成的证据；以组件模型预测间数值距离衡量多样性，也未显示多样性与集成性能的清晰关系。中位数聚合造成曲线拐点，均值聚合结果模式相似但更平滑。
**选择集成**。通过4周滚动窗口选择近期表现最佳k个模型，并以等权或逆评分加权、均值或中位数聚合，与完整Hub-replica比较相对WIS，研究人员发现，尤其跨所有地点平均时，相对WIS多数接近1，表明预选近期较优表现者未带来实质性能增益或损失。对死亡，相对分数更常高于1，最明显恶化也出现在该目标；对病例，相对分数多接近1，无清晰优劣。加权与未加权方法总体差异小，稍偏好加权集成。波兰病例在加权中位数聚合下是缺乏一致改善中的最清晰例外。纳入更多模型时WIS值离散度下降，提示集成规模而非选择更优组件模型是稳定性能的更关键因素。扩展到模型池较小的其他国家时，结果广泛一致但更不利；无方法在各地点和两目标序列中持续优于基准。
讨论总结：分析显示，纳入更多模型平均改善并稳定集成性能，但改善在纳入3–4个模型后趋于平缓或更渐进。集成多样性与性能无强关联，无论数值衡量还是按建模方法定性分类均如此；这与误差-模糊分解（error-ambiguity decomposition）等理论预测相反，至少在现有模型类型和样本量下该收益未显现。选择近期更优表现者未持续改善性能，仅罕见地较大等权中位数集成有实质优势；这可能源于模型性能非平稳，使过去表现难以可靠预测当前或未来表现。波兰病例例外未见独特选择或加权模式，可能反映样本变异。更复杂的聚合方法或可更成功利用个体贡献。研究结果可能体现经济预测文献中长期存在的“预测组合难题”（forecast combination puzzle）：等权组合常匹配或优于加权组合，估计误差是常见解释。既往多模型传染病预测分析也报告较大集成的稳定效应及超过4个模型后的递减回报。局限包括：结论主要基于5个欧洲国家12个月COVID-19预测，外推到其他疾病、情境或大流行阶段需进一步研究；模型池较小且由自愿贡献机会性组成；多样性和模型选择结论仅限观察范围；同质集成样本小；选择k个最佳模型在不同模型池规模下含义不同；选择分析为回顾性，仅模拟实时性能；模型退出与既往表现并非完全随机。
研究结论翻译：综合而言，研究人员分析的两个部分指向同一方向：集成性能更多由贡献模型的数量而非特定模型的选择或加权所塑造。纳入更多模型的益处在这两部分中均较明显，而研究人员考察的构成因素，即重组实验中的模型多样性以及选择实验中的选择和逆评分加权，未产生一致优势。在缺乏持续表现更优的组件模型和/或更合适聚合方法证据的情况下，对多模型预测平台组织者的实践建议仍是收集中等数量模型（约4–6个），并通过未加权中位数函数不加区分地聚合。
