《npj Dementia》:External validation of dementia risk prediction models in the EPIC-Norfolk cohort: a UK-based cohort study
编辑推荐:
痴呆风险模型的外部验证对于评估其泛化能力和临床实用性至关重要。研究人员利用EPIC-Norfolk队列(样本量n=25,423),在长达30年的随访中,评估了12个预测模型,包括10个痴呆特异性模型和2个基于心血管的模型。通过区分度、校准、竞争风险和效能分析,
痴呆风险模型的外部验证对于评估其泛化能力和临床实用性至关重要。研究人员利用EPIC-Norfolk队列(样本量n=25,423),在长达30年的随访中,评估了12个预测模型,包括10个痴呆特异性模型和2个基于心血管的模型。通过区分度、校准、竞争风险和效能分析,并按随访时间和性别分层来评估性能。其中5个模型得到完全验证,7个部分验证。心血管风险因素、衰老与痴呆风险评分(CAIDE)、CAIDE-APOE和痴呆风险评分(DRS)表现出中度的性能下降,而弗雷明汉风险评分(FRS)和CHA2DS2-VASc展现出良好的校准和强大的可迁移性,支持血管风险因素在预测痴呆中的价值。英国生物银行痴呆风险评分(UKBDRS)尽管是部分验证,仍保持了高区分度(>0.80)。女性中的性能普遍较低,尤其是CAIDE和DRS。大多数完全验证的模型校准可接受,尽管有几个模型统计效能不足。关注核心血管和生活方式因素的简化模型,可能为痴呆风险分层提供可扩展且临床相关的工具。
论文解读文章
研究背景与问题
痴呆是全球日益严峻的公共卫生挑战,对个体、家庭及医疗和社会照护系统产生深远影响。传统痴呆研究侧重于诊断后的药物干预,但近年来研究重点已转向预防和早期检测,以降低风险或延缓发病。在此背景下,风险预测模型的开发与验证成为识别高风险个体并实施早期干预的关键。痴呆风险预测模型通常整合社会人口学、遗传和健康相关因素,通过单一算法估计个体发病概率。然而,这些模型在临床和公共卫生中的应用取决于其外部验证、可接受性和成本效益。外部验证通过将模型应用于独立于开发数据的数据集,评估其在不同人群和环境中的泛化能力和稳健性。由于痴呆风险在不同种族、地理区域和社会经济群体间存在差异,外部验证至关重要。尽管痴呆风险模型数量激增,但其验证工作仍存在显著不足。许多模型在均质性或特定人群中开发(通常来自高收入国家),在应用于更广泛、多样化人群时可能表现不佳。因此,迫切需要在能够捕捉广泛风险因素和人口学变量的大规模、基于人群的队列中对这些模型进行严格检验。
研究内容与结论
本研究利用欧洲癌症与营养前瞻性调查-诺福克队列(EPIC-Norfolk)数据,对10个痴呆风险预测模型和2个基于心血管的模型进行外部验证。心血管模型因其在痴呆风险预测中的潜在重利用价值而被纳入,考虑到血管因素对认知衰退的显著贡献。研究通过评估不同随访时段、不同性别的模型性能,并采用时间事件分析和竞争风险方法,提供了对这些模型泛化能力的细致评估。主要结论:5个模型实现完全验证,7个模型因变量缺失仅部分验证。完全验证的模型中,心血管风险因素、衰老与痴呆风险评分(CAIDE)及其含载脂蛋白E(APOE)基因型的扩展版本(CAIDE-APOE)和痴呆风险评分(DRS)区分度较开发阶段中度下降,而弗雷明汉风险评分(FRS)和CHA
2DS
2-VASc表现出良好的校准和强可迁移性,支持了血管风险因素在长期痴呆预测中的稳定作用。英国生物银行痴呆风险评分(UKBDRS)及其含APOE版本(UKBDRS-APOE)尽管部分验证,仍保持高区分度(C统计量>0.80)。女性中的区分度普遍低于男性,尤其CAIDE和DRS。校准方面,多数完全验证模型表现良好,但部分模型统计效能不足。简化模型聚焦核心血管和生活方式因素,可能提供可扩展的临床相关工具用于风险分层。该论文发表在《npj Dementia》。
关键技术方法
本研究的关键技术方法包括:利用EPIC-Norfolk队列(n=25,423,来自英国诺福克地区,基线年龄39-79岁,1993-1997年招募,随访至30年),通过链接国家卫生服务(NHS)数字中心的医院病例统计(HES)和英国国家统计局(ONS)死亡数据,使用国际疾病分类第10版(ICD-10)编码确定痴呆结局。模型验证采用Cox比例风险回归和Fine-Gray竞争风险模型,评估区分度(C统计量)、校准(Hosmer-Lemeshow检验或Gr?nnesby-Borgan检验、校准曲线、校准截距和斜率)。分析按随访时点(5、10、15、20、25年和完整随访)和性别分层。此外,进行基于精度的样本量评估,采用Riley等人的方法计算最小所需样本量和事件数以精确估计性能指标。
研究结果
**完全模型验证与校准**:5个完全验证模型中,CAIDE和CAIDE-APOE的C统计量从开发的0.77(95% CI: 0.71-0.83)和0.78(95% CI: 0.72-0.84)分别降至0.68(95% CI: 0.64-0.72)和0.71(95% CI: 0.67-0.75),表明预测能力中度衰减,但置信区间与开发值重叠。DRS的开发C统计量最高(0.84),验证中降至0.76(95% CI: 0.69-0.83)。CHA
2DS
2-VASc则从开发0.61显著升至0.80(95% CI: 0.72-0.87)。FRS表现出优秀可迁移性,开发范围0.75-0.79,验证C统计量为0.79(95% CI: 0.76-0.82)。性别分层显示多数模型在女性中区分度低于男性。CAIDE在男性中C统计量为0.73(95% CI: 0.67-0.78),女性0.66(95% CI: 0.61-0.71);DRS男性0.83(95% CI: 0.76-0.90),女性0.72(95% CI: 0.61-0.82)。CHA
2DS
2-VASc和FRS在男女中稳定(男性0.83和0.82,女性0.78和0.78)。校准方面,CAIDE和CAIDE-APOE总体良好,但CAIDE在女性中高估风险、男性中低估较高风险(χ
2=17.83, p=0.013 vs. χ
2=8.48, p=0.205),重新校准后校正。DRS校准良好但男性中较高风险低估。CHA
2DS
2-VASc校准极佳。FRS总体可接受但倾向于高风险时低估,男性需重新校准。不同随访时点的运输性:CAIDE和CAIDE-APOE随时间稳定(5年C统计量0.67-0.70,完整随访0.67-0.69)。DRS在男性中从5年0.83降至完整随访0.68。CHA
2DS
2-VASc从5年0.81降至0.71,女性下降更陡。FRS保持稳定(5年0.78至完整随访0.76)。时变校准分析显示CAIDE在20年后校准最佳,早期低估;CAIDE-APOE随时间改善但高风险仍低估;DRS早期轻微高估后校准良好;CHA
2DS
2-VASc初期中等低估,20年后改善;FRS始终一致,仅稍高估高风险。Fine-Gray分析在完整样本中与Cox回归结果无显著差异。
**部分模型验证**:7个模型因缺失变量仅部分验证。ANU-ADRI(澳大利亚国立大学阿尔茨海默病风险指数)缺失社会参与和认知活动,验证C统计量0.69(95% CI: 0.63-0.76),与开发范围(0.65-0.73)一致,但阿尔茨海默病表现较低(0.62)。BDSI(简要痴呆筛选指标)从开发0.68-0.78降至0.63(95% CI: 0.56-0.71)。DemNCD(痴呆非传染性疾病风险评分)缺失最多变量,C统计量从开发0.68降至0.42(95% CI: 0.41-0.44),但开发中位随访6.2年,而EPIC-Norfolk中位16.5年,不同随访时长可能影响评估。LIBRA(大脑健康生活方式指数)稳定(开发0.60,验证0.61)。UKBDRS和UKBDRS-APOE保留强运输性(验证0.81和0.82,开发0.80和0.83)。性别分层显示多数模型男性区分度略高,如ANU-ADRI男性0.74、女性0.66;DemNCD男性0.40、女性0.61;LIBRA男性0.59、女性0.62;UKBDRS两性相似(0.80-0.85)。随随访时点变化:ANU-ADRI从5年0.72降至完整0.65,女性下降更陡;BDSI从0.69降至0.60,男性下降更明显;LIBRA从5年0.71降至0.59;UKBDRS和UKBDRS-APOE稳定(5年0.80降至完整0.77)。DemNCD在5年时为0.57,10年0.62,20年0.58。Fine-Gray分析除DemNCD外与Cox一致,DemNCD在考虑竞争风险后区分度更低。
**基于精度的效能分析**:完全验证模型中,CAIDE和CAIDE-APOE有足够效能估计区分度和校准斜率,但缺乏足够事件可靠估计O/E比。FRS足够估计C统计量和斜率,但O/E比不足。DRS仅足够估计校准斜率。CHA
2DS
2-VASc因极低事件率对所有指标效能不足。部分验证模型中,UKBDRS、UKBDRS-APOE、LIBRA和DemNCD完全有效能精确估计C统计量;ANU-ADRI和BDSI效能不足。
讨论与结论
本研究揭示了痴呆风险预测模型在运输性上的变异性。完全验证模型中,CAIDE和CAIDE-APOE的区分度中度下降,可能由于其依赖中年血管和生活方式因素,而风险因素分布随时间变化及晚年未测量暴露影响痴呆发生。DRS开发C统计量最高但下降显著,尤其在女性中,需重新校准。两个基于心血管的模型(FRS和CHA
2DS
2-VASc)表现出强运输性,提示传统心血管风险因素在长期痴呆预测中具有稳定作用。FRS在Whitehall II队列的外部验证中也显示中等区分度(C统计量0.72),支持其重利用价值。部分验证揭示缺失变量对运输性的影响:ANU-ADRI尽管缺失心理社会因素仍保持合理运输性,但男性优于女性;BDSI下降可能因缺失功能损害指标;DemNCD下降最大,部分归因于缺失变量和随访时差异;LIBRA稳定性表明核心生活方式预测指标的重要性。UKBDRS和UKBDRS-APOE尽管缺失父母痴呆史和独居变量,仍保持卓越预测性能,提示这些变量贡献有限。性别差异表明需进行性别特异性重新校准。基于精度的效能分析强调未来验证需足够样本量和事件数。研究结论:痴呆风险预测模型的运输性存在差异,部分模型(如UKBDRS和心血管工具)在不同人群中表现稳健,而其他模型需重新校准后方可广泛应用。性别特异性差异提示需个性化风险评估方法。简化核心血管和生活方式因素的预测工具可减少数据收集负担。本研究为选择和优化风险预测工具以识别高风险个体、指导靶向干预提供了依据。