计算Barthel指数工具在大型养老院队列中的外部验证与适应性迁移研究

《PLOS Digital Health》:External validation and adaptation of the Computational Barthel Index Tool in a large nursing home cohort

【字体: 大 中 小 】 时间:2026年10月24日 来源:PLOS Digital Health 7.7

编辑推荐:

  计算Barthel指数工具(Computational Barthel Index Tool, CBIT)最初利用美国退伍军人事务部(U.S. Department of Veterans Affairs, VA)数据开发,可提前一年预测日常生活活动(Acti

  
计算Barthel指数工具(Computational Barthel Index Tool, CBIT)最初利用美国退伍军人事务部(U.S. Department of Veterans Affairs, VA)数据开发,可提前一年预测日常生活活动(Activities of Daily Living, ADLs)的未来依赖性。本研究在大型非VA养老院人群中进行了CBIT的外部验证,并评估了人群特异性适应能否恢复外部迁移后的性能。研究人员分析了SEER-Medicare关联数据,包括843,836名患者和超过800万份最小数据集(Minimum Data Set, MDS)评估。原始CBIT模型的预测变量和结局结构在SEER-Medicare队列中被重建。预训练模型未经修改即在当前、3个月、6个月和12个月预测时间点上评估其区分度和校准度。人群特异性适应通过使用逐步增大的SEER-Medicare训练数据子集进行评估,并与SEER-Medicare中的模型重建进行比较。在严格外部验证下,区分度相对于原始VA模型有所下降,尤其在长期预测方面。对于评价模型,平均AUC从原始模型的0.795降至当前预测时的0.693、3个月时的0.595、6个月时的0.595以及12个月时的0.592。再评价模型显示出更强但同样下降的外部性能。校准误差增加,尤其对于较长预测时间点的评价模型。亚组分析显示不同人口学和临床群体间的区分度差异较小。人群特异性适应显著恢复了区分度,随着更多SEER-Medicare训练数据的纳入,性能逐步提升。使用适应训练集后,适应模型达到了与SEER-Medicare模型重建相当的性能。外部验证揭示了CBIT迁移至非VA人群时出现显著性能退化。人群特异性适应恢复了大部分性能损失,支持一种结构化临床机器学习(ML)可迁移性策略:首先对预训练模型进行外部验证,当观察到性能退化时再进行适应。当拥有足够本地数据时,完整模型重建仍是一种替代方案。
研究背景与目的
随着人口老龄化,功能性残疾日益普遍,早期识别日常生活活动(Activities of Daily Living, ADLs)依赖风险对于康复规划、长期护理决策和照护过渡至关重要。计算Barthel指数工具(Computational Barthel Index Tool, CBIT)是一个基于机器学习的框架,最初利用美国退伍军人事务部(U.S. Department of Veterans Affairs, VA)数据开发,旨在提前一年预测ADLs依赖。然而,机器学习模型常因过拟合、数据泄露或人群特征分布偏移而在新环境中表现不佳。内部验证无法替代外部验证,后者是评估模型在独立真实世界场景中稳健性的关键步骤。此外,当外部验证显示性能退化时,一个重要实践问题是应否丢弃原模型重新开发,还是可通过适应现有模型来改善性能。因此,本研究有三个目标:在非VA养老院人群中重建CBIT的预测变量和结局结构并进行严格外部验证;评估模型在不同人口学和临床亚组(包括癌症状态和类型)中的区分度和校准度;评估使用渐进增多本地数据进行人群特异性适应的效果,并与完全模型重建比较。
研究方法与关键技术
研究人员使用SEER-Medicare关联数据库作为外部验证数据源,该数据库结合了Medicare索赔数据和最小数据集(Minimum Data Set, MDS)评估,并通过与监测、流行病学与最终结果(Surveillance, Epidemiology, and End Results, SEER)癌症登记处关联获取癌症信息。最终队列包含来自养老院的843,836名患者和超过800万份MDS评估。关键技术包括:重建CBIT的预测变量结构(人口学特征和281个临床分类软件诊断类别的时间变量ccsimin和ccsimax)和二元结局定义(九项ADL的依赖状态);将MDS 2.0和3.0版本的功能评估条目统一映射到Barthel指数评分体系;对72个预训练CBIT模型(36个评价模型MEdτ和36个再评价模型MREd)进行严格外部验证;使用渐进增大的SEER-Medicare训练数据子集进行人群特异性模型适应;与在SEER-Medicare中完全重建的模型进行比较。
研究结果
A. 队列特征:外部SEER-Medicare队列(843,836名患者,8,257,141份评估)与原始VA队列相比年龄更大,女性比例更高,种族分布不同,功能依赖更严重(平均Barthel评分33.15 vs. 49.00)。62.5%的患者至少有一种癌症诊断,肺癌和乳腺癌最常见。
B. 整体性能:严格外部验证下,预训练CBIT模型区分度下降。评价模型平均AUC从原始的0.795降至当前预测0.693,3个月0.595,6个月0.595,12个月0.592,表明长期预测区分度仅略高于随机水平。再评价模型区分度较高但同样随预测时间延长而下降。精度和召回率也呈现类似模式。
C. 亚组性能:亚组分析显示区分度变化的主要来源是模型类型和预测时间框架而非人口学或临床亚组间的大幅差异。性别间AUC差异较小。种族间AUC差异幅度总体不大。年龄组中较年轻患者AUC通常较高。癌症患者中评价模型区分度低于非癌症患者,但再评价模型两组间相似。不同癌症类型间AUC差异幅度总体较小。
D. 校准度:评价模型在校准误差较大,预期校准误差(ECE)从当前预测0.233升至12个月0.363,Brier分数从0.208升至0.282。再评价模型校准误差较低,ECE从0.033升至0.128,Brier分数从0.059升至0.082。校准曲线显示预测概率与观察频率总体上保持合理接近。
E. 模型适应:使用80%SEER-Medicare数据适应后,评价模型AUC在所有预测时间点均得到改善,恢复了大部分性能损失但仍低于原始模型性能。再评价模型适应后AUC达到约0.96,与SEER-Medicare模型重建结果高度一致。渐进增大适应数据量分析显示,即使使用相对较小的本地数据子集也能获得性能改善,但增量收益在高数据比例时递减。
讨论与结论
本研究表明,将预训练临床ML模型迁移至新人群时,需经历三个步骤:先在目标人群中进行外部验证;若性能退化,则评估使用适当分离的本地数据进行人群特异性适应;当拥有足够数据和资源时,可将适应与完全模型重建进行比较。研究发现,CBIT在严格外部验证中出现明显性能退化,尤其对于长期预测和无既往功能状态的评价模型。但人群特异性适应显著恢复了区分度,且性能随本地数据量增加而改善。与SEER-Medicare模型重建的比较表明,当本地数据或开发资源有限时,适应可能是完全模型重建的实用替代方案,而完全重建在有充分数据和资源时仍是可行选项。这些发现支持了一种结构化的临床ML可迁移性策略。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号