《Artificial Intelligence in Medicine》:Artificial intelligence use and performance in detecting and predicting healthcare-associated infections: A systematic review
编辑推荐:
本研究系统检索2018年7月至2024年2月PubMed等数据库中121项研究,发现AI模型在HAI检测中表现优异(20.6%研究,AUROC>0.90),预测任务表现异质(76.9%研究),AI在81.3%对比中优于传统方法,但存在性能评估不足、前瞻性研究缺乏及组织影响评估不足等挑战。
Barbati Chiara | Viviani Luca | Vecchio Riccardo | Arzilli Guglielmo | De Angelis Luigi | Baglivo Francesco | Sacchi Lucia | Bellazzi Riccardo | Rizzo Caterina | Odone Anna
帕维亚大学公共卫生学院,公共卫生、实验与法医学系,意大利帕维亚
摘要
目的
医疗数据的日益数字化以及人工智能(AI)的快速发展为传染病管理开辟了创新策略的道路。本研究旨在系统地检索和总结关于基于AI的模型在医疗相关感染(HAI)检测(即识别现有数据中的感染)和预测(即根据患者的早期信息估计未来风险)方面的当前证据。
方法
在PubMed、Embase、Scopus和Web of Science数据库中检索了2018年7月1日至2024年2月12日期间发表的实验性和观察性研究。主要结果指标包括HAI检测和预测的技术性能指标(如召回率、精确度、AUROC)。任何报告的临床、组织或经济影响都被作为次要结果进行评估。
结果
在最初识别的4489条记录中,有121项研究被纳入分析。其中25项研究(20.6%)专注于HAI检测,超过一半的研究的AUROC值高于0.90。相比之下,关于HAI预测的研究(n=93,76.9%)表现较为多样化。在将AI与传统方法进行比较的研究中(n=32),AI模型在81.3%的情况下优于传统方法(n=26)。
结论
越来越多的证据表明,AI模型在HAI检测和预测方面与传统方法相当或更胜一筹,但在评估性能方面仍存在挑战,许多研究缺乏对照组,前瞻性评估较少,且对组织影响的评估也有限。
引言
医疗相关感染(HAIs)是影响住院患者最常见的不良事件类型之一:根据欧洲疾病预防控制中心(ECDC)的数据,2022-2023年间,7.1%的欧洲患者至少患有一种HAI [1]。HAIs与发病率、死亡率和住院时间延长有关 [2]。它们的发生还会带来巨大的经济负担:例如,国家级分析估计,英国每年因HAI产生的医疗费用在21亿至27亿英镑之间 [3],美国则在72亿至149亿美元之间 [4]。
医疗相关数据的逐步数字化,加上数字技术的最新进展,促进了HAI控制和监测方法的创新,其中基于人工智能(AI)的模型尤为值得关注 [5]。AI被定义为计算机科学的一个领域,专注于开发能够执行通常需要人类智能的任务的机器,有潜力彻底改变医学的许多方面 [6]。我们之前进行了一项系统评价 [7],收集并分析了2004年至2018年间发表的所有关于AI在HAI检测和预测应用的研究成果。总体而言,越来越多的证据表明,基于AI的模型在这一领域的表现与传统非AI方法相当或更优 [7]。
然而,AI及其在医疗保健中的应用正在迅速发展,自2018年以来发生了显著变化。例如,先进的自然语言处理(NLP)和大型语言模型(LLMs)的引入,使得以前很少被利用的文本临床记录等数据源得以使用 [8]。此外,即使是基于机器学习(ML)模型的成熟AI形式,也越来越被应用于临床环境。收集有关其性能的更新信息至关重要,以确定哪些技术真正有益,哪些可能无法达到预期效果。此外,AI在改善临床环境中的组织和经济成果方面的潜在影响仍大部分尚未被探索 [7]。
本研究的主要目的是系统地检索和总结关于基于AI的模型在HAI检测和预测方面的最新证据,更新我们之前对该主题进行的评价结果 [7]。具体目标包括:(i) 描述报告使用基于AI的模型进行HAI检测和预测的研究的特征;(ii) 了解这些研究中探索了哪些类型的AI模型和哪些健康相关数据源;(iii) 评估不同AI模型的性能,并将其与传统手动或自动化方法进行比较。
方法部分
本研究遵循《系统评价和荟萃分析的优先报告项目》(PRISMA)[9,10] 的要求。研究问题、搜索策略、纳入和排除标准、主要结果、数据提取策略及数据合成方法均在PROSPERO注册的研究方案中预先确定(PROSPERO 2024 CRD42024513145)。
指导本评价的研究问题是评估AI模型在HAI检测和预测方面的性能。
结果
从选定的数据库中共检索到8701条记录。如图1所示,经过筛选后,有4489条记录被纳入分析。在去除重复记录后,通过标题和摘要进一步筛选,排除了4054条记录。最终共有436条记录被评估其适用性,其中324条因与评价问题无关而被排除(原因包括:研究对象(n=172)、干预措施(n=26)、结果(n=17)或出版物等因素)。
讨论
我们检索并总结了来自全球121项原始研究的关于基于AI的模型在HAI检测和预测方面应用的最新证据。我们更新了之前发表的评估数据 [7],该评估显示了基于AI的模型具有良好的性能前景,尽管研究设计存在较大差异,且对其在临床实践中的部署和影响的评估有限。
结论
这项更新的系统评价强调了在开发用于预测和检测HAI的AI模型方面取得的显著进展。不断发展的AI技术和可用数据源为个性化、实时的HAI管理和监测带来了新的可能性,越来越多的证据表明AI的性能与传统方法相当或更优。在纳入的研究中,机器学习(ML)和深度学习(DL)模型在检测和预测任务中的表现相似。
CRediT作者贡献声明
Barbati Chiara:撰写初稿、进行研究、进行正式分析、数据整理。
Viviani Luca:撰写初稿、进行研究、进行正式分析、数据整理。
Vecchio Riccardo:进行研究、进行正式分析、数据整理。
Arzilli Guglielmo:数据整理。
De Angelis Luigi:数据整理。
Baglivo Francesco:数据整理。
Sacchi Lucia:撰写评论和编辑、进行研究、进行正式分析、概念构建。
Rizzo Caterina:撰写评论和编辑、提供监督。
资助
本研究得到了
National “5xMille” 2022年税收捐赠对I.R.C.C.S. Policlinico San Matteo基金会的支持(项目代码:5M-2022-23685615:利用数据驱动的智能算法预测和预防外科手术部位感染,由I.R.C.C.S. Policlinico San Matteo基金会资助)。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。