综述：基于人工智能的不良事件检测方法：当前证据的系统性回顾 作者：弗朗切斯科·德·米科（Francesco De Micco）、詹马尔科·迪·帕尔马（Gianmarco Di Palma）、格雷塔·塞维索（Greta Seveso）、弗拉维亚·贾科莫博诺（Flavia Giacomobono）、罗伯托·申多尼（Roberto Scendoni）和维托拉多尔福·坦博内（Vittoradolfo Tambone）

《Safety》：AI-Driven Approaches for Adverse Event Detection: A Systematic Review of Current Evidence Francesco De Micco, Gianmarco Di Palma, Greta Seveso, Flavia Giacomobono, Roberto Scendoni and Vittoradolfo Tambone

　　**摘要**
**引言：**医院不良事件是一个全球性的患者安全问题，导致了可避免的死亡、长期残疾、住院时间延长以及医疗费用的增加。报告不足（实际上记录的事件不到10%）是一个普遍现象，其主要原因在于文化和组织因素。人工智能，以机器学习和自然语言处理的形式，被描述为利用大规模临床数据增强不良事件检测和预测的潜在工具。

**材料与方法：**本系统评价遵循了PRISMA-DTA指南。通过Scopus、PubMed和Web of Science数据库进行搜索，使用与不良事件、人工智能方法（如机器学习、深度学习、自然语言处理）以及医疗环境相关的关键词。纳入标准包括关于基于人工智能的不良事件检测或预测解决方案的原创研究，例如药物错误、医院获得性感染和手术并发症。排除了综述、元分析和非人工智能研究。经过筛选后，共有15项研究符合纳入标准。

**结果：**参考研究表明，从基于规则的自然语言处理模型转向了先进的深度学习和Transformer模型的双向编码表示。早期的方法（如支持向量机分类器）获得了高达0.92的AUC分数，而后来的模型（如随机森林、LightGBM、XGBoost）的AUC分数超过了0.93。大型语言模型在命名实体识别方面的F1分数达到了0.84。人工智能模型甚至能够识别出未报告的事件。

**讨论：**人工智能驱动的方法正在将不良事件检测从回顾性转变为预测性、主动性的监测。然而，仍存在一些挑战，包括外部验证有限、类别不平衡以及复杂模型的可解释性不足。未来的研究必须解决可解释的人工智能、多中心试验和高质量标注数据集的问题，以实现安全的临床集成。

**1. 引言**
医院不良事件（AEs）是对患者护理的安全和质量构成最大威胁的因素之一。它们不仅削弱了医疗服务的有效性，也破坏了患者及其家庭的信心和信任，同时对医疗中心的声誉、效率和财务可行性产生了负面影响[1]。医学研究所的一份里程碑报告估计，仅在美国，医疗错误每年就导致45,000至98,000人死亡，因此是可预防死亡的常见原因之一[2]。后续研究表明，不良事件的负担不仅限于死亡率，还包括长期残疾、住院时间延长、额外的医疗费用以及患者和提供者双方极大的情感和心理压力[3]。尽管采用了正式的报告系统和质量保证措施，不良事件的正确报告率仍然非常低，实际记录在案的医疗错误不到10%[4]。即使报告了，也只有15%的医院反应与能够降低复发可能性的预防措施相关[5]。报告不足通常归因于许多结构性、组织性和文化因素的相互作用，例如对责备或诉讼的恐惧、缺乏良好的反馈系统以及缺乏非惩罚性的安全文化[6]。消除这些障碍对于提高个体和系统的韧性以及患者安全至关重要。

**2. 材料与方法**
本系统评价遵循PRISMA-DTA（诊断测试准确性研究的系统评价和元分析的首选报告项目）指南[13]提供的方法学框架。进行了系统性文献搜索，以寻找报告使用人工智能技术识别医学中不良事件的主要研究。为了涵盖广泛的国际科学文献并保持平衡的代表，选择了PubMed、Scopus和Web of Science数据库。这些数据库的选择基于它们的互补性：PubMed提供了广泛的生物医学和临床文献覆盖；Scopus拥有大量与人工智能相关的多学科期刊和会议论文；Web of Science确保了高引用论文的收录，并具有精确的引用追踪。搜索策略采用了概念块方法，将关键词分为三组：
A) 不良事件（“adverse event” OR “adverse drug event*” OR “adverse drug reaction*” OR “medical error*” OR “patient safety”）；
B) 人工智能技术（“machine learning” OR “deep learning” OR “neural network*” OR “natural language processing” OR NLP*）；
C) 医疗环境（“healthcare” OR “electronic health record” OR EHR OR hospital* OR clinic*）。
最终搜索字符串根据每个数据库的语法进行了调整：
(“adverse drug event” OR “adverse drug events” OR “adverse drug reaction” OR “adverse drug reactions” OR “medication error” OR “medication errors” OR “hospital acquired infection” OR “surgical complication” OR “surgical complications”) AND (“machine learning” OR “deep learning” OR “natural language processing”) AND (“electronic health record” OR “electronic health records” OR EHR OR “clinical notes” OR “hospital database”）。我们选择了15年的时间范围（大约从2010年至今），因为这一时期涵盖了从传统的基于规则或统计系统到基于机器学习和自然语言处理的先进预测模型的关键转变，最终发展为大型语言模型和多模态架构。选择这个时间段可以捕捉与现代临床应用直接相关的人工智能技术的演变，反映出方法论的进步和高质量电子健康数据的日益丰富。

我们纳入了强调在医疗环境中（如医院、诊所或电子健康记录系统）使用机器学习、深度学习或自然语言处理技术检测或预测不良事件（例如药物错误、不良药物事件、医院获得性感染或手术并发症）的原创研究。无论研究是针对通用不良事件检测还是特定类别的不良事件，只要应用了基于人工智能的方法进行检测或预测即可。排除了综述、元分析、社论、病例报告以及仅基于标准统计分析而不使用人工智能方法的研究。在搜索过程中没有语言或时间的限制。但在最终选择过程中，优先考虑了英文发表的研究，以确保数据的可比性和一致性。

这些记录随后被导入参考管理软件，删除了重复文章，并进行了两步筛选：标题和摘要筛选，然后是全文审查以确定资格（图1；表S1）。

**3. 结果**
对15项研究的综合表明，近年来应用人工智能驱动的方法进行不良事件识别已经取得了显著进步，从基本的基于关键词的分类模型发展到更复杂的深度学习和大型语言模型（LLMs）。这些研究表明，这些技术不仅能够加速临床数据分析，还能检测出传统系统难以发现的未报告事件（表1）。

**4. 讨论**
人工智能驱动的方法正在将不良事件检测从回顾性转变为预测性、主动性的监测。然而，仍存在一些挑战，包括算法偏见、数据质量、透明性以及需要强大的临床验证，这些都是伦理和操作上的挑战[13]。此外，人工智能的和谐整合需要巨大的文化和组织变革，以及创建适当的监管框架和治理模式，以确保患者安全和数据隐私[14]。

本系统评价旨在提供关于人工智能在医疗环境中应用于不良事件检测的全面和批判性总结。具体而言，它将探讨当前的人工智能应用是否有效改善风险预测和患者结果，如何在不同的临床环境中复制这些应用，以及实施的局限性。通过综合最新证据，本评价旨在识别基于人工智能的方法的潜力和局限性，并为理解如何在现代医疗系统中通过数据驱动的环境建立安全文化提供有价值的见解。冈本等人开发了一个基于SVM的系统，在审查了近30万份临床记录后，发现了34起之前从未向医院管理层报告的关键事件，展示了人工智能在发现报告遗漏方面的潜力[23]。总体而言，分析突显了一些关键趋势。首先，SVM和随机森林算法在监督分类中仍然有效，尤其是在平衡的数据集上。其次，虽然旧的NLP方法仍然可行，但它们正逐渐被基于LLM的方法所超越，后者能够更好地理解临床语言。最后，结合概率建模和机器学习来识别异常情况（例如报告不足）似乎正在扩展人工智能的作用范围，现在已经超越了基本的事件识别，扩展到对安全数据的整体控制。

4. 讨论
4.1. 人工智能在不良事件检测中的演变概述
对15项研究的总体分析表明，人工智能在不良事件检测方法上发生了根本性的转变，从主要是回顾性的、基于规则的方法转变为更具预测性的、更加融入临床流程的方法。这种变化不仅反映了技术上的改进（从传统的NLP到LLM），也体现了对非结构化数据价值的日益认识以及自动化在患者安全监控中的重要性。早期的工作，如Fujita [17,26]和Ong [15]的研究，为文本自动化分析奠定了基础，证明简单的技巧如词袋模型、TF-IDF和SVM在精度和效率上都超过了人工分类。然而，这些方法也有几个局限性：它们无法捕捉复杂的语义关系，依赖于手工设计的特征，并且难以应用于异构的临床领域。
最重要的发展之一是语义嵌入模型的应用（例如Liu等人[25]中的Word2Vec，以及最近出现的LLM如Swe-De-Clin-BERT [22]），这些模型能够更好地理解临床语言背景。Kopacheva的结果显示，命名实体识别（F1=0.84）具有决定性的优势，表明向高级语言模型的趋势将是未来发展的主要推动力[22]。

4.2. 与其他综述的比较
与其他文献中的综述研究相比，如Hoekstra等人（2022年）和Deimazar与Sheikhtaheri（2023年）的研究，本项工作的人工智能方法在应用于临床环境中不良事件的识别和预测方面呈现出更广泛和跨领域的视角[30,31]。之前的综述主要集中在特定领域：第一项研究采用了一般视角，从文本数据中预测事件，包括非医疗领域；第二项研究主要关注从电子健康记录（EHRs）和临床记录中提取的不良事件（ADEs）和药物不良反应（ADRs）。相比之下，本综述将观察范围扩展到不同类型的患者不良事件，并不仅关注算法性能，还关注系统性问题，如报告不足、模型在风险管理过程中的整合、多中心验证需求、数据质量以及使用LLM等复杂模型和可解释人工智能技术所带来的影响。这种方法使我们能够更全面地了解人工智能在患者安全方面的潜在作用，克服了现有综述的狭窄主题界限。

4.3. 报告不足与数据治理
报告不足的问题在临床试验中非常关键，Barmaz [20]使用分层贝叶斯模型进行了创新性的研究，Menard [21]则采用了梯度提升算法。这些研究不仅关注事件检测，还通过识别“异常”站点或异常报告模式来量化数据本身的质量。这是思维方式的本质转变：人工智能不再只是一个数据挖掘工具，而是一个可以支持审计和风险管理过程的数据治理平台。
可能最具颠覆性的是发现人工智能能够识别“隐藏”或未报告的不良事件。例如，Okamoto等人[23]使用SVM模型审查了近30万份临床记录，发现了34起在官方系统中未记录的严重事件。这一发现强调了两个关键点：首先，依赖于人工输入的报告系统的固有局限性；其次，人工智能作为“第二层”监控工具的有效性，能够检测到人类难以察觉的弱信号或事件。

4.4. 泛化能力与数据不平衡
尽管该领域取得了显著进步，但在所审查的研究中仍存在一些挑战。一个主要的挑战是所提出模型的外部有效性有限。在大多数情况下，评估是在单一医院或非常特定的临床环境中进行的数据上进行的，这不利于其在不同医疗环境中的有效性测试。这种缺乏跨站点测试的情况挑战了研究结果的泛化和可扩展性。从人工智能的角度来看，许多研究集中在个别临床领域，表明不良事件检测仍然碎片化，尚未完全建立为一种临床风险管理学科。这种碎片化限制了模型学习和整合来自不同不良事件信号的能力，从而降低了其对整体临床风险管理的潜在影响。另一个主要障碍是数据不平衡，尤其是针对罕见副作用（如SAC 1事件）的情况。根据定义，这些事件会产生高度不平衡的数据集，这会大大削弱预测模型的准确性和稳定性，Hendrickx [26]也指出了这一点。处理这种不平衡通常需要应用复杂的重采样技术或特定领域的损失函数，但即使如此也可能不足以完全解决问题。解决数据不平衡和外部有效性限制的问题不仅对于确认和加强模型性能至关重要，也有助于建立临床对这些工具的信任。采用多中心验证、临床专家参与的方法以及标准化的报告指标可以支持安全实施并促进更广泛的采用。

4.5. 多中心数据集和方法标准化
为了克服目前在外部有效性和缺乏真实跨站点验证方面遇到的限制，未来的研究应朝着系统构建高质量多中心数据集的方向发展，这些数据集应遵循严格和共享的方法标准。这一目标需要协调和多层次的方法，能够整合技术、组织和监管方面的因素。首先，有必要促进机构之间的数据协调，通过采用共同的数据模型和标准化的临床术语（如ICD、SNOMED CT和MedDRA），以减少语义多样性并确保在不同护理环境中不良事件的一致表示。如果没有这种标准化，就有可能在形式上相似但实际上不可比较的数据上训练模型。其次，设计前瞻性的多中心协议是可取的，这可以克服对单中心回顾性数据的传统依赖。基于共享的纳入标准、统一的数据提取流程和共同的注释指南，在医疗机构之间建立协作网络，将显著提高数据的代表性，并减少与单一环境相关的系统偏见。另一个关键因素是高质量注释框架的定义，这需要专家临床医生的参与和标准化标签协议的使用。在这种情况下，应考虑测量观察者间的一致性作为重要组成部分，以确保不同参与者的结果一致性性和可靠性。同时，鉴于数据保护规定的日益严格，采用联邦学习方法和保护隐私的方法尤为重要，这些方法允许在分布式数据上进行模型训练和验证，而无需中央化。这些策略代表了结合可扩展性、机构间合作和患者隐私保护的可行解决方案。从方法论的角度来看，还需要从设计阶段就整合外部验证策略。特别是使用“留一法”这样的方案，即在一系列中心上训练模型并在完全独立的机构上进行测试，以便与在同一数据集内的随机分割相比，获得更现实的泛化能力估计。最后，提高数据集的透明度和报告标准至关重要，这需要详细描述数据集的组成、参与中心的特性、不良事件的普遍性以及采用的预处理程序。在可能的情况下，共享匿名数据集和通用基准可以进一步促进研究的可重复性和不同方法之间的比较。系统地整合这些方法实践将有助于克服当前研究的碎片化，促进从孤立环境中开发的模型向真正健壮、可推广的系统转变，这些系统适合在异构医疗环境中可靠地支持临床风险管理过程。

4.6. 可解释性和可解释人工智能
另一个问题是可解释性。尽管LightGBM和LLM等模型具有强大的预测性能，但它们是“黑盒子”，临床医生无法轻易理解某些输出或建议背后的理由。如果没有适当的可解释性工具，这些模型在高风险环境中的临床应用就会遇到问题，尤其是在决策透明度至关重要的情况下。最后，临床文档的质量是一个限制因素。Kopacheva报告称，只有15%的出院报告明确指出了患者住院的原因——不良药物事件[22]。尽管这些模型显示出高检测能力，但关于它们对临床结果以及质量和患者安全等基本方面的实际影响仍有许多未解之谜。目前需要进一步的研究，从基于回顾性或实验数据集的评估转向在真实临床环境中进行的研究。未来的研究应评估将此类人工智能工具整合到临床工作流程中是否能够显著减少不良事件，从而提高患者安全。这种文档方面的不足不仅妨碍了人工智能模型的训练，也限制了即使是最优秀模型的功能，因为这些模型依赖于正确和完整的数据才能提供可靠的结果。如果人工智能系统不能确保完全透明，那么无论如何都不能被认为是可以接受的。不应期望医疗专业人员简单地信任系统；相反，设计必须从一开始就保证最大的可解释性。措施应从两个互补的层面入手。一方面，在设计阶段可以实施基于角色的访问机制和日志记录机制，以确保可追溯性、责任性和与系统的安全交互，允许医疗专业人员在保持数据匿名性和完整性的同时检查模型输出。然而，尽管这些治理措施至关重要，但本身并不足以保证真正的可解释性，还需要整合专门的可解释性技术，使模型的决策过程透明且具有临床意义。在这种情况下，集成专门的可解释性方法变得必不可少。例如，SHAP（SHapley Additive Explanations）和LIME（Local Interpretable Model-agnostic Explanations）等技术可以在个体患者层面进行解释，量化各个变量对特定预测的贡献，从而使决策过程更加透明和易于理解。同时，基于NLP的模型中的注意机制可以识别临床叙事中最相关的文本成分，而特征重要性分析和替代模型可以提供系统行为的整体视图。因此，结合采用这些方法对于弥合预测性能与临床可解释性之间的差距至关重要，有助于建立医疗专业人员的信任，并促进人工智能系统融入日常临床实践。此外，还需要专门的培训计划，以便操作人员能够 fully 理解工具的工作原理，并向患者提供全面的信息，避免不加批判地接受系统生成的结果。

4.7. 本综述的局限性
鉴于本综述的定性和描述性性质，其目的不是进行诊断准确性的元分析，因此重点在于综合方法论和应用领域，而不是正式评估个别研究的内部有效性或系统地评估偏差来源。本综述的另一个局限性是纳入的研究数量相对较少，这反映了其对临床相关不良事件检测的人工智能应用的严格关注以及该领域在现实世界环境中的新兴性质。在解释研究结果的全面性和泛化能力时，应考虑到这一点。本综述的另一个局限性在于，大多数纳入的研究都使用定量性能指标（如AUC、F1分数和敏感性）来评估AI模型，但没有报告其临床实用性或证明AI系统是否有效减少了不良事件（AEs）或影响了临床医生的行为。这反映了现有文献更关注方法学性能而非实际影响。还需要说明的是，尽管选择了PubMed、Scopus和Web of Science这些数据库是因为它们覆盖范围广且具有互补性，但并未纳入更侧重于工程领域的数据库，如IEEE Xplore和ACM Digital Library。这一选择是为了将综述重点放在真实的临床应用上，而非纯粹的实验性研究上，但这也可能导致一些人工智能领域相关的技术发展被排除在外。

4.8. 未来展望
回顾的文献表明，AI不仅仅是技术工具，更是患者安全的重要战略资源。将机器学习（ML）模型与交互式仪表板[27]和自动化审计工具[21]相结合，是朝着更主动的医疗系统迈出的一步，在这样的系统中，不良事件的监测是实时且持续进行的[22,29]。在未来几年，随着多模态模型的发展——这些模型能够处理文本、数值、影像和传感器信息，并且是在大型多语言临床数据库上训练的大型语言模型（LLMs），这种情况可能会发生革命性变化。此外，新兴的自监督学习方法在时空建模方面也显示出有前景的方向，例如用于动作识别的双流三元组孪生网络。尽管这些技术尚未应用于临床不良事件预测，但它们捕捉时间相关性和结构化序列的能力可能会启发未来能够检测具有强烈时间动态的事件的AI模型。同时，设计统一的评估指标并进行多中心验证对于确保这些系统的可靠性和稳健性至关重要。医疗机构的政策和临床风险治理不仅应优先考虑AI系统的部署，还应推动临床风险管理体系的建立，确保员工接受培训，并实施持续审计机制，以确保这些工具在不带来新风险的情况下提升患者安全和护理质量。最后，必须关注可解释的AI技术，使临床医生不仅因为模型的准确性而采用它们，也因为其决策的可解释性。

总之，本综述简要概述了当前AI在不良事件检测和预测方面的应用现状。通过识别方法学趋势、应用领域和关键差距，它为指导未来研究和推动AI系统在临床应用中提高患者安全提供了基础。

5. 结论
本次系统综述强调了人工智能（AI）方法在改变不良事件（AE）检测方面的重要作用。现有证据表明，AI特别是机器学习（ML）和自然语言处理（NLP）技术在自动化分析大量临床数据方面非常有效，减轻了识别和审计不良事件的手工负担，并发现了可能未被发现的信号或轻微事件。传统的分类模型（例如SVM和随机森林）在结构化数据上表现出色，而更先进的方法（如贝叶斯模型[20]）则能更好地监控数据质量和风险信号。大型语言模型，如Swe-De-Clin-BERT[22]，在捕捉临床文本的语义复杂性方面取得了进一步的改进，为未来的NLP应用树立了有希望的标准。尽管取得了这些进展，但回顾的研究指出了在AI工具能够在实际医疗环境中广泛应用之前必须解决的几个挑战。这些挑战包括有限的泛化能力（大多数模型是在单医院或单国家的数据集上训练和测试的）、数据不平衡问题、复杂“黑箱”算法的可解释性问题以及临床文档的质量参差不齐[32]。未来，确保AI工具的可转移性需要大规模、多中心的验证，以及整合多模态数据（包括文本、诊断影像、数值数据和传感器信号），以全面反映患者状况。开发可解释的AI解决方案对于建立临床医生对自动化系统的信任至关重要[33]，高质量标注的数据集对于大规模训练深度学习模型和LLMs仍然至关重要。虽然完全主动的工作流程集成预防系统在现实中仍具有较大的挑战性，但AI已经在自动化检测和增强监控方面带来了可衡量的益处。通过预测性仪表板和早期预警系统将这些工具嵌入临床实践，为未来主动干预提供了基础，最终支持医疗专业人员提高患者安全。

补充材料
以下支持信息可下载：https://www.mdpi.com/article/10.3390/safety12020052/s1，表S1：PRISMA检查表。