《Journal of Multidisciplinary Healthcare》：Translational Potential and Explainability of Artificial Intelligence-Based Clinical Decision Support for Adults in Intensive Care: A Scoping Review
编辑推荐：
摘要
引言 重症监护室需要快速、高风险的决策。尽管人工智能（AI）相较于传统评分方法提供了更高的预测准确性，但其“黑箱”性质仍是临床采纳的障碍。
目的 本项范围综述系统性地绘制了基于人工智能/机器学习（AI/ML）的成人重症监护室（ICU）临床决策支持工具中可
摘要
引言 重症监护室需要快速、高风险的决策。尽管人工智能（AI）相较于传统评分方法提供了更高的预测准确性，但其“黑箱”性质仍是临床采纳的障碍。
目的 本项范围综述系统性地绘制了基于人工智能/机器学习（AI/ML）的成人重症监护室（ICU）临床决策支持工具中可解释人工智能（XAI）策略的转化潜力和特征。
方法 遵循PRISMA-ScR指南，研究人员检索了Web of Science、PubMed、Scopus和EBSCOhost，截止至2026年1月。转化潜力采用适应ICU的九级技术就绪水平（TRL）框架进行分期，可解释性策略被分类为事后解释或固有可解释（玻璃箱）方法，以评估方法透明度和临床准备度。
结果 共识别808条记录，其中29项研究符合纳入标准。结果揭示了显著的回顾性研究主导地位（86.2%）以及对北美数据（主要是MIMIC（重症监护医学信息集市））的依赖。基于树的集成方法（82.8%）和事后SHAP解释（86.2%）占主导地位，提出的临床效用涵盖三个领域：治疗指导、资源分配优化和以用户为中心的设计。大多数创新是独立的、基于网络的原型，需要手动数据输入（69.0%，TRL 4-5）；另有10.3%仅以开源代码形式共享，仅17.2%报告了与医院系统的集成。仅有一项研究声称达到临床成熟度（TRL 9），但其验证仍然是回顾性的。
结论 准确性不再是主要瓶颈；限制已转移到“最后一英里”集成和外部有效性。当前的XAI几乎完全依赖事后方法，存在“清晰幻象”的风险，而固有可解释的玻璃箱模型仍然罕见但前景广阔。未来研究应优先考虑在独立环境中的外部验证、临床影响的前瞻性评估以及事后方法与可解释方法的明确比较。
**引言** 重症监护室（ICU）是一个高风险医疗环境，其特征是在高度不确定性下进行时间紧迫的决策，且常因多学科团队的操作压力而加剧。患者监测设备产生的海量数据常导致临床人员认知疲劳和行政负担。数据驱动的临床决策支持系统（CDSS）对于有效处理和整合临床信息至关重要。数字技术通过实时预测分析，有望减少医疗错误并优化有限ICU资源的利用，以补充临床判断。管理脓毒症、急性肾损伤（AKI）、急性呼吸窘迫综合征（ARDS）和缺血性卒中（ischaemic stroke）等危重状况需要迅速医疗响应，诊断延迟会显著恶化临床结局。人工智能（AI）模型表现出色，AUROC值可达0.98，常超越SOFA和APACHE等传统评分系统。但模型在纸上的准确性与临床实际效益之间存在明显差距。“黑箱”现象对需要透明性才能采纳算法建议的临床医生构成主要障碍。基于树的算法和深度学习模型现能以专家级准确性分析表格数据和医学图像，但高技术水平并不自动转化为临床准备度，多数创新仍处于早期开发阶段。医疗AI的转化潜力定义为模型从研究原型发展为嵌入临床工作流程、改善患者结局的操作性工具的能力。为系统操作化这一构念，本综述采用了近期为ICUAI应用提出的九级技术就绪水平（TRL）框架，将AI成熟度从初始问题识别（TRL 1）分级至完全融入常规临床实践（TRL 9）。跨越研究到实践的边界需要可解释人工智能（XAI）策略，如Shapley加性解释（SHAP）和LIME，这些策略对向临床医生提供视觉透明性和促进更明智的决策至关重要。临床决策支持的XAI策略分为两大范式：从设计之初即具有可解释性的模型，以及应用于原本不透明“黑箱”模型的事后解释方法。当前向ICU多学科团队提供视觉透明性几乎完全通过后者实现，SHAP和LIME是最广泛采用的方法，两者均在底层模型训练后才提取解释，并已广泛应用于ICU预测任务。区分这两种范式很重要，因为事后方法通常仅提供模型推理的近似，存在解释深度或清晰度幻象的风险，而非对其决策机制的真实洞察。这种区分在ICU中尤为重要，因为临床决策所要求的问责性需要比模型模式或趋势摘要更深入的理解。XAI技术正越来越多地应用于重症监护，但文献仍碎片化。既往综述未专门考察可解释性方法，或仅将XAI作为次要主题，或限制范围于少数临床结局。本综述通过评估XAI在主要研究层面的临床任务中的转化潜力来填补这一空白。主要操作障碍是“最后一英里”集成，即由于互操作性挑战，准确模型难以转化为直接连接电子健康记录（EHR）的应用。这一差距因数据集偏差和跨多样化人群的外部验证有限而进一步加剧。当前文献在模型类型、方法和输入数据方面高度异质性，因此选择范围综述作为系统映射这一快速发展的证据格局的最合适方法。本范围综述旨在系统性地绘制基于AI/ML的成人ICU临床决策支持工具中可解释人工智能（XAI）策略的转化潜力和特征，对于识别真实世界实施障碍、确保AI创新不成为单纯统计成就而成为安全、透明、可靠的临床解决方案至关重要。
**方法**
**研究设计** 采用范围综述设计，以绘制关于AI/ML成人ICU决策支持工具中转化潜力和可解释性策略的文献。综述以系统、透明、可重复的方式进行，并按照PRISMA-ScR指南报告。记录了所有阶段，包括识别和去重、标题和摘要筛选、全文资格评估、数据图表化和叙述性综合。主要方法论在筛选和分析前确定，基于PCC框架的纳入和排除标准、转化潜力指标定义、数据提取计划和综合方法均预先指定。两位独立评审员（YP和YAB）进行筛选和数据提取，通过讨论解决分歧直至达成共识，以减少选择和提取偏倚。研究问题为：“在成人ICU环境中，基于AI/ML的临床决策支持工具报告的转化潜力程度和可解释性策略的性质是什么？”
**资格标准** 基于PCC框架建立资格标准，以匹配研究目标。人群：入住ICU的成人患者（≥18岁），包括内科、外科或混合ICU。概念：包含可解释人工智能（XAI）或可解释机器学习成分的AI/ML临床决策支持工具，涵盖风险预测、早期预警、警报、分诊和临床推荐，包括通过检索识别的可解释性策略（如SHAP、LIME、反事实解释、特征归因/重要性、显著性/Grad-CAM、基于注意力的解释），以及固有可解释（玻璃箱）建模方法（如可解释增强机）的证据。转化潜力证据（如临床可操作性、原型或网络计算器可用性、实施人工制品）也包含在内，并映射到技术就绪水平（TRL）框架。情境：成人ICU环境中的临床实践和工作流程整合，涵盖实际实施（如床旁使用、EHR/EMR集成、仪表板、自动通知）以及提议或模拟实施（如基于网络的原型、可行性评估）。
**纳入与排除标准** 纳入初级定量研究，如回顾性或前瞻性队列研究、横断面研究、模型开发和验证研究及其他观察性研究，需应用XAI/可解释机器学习方法于ICU决策支持，并展示至少一项转化潜力指标（提供源代码、基于网络工具、仪表板、计算器，或工作流程/EHR集成）。排除标准包括：二次研究（如系统综述、荟萃分析、范围综述）、非实证出版物（如社论、评论、致编辑信、观点文章）、完全黑箱且无明确可解释性组件的AI模型，以及不聚焦于医学决策支持或缺乏ICU临床可操作性相关性的研究。无出版年份限制。
**检索策略** 遵循PRISMA-ScR，在Web of Science、PubMed/MEDLINE、Scopus和EBSCOhost中进行系统文献检索，覆盖各数据库建库至2026年1月的所有出版物。基于PCC框架，使用自由文本词和布尔运算符（AND/OR）制定检索策略，包括针对人群（成人ICU患者）、概念（AI/ML用于临床决策支持且包含可解释性组分）和情境（临床实践整合）的检索词。完整检索字符串见补充表1。还通过前向和后向引文追踪进行额外检索。所有结果导入Mendeley进行去重和筛选，由YP和YAB进行。
**数据提取** 使用Microsoft Excel预设计工作表进行数据提取，包含三个关联表格。表2捕获国家、研究设计、人群、所用数据集、样本量和验证策略（按预设标准分为低/中/高）。补充表2A捕获AI/ML架构和可解释性范式（区分事后可解释性方法与固有可解释“玻璃箱”设计）、临床领域（按非互斥分类编码）、临床任务和预测结局、临床任务簇及关键预测因子。补充表2B捕获模型性能、提议的临床效用、每项研究的主要转化输出类别（如交互式网络平台/计算器、开源代码库、医院系统集成、临床成熟应用）以及技术就绪水平（TRL）。TRL并非由初级研究直接报告，而是由综述团队根据每项研究的验证策略和转化输出，使用九级ICU适应框架推导得出，并记录分类依据以确保透明性。两位评审员独立提取数据，第四位评审员检查完整性和质量，由重症监护/麻醉科医师评估临床相关性，另一位评审员提供方法学监督。通过讨论和共识解决分歧，未计算正式的一致性统计量。
**数据分析和综合** 在四个领域进行叙述性综合：（1）模型架构；（2）可解释性（XAI）策略和可视化，包括是否依赖事后方法或固有可解释；（3）转化潜力；（4）提议的临床效用。对于转化领域，按报告的输出类型分组，并映射到相应TRL，根据Berkhout等的框架，将转化成熟度建立在既定量表上而非仅叙述性判断。分类决策通过综述团队反复讨论确保一致性。表2总结研究特征，完整提取数据报告于补充表2A和B。
**结果**
**研究选择** 从四个数据库共识别808条记录（Web of Science n=52，PubMed/MEDLINE n=527，Scopus n=157，EBSCOhost n=72）。去重后（n=173），635条记录通过标题和摘要筛选，排除588条。对47篇报告进行全文检索和资格评估，排除18篇，最终29项研究符合纳入标准。研究选择流程见图1。
**纳入研究特征** 本综述纳入2019年至2026年发表的29项研究，近年显著增长，20项（69.0%）出现在2025-2026年，反映全球对XAI在重症监护中应用的兴趣增加。多数研究在亚洲进行，特别是中国（22项，75.9%），其次为美国和英国（各2项），韩国、台湾和德国各1项。公共美国数据库主导证据基础：23项（79.3%）使用MIMIC-III/IV，13项（44.8%）使用eICU-CRD进行训练或外部验证。20项研究（69.0%）补充了来自研究者所在机构或区域合作的本地临床数据，增强了外部有效性和局部相关性。回顾性队列设计占主导（25项，86.2%），仅4项纳入前瞻性或真实世界观察性组分。17项研究明确为多中心设计，样本量从237到28,819名患者不等。
**模型架构** 在所有纳入研究中，模型开发始终寻求平衡预测准确性和临床可解释性。基于树的集成方法占主导，24项研究（82.8%）采用XGBoost、CatBoost、LightGBM、随机森林及多种堆叠或融合变体，TOPSIS分类融合模型也归入此类。这一偏好反映了树模型对ICU典型非线性、不完整表格数据的适用性。深度学习架构仅用于4项研究（13.8%），包括两项应用基于Transformer的模型处理时间序列或遭遇级别数据，两项应用卷积神经网络（CNN）于不同数据类型（胸片和呼吸机波形数据）。仅有一项研究（Magunia等，2021）使用真正玻璃箱架构——可解释增强机，表明在通过该检索策略识别的研究中，ICU AI模型的透明性仍压倒性地依赖事后解释方法，而非可解释性内建模型。
**可解释性（XAI）策略与可视化** ICU AI决策支持的透明性主要通过事后解释实现，应用于原本不透明的模型。Shapley加性解释（SHAP）主导，25项研究（86.2%）采用，因其基于博弈论的稳定特征归因。SHAP通常在群体水平通过汇总图和蜂群图展示，如强调乳酸、年龄和阴离子间隙等预测因子，以及在个体水平通过力图和瀑布图追踪特定预测值如何改变单个患者风险估计。除此之外，三项研究采用了适合其数据和目标的解释技术：McWilliams等（2019）使用排列特征重要性，Jia等（2021）结合DeepLIFT与反事实解释（DiCE），Sjoding等（2021）对影像数据应用Grad-CAM生成热力图。一项研究（Magunia等，2021）完全脱离事后范式，采用可解释增强机（EBM），一种固有可解释的广义加性模型，无需单独解释器即可追踪每个预测因子对结局的贡献。在识别的文献中，对事后解释的近乎完全依赖表明，ICU AI的透明性迄今为止是事后叠加于黑箱模型之上，而非从一开始就内建于模型架构，这一模式直接影响当前工具在床旁能提供多少真正可解释性。
**转化潜力** 除报告模型性能外，大多数纳入研究显示出某种程度的真实世界应用导向，范围从独立原型到已嵌入医院基础设施的系统。转化输出分为四类：开源代码库、基于网络原型/计算器、医院系统集成和临床成熟应用，并映射到对应技术就绪水平（TRL）。开源代码库：3项研究（10.3%）提供开源代码，对应TRL 4-5，支持独立审计和复制。基于网络原型/计算器：最常见，20项研究（69.0%）报告，对应TRL 4-5，通常允许临床医生通过网页界面输入常规床旁变量并立即获得风险估计，临床范围广泛，但多数仍为需手动数据输入的独立工具，表明其处于转化意向早期而非工作流程整合证据。医院系统集成：5项研究（17.2%）进展到直接集成，对应TRL 7，包括嵌入全国性REDCap注册表、床旁应用连接医院EHR用于筛查临床试验入组、将AI-CDSS界面嵌入临床工作流程以支持快速脓毒症确认、以及对比实时更新死亡率模型与专有EHR恶化工具。临床成熟应用：仅1项研究（3.4%）报告最高成熟度，Kim等（2023）描述其心脏骤停早期预警系统为“已使用并验证用于日常临床实践”，但支持证据主要来自回顾性验证，缺乏操作嵌入细节，表明转化语言可能超越支撑证据。
**提出的临床效用** 多数研究采用回顾性设计，识别出的益处被解释为提议的临床效用，涵盖三个主要领域。治疗指导与主动升级：XAI促进从反应性向预防性和靶向性护理转变，早期预警模型提供宝贵提前时间，如预测心脏骤停风险或辅助拔管准备度判定，亚表型识别为精准治疗创造机会。资源分配优化：AI作为客观分诊工具，提升运营效率，包括自动通知系统加速出院、死亡率风险分层支持老年患者护理规划、以及早期分诊帮助控制医疗费用。以用户为中心的设计与可用性：AI成功实施高度依赖临床医生的舒适度和信任，与EHR自动集成可减少预测错误和降低工作量，直观的SHAP可视化帮助临床医生理解模型逻辑，从而增强对决策支持系统的信任。
**讨论** 重症监护室构成高风险临床生态系统，多学科团队必须持续整合多维患者数据，以在动态且常不可预测的生理状态轨迹中做出及时、高风险决策。持续监测产生的数据量常导致临床人员认知疲劳和行政负担，凸显了数据驱动决策支持系统的需求。然而，床旁采纳的最大障碍并非预测准确性，而是模型透明性：许多临床医生仍不愿信任他们视为不可穿透“黑箱”的AI系统。本综述发现表明，ICU AI开发开始反映这一关切，对更透明、可审计、面向临床医生床旁需求的决策支持工具的重视日益增长，但尚不均衡。在捕获的研究中，文献仍压倒性地由黑箱架构主导，仅在事后才变得可解释，而非设计上透明。树算法仍是建模结构化ICU数据的实用选择，占24项研究（82.8%），因为树集成能稳健处理复杂变量交互，即使成人ICU数据杂乱、高维且充满缺失值。在高压环境中，临床医生倾向于偏好透明、可审计的模型，而非仅提供边际准确性提升的黑箱替代品。事后解释技术（如SHAP、LIME）的批评也日益增加，因为这些方法仅提供近似归因，存在创造“清晰幻象”的风险，可能误导而非支持临床判断。本综述中识别的唯一玻璃箱例子——Magunia等（2021）的可解释增强机——展示了一条替代路径，允许临床医生在部署前检查并原则上完善模型逻辑，而非事后重建。对公共数据集的依赖，特别是来自高收入国家的MIMIC和eICU-CRD，已广泛指出会固化临床AI模型全球发展的地理不平等。本综述中，22项研究（75.9%）来自中国，23项（79.3%）至少部分依赖MIMIC-III/IV，13项（44.8%）还使用eICU-CRD，反映了狭窄的方法学基础。当前ICU AI实施仍以被动工具为主，导致警报疲劳和临床医生不愿参与。在快节奏ICU环境中，手动数据输入增加认知负担并破坏工作流程。本综述中，Jia等（2021）的反事实解释将黑箱预测转化为个性化、可操作的建议，是连接研究与实践的具体例子。因此，成人ICU中XAI的成功转化不仅取决于技术准确性，更取决于系统以不干扰已繁重工作流程的方式提供临床医生可立即行动洞察的能力。实现这一潜力需要自动集成到EHR，仅当临床必要时才呈现，以避免加剧警报疲劳。然而，此类集成的可靠性仍取决于护理人员床旁文档质量，因为AI决策支持可信度取决于临床数据录入质量。本综述综合的证据表明，预测准确性不再是ICU临床AI的主要障碍；更紧迫的挑战在于实现无缝工作流程集成并展示跨不同临床环境的稳健外部有效性。
**实践意义** ICU中AI正从风险预测工具转向更直接指导护理团队的决策支持系统，本综述中McWilliams等（2019）的仪表板“助推”旨在支持护士主导的出院决策。但这一转变有明确界限：可解释AI作为减轻解释复杂数据负担的认知辅助工具效果最佳，而非取代医生临床判断，对于高风险或复杂患者尤其如此。日常实施需要护理团队协调努力。自动EHR集成是起点，但仅靠技术不够：医生需要培训以质疑而非被动信任XAI输出，护士需标准化床旁文档，管理层需优先投资本地数据注册中心，IT团队需将解决方案直接嵌入临床工作流程而非作为独立工具。本地数据投资解决更深层问题：当前多数系统仍基于外国遗留数据训练，存在与本地患者不匹配的风险。McWilliams等（2019）显示在真正不同队列中测试是关键，迁移学习为本地适应提供途径。确认真实世界益处仍需在ICU环境中进行前瞻性测试，基于本地注册中心而非继续依赖外部数据集。但这些都需与制度管理的系统配对，以维护临床医生自主性和问责性，确保工具对服务人群安全公平。
**优势与局限性** 主要优势在于系统、透明的方法学，遵循PRISMA-ScR指南，确保步骤可重复。使用PCC框架、两位独立评审员及四个领域分析是额外优势，促进结构化映射。局限性包括：未进行正式方法学质量评估或偏倚风险评价，因此证据强度不可比较；因异质性大而进行叙述性综合，未进行荟萃分析；未计算正式评审员间一致性统计量，而是通过讨论和共识实现一致性；因资格要求展示至少一项转化潜力指标，导致抽样依赖变量，报告流行率仅描述转化导向的ICU-XAI文献切片，可能低估早期非部署AI研究比例；检索策略未包含固有可解释模型专用术语，可能低估玻璃箱方法比例，因此事后方法的主导地位可能部分反映检索策略设计而非真实分布。多数研究采用回顾性设计且严重依赖北美公共数据集，纳入文献表现出一定方法学同质性，大量研究依赖相似公共数据集和SHAP解释的树集成，限制了证据独立性，结果推广至其他人群需谨慎。
**结论** 本范围综述纳入29项研究，表明预测准确性不再是成人ICU基于AI决策支持的主要障碍；更重要的挑战在于多学科团队可信任的可解释性，以及将回顾性模型转化为嵌入真实临床工作流程的工具。SHAP解释的树集成主导该领域，真正可解释的玻璃箱替代品仍然罕见，本综述中仅识别一个可解释增强机实例；对事后解释的近乎完全依赖应抑制任何关于该领域已向设计透明转变的叙事。转化活动同样不均衡：基于网络原型和计算器常见，但直接集成到临床工作流程仍属例外，且证据基础集中于狭窄的机构、数据集和建模选择，限制了发现的可推广性。弥合这一差距将更少依赖于进一步区分度提升，而更多依赖于上述跨学科和制度承诺。未来研究应优先考虑在真正独立环境中的外部验证、临床影响的前瞻性评估以及事后方法与固有可解释方法的明确比较，而非继续优化回顾性区分度。
