《Computers》:Explainable Artificial Intelligence for Tabular Data in Healthcare: A Systematic Review of Methods, Evaluation, and Applications
编辑推荐:
可解释人工智能(XAI)已成为机器学习模型在医疗此类高风险领域应用的关键推动因素。尽管在计算机视觉和自然语言处理领域的XAI研究已取得显著进展,但作为电子健康记录主要格式的表格数据,却呈现出独特的挑战和机遇。本系统综述对专门应用于医疗表格数据分类任务的XAI方
可解释人工智能(XAI)已成为机器学习模型在医疗此类高风险领域应用的关键推动因素。尽管在计算机视觉和自然语言处理领域的XAI研究已取得显著进展,但作为电子健康记录主要格式的表格数据,却呈现出独特的挑战和机遇。本系统综述对专门应用于医疗表格数据分类任务的XAI方法进行了全面分析。研究人员审视了2020年至2026年上半年期间发表的21项主要研究,涵盖了三个互补视角:(1) 内在可解释模型,(2) 事后方法(包括LIME、SHAP及其变体),以及(3) 评估模型中心保真度与人类中心临床一致性的评估框架。分析表明,SHAP仍然是主导的事后方法,它能实现强大的模型保真度,但与临床专家推理的一致性却不稳定。主要发现包括:类别不平衡对解释一致性的显著影响、以临床医生为中心的评估的重要性,以及将XAI与生成式人工智能(generative AI)和迁移学习相结合的混合方法的出现。研究人员识别出关键空白,包括:XAI在自动机器学习(AutoML)流程中的采用有限、缺乏标准化的评估指标,以及以单一机构验证研究为主的问题。
**1. 引言**
该部分阐明了将人工智能(AI)整合到医疗领域在疾病诊断、治疗规划和患者预后预测方面所引发的巨大期望。然而,机器学习(ML)模型,特别是深度学习架构,其日益增长的复杂性使其变成了“黑箱”,其内部决策过程对临床医生、患者和监管机构不透明,构成了临床采用的根本障碍。可解释人工智能(XAI)领域致力于打开这些黑箱,旨在提供人类可理解的模型预测解释,从而促进信任、识别错误并支持法规遵从。在医疗领域,XAI不仅是技术改进,更是伦理和实践上的必要。尽管大量XAI研究聚焦于计算机视觉和自然语言处理,但针对电子健康记录主要格式的表格数据仍存在关键空白。患者的人口统计学数据、实验室结果、诊断、用药史和生命体征等自然以结构化表格形式呈现,这些数据上训练的预测模型的可解释性对于构建可靠、可无缝集成到医疗工作流程的临床决策支持系统至关重要。研究指出,表格数据的可解释性挑战是多方面的,包括复杂的特征交互、缺失值、类别不平衡、异质性数据类型,以及医疗数据集通常较小、不平衡且受隐私要求限制。此外,解释必须既在技术上忠实于模型行为,又在临床上有意义,与医学专家的推理模式保持一致。尽管研究努力不断增加,但仍存在系统性空白,现有综述要么聚焦于通用XAI方法而未考虑医疗特异性,要么专门针对医学影像,或是在没有深度XAI集成的情况下审视自动机器学习(AutoML),缺乏针对医疗表格分类的XAI方法的综合总结。为填补此空白,研究人员对21项将XAI应用于医疗表格数据分类任务的主要研究进行了系统综述。
**2. 相关工作:医疗领域XAI的现有综述**
本节回顾了近期若干关于可解释AI的综述,但指出没有一项专门聚焦于医疗表格数据分类。Nauta等人提供了一个跨所有数据类型的XAI评估指标的综合概述,但未聚焦于医疗应用。Tjoa和Guan提供了医疗AI领域XAI技术的广泛调查,强调了临床决策支持中透明度的必要性。Carvalho等人回顾了通用可解释性方法,但未聚焦于表格数据的特征交互和类别不平衡等独特特性。Castro等人对医学中的自动机器学习(AutoML)进行了系统映射,关键性地揭示了只有30.7%的AutoML研究融入了XAI技术,这一发现凸显了本综述直接通过聚焦于非自动化表格数据流程中的XAI来解决的重大空白。本综述的一个关键区别在于其双重视角评估,不同于以往聚焦于技术保真度或临床适用性的综述,本综述遵循Karagoz等人提出的基准测试框架,整合了模型中心和人类中心指标。此外,本综述通过纳入三个被忽视的维度扩展了先前工作的范围:(i)对类别不平衡影响解释一致性的系统分析;(ii)对以临床医生为中心的评估的专门检验,包括从执业临床医生角度评估不同XAI方法的可理解性和可操作性的用户研究;(iii)对将XAI与生成式AI模型(如LLMs)和AutoML驱动的提示工程相结合的混合新兴方法的探索。据研究人员所知,此前没有综述使用这种综合视角系统比较医疗表格数据的XAI方法,也没有提供保真度与临床一致性之间的定量比较,同时解决这些新兴挑战和机遇。
**3. 材料与方法**
**3.1. 检索策略**:研究人员根据系统综述的既定指南进行了系统性文献检索,检索数据库为PubMed、Scopus和IEEE Xplore,时间范围设定为2020年1月至2026年上半年,以确保纳入医疗XAI的最新进展。为检索相关出版物,采用了受控词汇和自由文本关键词的组合,并应用布尔运算符(AND, OR)、短语匹配和截断符号。检索字符串结合了可解释性(“explainable AI”, “XAI”)、数据类型(“tabular data”, “structured data”)、任务(“classification”, “prediction”, “diagnosis”)和领域(“healthcare”, “medicine”, “clinical”)等术语。研究人员指出,当使用“healthcare”作为领域限定词时,检索到的文件数量非常少,因此也搜索了其他领域(如使用表格数据库的非临床领域)中使用AI可解释性技术的文章。完整的检索策略(包括布尔字符串和筛选器)在补充材料中提供。
**3.2. 纳入与排除标准**:研究筛选遵循结构化协议,以确保纳入相关、高质量且符合综述目标的研究。纳入标准包括:(i)2020年1月至2026年上半年发表的同行评议文章;(ii)将XAI方法应用于医疗表格数据;(iii)分类任务;(iv)明确描述所使用的XAI方法;(v)使用真实或模拟医疗数据进行实证评估。排除标准包括:非实证或二次研究(如综述、元分析、社论等)、非表格数据聚焦(如图像、文本、时间序列数据)、非医疗领域、未使用明确XAI方法、缺乏实证评估以及非分类任务。
**3.3. 研究分类框架**:被选中的研究按四个维度进行分类:(i)XAI方法类型(内在可解释模型 vs. 事后方法(进一步分为模型无关和模型特定));(ii)医疗应用领域(疾病诊断、风险预测、预后、职业健康或心理健康);(iii)评估视角(模型中心(保真度、稳定性、鲁棒性) vs. 人类中心(临床一致性、信任、可用性));(iv)技术创新(新方法提出、方法适应、基准测试或系统集成)。医疗应用领域指医疗领域(如心血管、代谢、职业健康、心理健康),而任务指具体预测目标(如疾病诊断、风险预测、预后)。
**3.4. 数据提取与选定研究**:初步检索于2026年第二季度进行,检索和数据提取过程遵循PRISMA 2020指南。筛选分两个阶段进行:第一阶段为标题和摘要筛选,由两名评审员独立进行,使用DOI去重,并评估了评审员间的一致性(20%随机样本的一致率为94%);第二阶段为全文筛选,由两名评审员独立评估。数据提取使用标准化表格,包括研究特征、XAI方法、预测模型、数据集特征和评估指标。初步检索返回651篇文献,去重后剩567篇,标题和摘要筛选排除509篇,58篇进入全文筛选,其中10篇无法获取。全文评估后,因未使用明确AI方法、非表格数据、非医疗领域或为综述文章等原因排除29篇,最终19篇符合纳入标准。此外,引文检索识别出2篇,共计21篇文章纳入综述。研究人员从中提取了XAI方法、预测模型架构、数据集特征、评估指标和主要发现等信息,并使用主题分析识别重复模式、方法学空白和新兴趋势。
**3.5. 质量评估与偏倚风险**:为评估纳入横断面研究的方法学质量和偏倚风险,使用了乔安娜·布里格斯研究所(JBI)制定的分析性横断面研究关键评价清单。该清单包含8个条目,评估关键方法学领域。两名评审员独立使用该清单评估每项研究,分歧通过讨论解决。总体偏倚风险根据满足的标准数量确定:7-8分为低风险,5-6分为中等风险,≤4分为高风险。值得注意的是,三项方法学论文因不符合横断面分析设计而被排除在JBI评估之外。其余研究的质量评估结果显示,五项实证横断面研究均得分为6/8,表明存在中等偏倚风险,主要局限在于未明确识别和控制混杂因素。两篇综述研究得分为8/8,偏倚风险低。一篇进展中论文被评估为存在关键偏倚风险。
**3.6. 注册与方案**:本系统综述已在开放科学框架(OSF)中前瞻性注册(DOI: 10.17605/OSF.IO/BKRFM)。
**4. 结果**
**4.1. 质量评估结果**:使用JBI检查表进行的关键评估结果总结。五项实证横断面研究均得分为6/8,表明中等偏倚风险,主要局限在于未明确识别和控制混杂因素,这在机器学习研究中常见。两篇综述研究得分为8/8,偏倚风险低。一项进展中论文被评估为具有关键偏倚风险。方法学论文未使用JBI工具评估。
**4.2. 医疗表格数据XAI方法概述**:分析表明,医疗表格数据分类的XAI方法可分为三大类:内在可解释模型、事后模型无关方法和混合方法。图2展示了这些方法的分类,按范围(局部与全局)和对模型架构的依赖性进行组织。
**4.2.1. 内在可解释模型**:这些模型本身具有透明性,无需额外事后分析即可理解决策过程,传统例子包括决策树、逻辑回归和广义加性模型。然而,这些模型在复杂医疗任务中通常表现逊于黑箱架构。近期进展引入了基于注意力的机制作为内在可解释性的一种形式。例如,Abbas等人开发了一个用于膀胱癌复发预测的可解释深度学习框架,该框架集成了分类变量的向量嵌入和注意力机制,通过突出显示对复发风险贡献最大的特征(如手术时长、住院时间)来提高预测性能并为临床医生提供患者特异性见解。此外,Chi等人提出的概念与论证模型(CAM)代表了内在可解释模型在表格数据上的重要进展,它自动从特征描述中挖掘人类可理解的概念,并构建一个定量论证框架(QAF),其中论点(概念)相互支持或反对以达成决策。该模型达到了与XGBoost相当的预测性能,并提供对话式解释,明确显示推理路径。在人类主体评估中,CAM解释在合理性方面显著优于基于特征的解释。然而,CAM需要特征的语义描述,而这在传统医疗数据库中可能并非总是可用。
**4.2.2. 事后模型无关方法**:这些方法在模型训练后用于阐明黑箱模型的预测。其中,局部可解释模型无关解释(LIME)和沙普利加性解释(SHAP)是分析医疗表格数据的主要方法。SHAP已成为最广泛使用的方法,基于合作博弈论中的沙普利值,提供具有局部准确性、缺失性和一致性等重要理论属性的加性特征重要性解释。在本综述中,SHAP被用于21项医疗应用中的18项(86%)。例如,Jeong等人使用SHAP解释混合TabNet-XGBoost模型,用于儿童体重管理,准确率达98%,识别出重叠的顶级预测因子(体力活动、睡眠时长、饮食模式),实现个性化健康建议。在职业健康领域,Mubarakali和AlJarullah将SHAP集成到实时网络应用中,预测医护人员倦怠、长新冠和延长病假,系统达到亚秒级延迟,并因其可解释性获得职业健康医师的积极反馈。一个关键发现是类别不平衡对事后解释可靠性的显著影响。Rai等人设计了一个比较框架,利用CPRD(
Clinical Practice Research Datalink)数据评估LIME、SHAP和部分依赖图(PDP
Partial Dependence Plots)在不同类别分布下的肺癌预测性能,证明类别不平衡会显著影响解释的一致性,Jaccard相似度和秩一致性指标显示在平衡与不平衡数据上训练的模型之间存在显著差异。Rai等人进一步证实了类别不平衡为LIME和SHAP的有效应用带来重大障碍。在人类中心评估方面,Garcia等人对10名临床医生进行了一项基于问卷的实验,比较SHAP、贝叶斯网络和AraucanaXAI在COVID-19住院预测中的表现,发现SHAP因其简单性成为首选方法,可理解性和可操作性呈正相关,但高依从率表明存在自动化偏见风险。为解决数据稀缺问题,Raza等人提出了TransLIME,一个迁移学习框架,在黑箱模型在有限或低质量数据上训练时改善LIME的性能,在保真度和稳定性方面均取得显著提升,这对受隐私约束的医疗领域尤为重要。El Shawi和Jamel引入了HealthAI-Prompt,一个新颖框架,使用由AutoML驱动的案例选择和局部解释(SHAP、LIME、ILIME)丰富的上下文提示,系统地调整大语言模型(LLMs)用于表格临床决策,改善了ChatGPT在糖尿病风险预测中的预测准确性和校准度。Karagoz等人对九种XAI方法在卒中预测任务上的基准测试评估发现,尽管SHAP展现出最强的模型中心保真度,但在人类中心一致性上表现不佳,对于基于树的模型,与专家临床医生排名呈负斯皮尔曼相关;而替代决策树在局部解释上实现了最高的一致性。LIME构建局部线性替代模型,其性能比SHAP更不稳定,但对于计算成本敏感的应用仍有价值。Anchors提供基于规则的高精度解释,但目标敏感性最差。
**4.2.3. 混合与应用特定方法**:近期研究探索了XAI与互补技术范式(如联邦学习、物联网系统和多模态架构)的集成。Meena等人提出了一个用于心理健康数据分类的隐私保护联邦学习框架,结合联邦平均(FedAvg)与XAI技术,在不集中共享数据的情况下提供解释,准确率达92.56%。同一批作者开发了一个完整的物联网到决策流程,集成可穿戴传感器、全同态加密、自动编码器特征提取、TabNet分类和XAI解释,在健康风险分类中达到99.57%的准确率。TabNet因其内置可解释性和对表格数据的有效性而被广泛采用,多项研究将其应用于不同医疗任务,如利用生理信号进行自动压力检测、利用尿液生物标志物进行胰腺癌诊断,以及多组学阿尔茨海默病分类,均取得了良好效果。Omar和Ibrahim将基于迁移学习的TabNet与SHAP应用于心力衰竭患者死亡风险预测,证明迁移学习改善高风险病例的检测。多模态XAI方面,Ahmed等人将Grad-CAM应用于CT图像,同时对同一患者的表格临床特征应用SHAP和LIME,展示了如何集成不同XAI方法以提供全面解释。Thomas和Brown使用CTGAN增强数据结合随机森林和SHAP进行骨质疏松风险建模。Park等人使用CTGAN进行合成数据增强,用于肺癌风险预测,证明合成数据改善少数类检测,同时SHAP提供可解释性。Zhang等人开发了一个用于阿尔茨海默病诊断的可解释集成框架,使用SHAP和FSHAP,投票集成准确率达98.6%,识别出认知和精神神经评估分数为关键因素。
**4.3. 解释质量评估**:文献中的一个主要主题是对解释质量进行严格评估的需求。评估方法可分为两大类。
**4.3.1. 模型中心评估**:模型中心指标评估解释对模型行为反映的忠实程度。保真度衡量解释近似模型预测的程度,Karagoz等人使用增量删除检查(IDC)发现SHAP和Tree SHAP产生最陡峭的性能下降,表明强保真度。稳定性(鲁棒性)衡量解释在微小输入扰动下的变化,Raza等人使用局部Lipschitz估计(LLE)和Jaccard系数发现TransLIME在大多数数据集上实现了最低的LLE。目标敏感性衡量解释在预测类别变化时是否适当调整,基于SHAP的方法在此指标上表现出色。类别不平衡下的一致性是一个新兴的评估维度,Rai等人使用Jaccard相似度和秩一致性指标证明,类别不平衡会显著影响LIME和SHAP解释的可靠性。
**4.3.2. 人类中心评估**:人类中心指标评估解释对临床最终用户是否有用、可理解和可信。临床一致性衡量XAI特征重要性与专家临床医生排名之间的吻合度,Karagoz等人发现替代树实现了最高的一致性,而SHAP在基于树的模型中显示负相关,表明其解释可能与临床推理相矛盾。用户接受度和临床医生偏好方面,Garcia等人发现SHAP因其简单性成为首选,可理解性和可操作性呈正相关,但高依从率表明存在自动化偏见风险,且方法感知因专业和专长而异。可操作性和可理解性是评估解释好处的关键维度,SHAP的简单性有助于在这两个维度上获得更高评分。用户接受度衡量感知的有用性、信任和信心,在CAM研究中,79%的参与者将解释评为“有帮助”或“非常有帮助”,且CAM在用户接受度指标上显著优于可解释提升机(EBM)。
**4.4. 医疗应用**:表5全面概述了21项研究涉及的医疗领域和预测任务,涵盖了心血管、代谢、心理健康、肿瘤学、产科和骨科等多个领域,并展示了不同XAI方法(从事后方法到内在可解释的注意力机制)如何被用于支持各种临床背景下的可解释性。例如,在肺癌预测中,类别不平衡对解释一致性的影响已成为关键问题;在阿尔茨海默病中,集成方法结合SHAP和FSHAP被证明能一致地识别认知和精神神经评估分数为关键预测因子;在COVID-19住院预测中,临床医生对SHAP的偏好得到了系统评估。
**4.5. 与自动机器学习(AutoML)的集成**:基于对可解释和可信赖机器学习模型的需求,近期研究开始审视如何将可解释性融入自动化模型开发流程。Castro等人对医学中的AutoML进行了系统文献映射,发现只有30.7%的AutoML研究融入了XAI技术,大多数AutoML实现仍然是黑箱,优先考虑预测准确性而非透明度。El Shawi和Jamel介绍的HealthAI-Prompt框架是一个具体例证,它将AutoML驱动的案例选择(使用基于树的流程优化工具TPOT)与局部解释(SHAP、LIME、ILIME)相结合,以丰富ChatGPT的提示,从而改善糖尿病风险预测的准确性和校准度,展示了XAI可以有效地嵌入自动化流程,而不仅仅是作为事后添加。
**5. 讨论**
**5.1. 主要发现与贡献**:模型保真度与临床一致性之间的张力仍然是一个核心主题。本综述通过量化多种方法间的这种张力并识别新的评估维度来扩展先前工作。对类别不平衡和解释一致性的关键发现表明,类别不平衡会显著影响事后解释的可靠性,这对医疗领域尤为重要。临床医生偏好和人类中心评估的研究表明,SHAP因其简单性成为首选,但高依从率表明存在自动化偏见风险,且XAI工具应根据不同临床医生群体的特定需求进行定制。XAI与生成式AI和AutoML的集成代表了一个有前景的方向,展示了XAI可以嵌入自动化流程,提升性能和透明度。关于多模态XAI,Ahmed等人的研究被纳入是因为它展示了表格XAI方法与其他模态的集成,这在临床实践中越来越常见。
**5.2. 质量评估结果的解释**:使用JBI检查表进行的质量评估显示,所有纳入的实证横断面研究均表现出中等偏倚风险,主要局限在于缺乏对混杂因素的明确识别和控制。这并非否定这些研究发现,因为本综述旨在综合XAI方法的状态,而非建立因果关系。
**5.3. 与现有综述的比较**:本综述通过聚焦于医疗表格数据分类、提供详细的XAI技术方法学分析、跨多个医疗领域综合以识别可泛化模式,以及纳入三个被忽视的维度(类别不平衡影响、临床医生中心评估、XAI与生成式AI和AutoML的混合方法),来扩展先前工作。
**5.4. 实践建议**:基于分析,就何时使用何种XAI方法提出了具体建议。例如,当优先考虑技术保真度且拥有充足计算资源时,使用SHAP,但同时需注意其解释可能与临床推理矛盾且受类别不平衡影响。当临床一致性是主要目标且受众是临床医生时,使用替代树或其他高度可解释模型。当能从零开始设计模型且有特征语义描述时,使用内在可解释模型。当目标域标记数据有限但有相关源域时,使用TransLIME。自动机器学习或LLMs集成时,应将可解释性作为首要需求。处理类别不平衡时,应在不同类别分布下评估XAI解释的一致性,并使用多种评估指标。表6总结了不同医疗领域模型中心与人类中心评估之间的权衡。
**5.5. 本综述的局限性**:局限性包括:可能遗漏未索引或2026上半年之后发表的研究;SHAP在文献中的主导地位可能反映了对阳性结果的发表偏倚;许多研究缺乏严格的人类中心评估;大多数研究使用单一机构数据集,限制了通用性;XAI方法的快速演进可能使某些发现迅速过时;类别不平衡对解释一致性的影响仅在少数研究中被研究。
**5.6. 未来研究方向**:分析识别出几个需要进一步研究的关键空白,包括:(i)为医疗XAI建立标准化评估框架,整合模型中心和人类中心指标;(ii)发展联邦学习和隐私保护学习下的XAI;(iii)将XAI集成到AutoML和LLM流程中;(iv)研究类别不平衡和解释一致性,开发改善方法;(v)处理医疗表格数据中的时间依赖性,开发专门的时间序列表格数据XAI方法;(vi)进行多机构验证研究以确保泛化性;(vii)对XAI影响进行纵向评估,衡量其对临床决策、患者结果和临床医生信任的长期影响。
**6. 结论**
本系统综述审视了用于医疗表格分类的可解释人工智能方法。通过分析21项主要研究,得出以下结论。SHAP仍然是医疗表格数据的主要事后XAI方法,其理论基础、模型无关性以及提供全局和局部解释的能力使其成为通用选择。然而,研究人员和从业者必须意识到,SHAP强大的模型中心保真度并不能保证临床一致性。Karagoz等人的基准测试研究表明,在基于树的模型中,SHAP解释与专家临床推理呈负相关;同时,类别不平衡会显著影响其解释的一致性。值得注意的是,替代树尽管结构简单,却实现了最高的临床一致性,这表明设计上的可解释性可能具有优势,但该发现基于有限的证据,需要更大规模、多机构的研究来确认。临床医生偏好和人类中心评估方面,Garcia等人的用户研究表明,SHAP因其简单性被临床医生首选,但高依从率表明存在自动化偏见风险。类别不平衡和解释一致性是医疗领域的关键问题,需要优先研究改善方法。XAI与生成式AI和AutoML的集成是一个有前景的方向。新兴方法,包括基于注意力的机制、TabNet框架和集成方法,扩展了可用的工具包。然而,XAI与AutoML的集成仍然严重不足,只有30.7%的AutoML研究融入了可解释性技术,这是临床环境中负责任部署的重大障碍。尽管取得了进展,但该领域仍缺乏集成模型中心保真度指标与人类中心临床一致性的标准化评估框架,且现有证据基础有限,许多发现应被视为初步和假设生成性的。解决这一差距需要AI研究人员和医疗专业人员之间更紧密的合作,以及以患者结果为重点的严格评估。