针对医学多模态数据的可解释人工智能的综述研究

《npj Digital Medicine》：A scoping review of explainable artificial intelligence for medical multimodal data

　　

摘要

多模态人工智能模型——能够整合图像、临床记录等多种数据——在医疗领域发展迅猛，然而这类复杂的预测架构与用于解释其决策的可解释人工智能技术之间仍存在显著差距。我们通过查询4个文献数据库，对跨模态医学人工智能研究中的可解释性方法应用情况进行了综述。在82项纳入的研究中，我们发现目前仍以独立特征归因为主（即分别为不同数据类型赋予重要性得分），大多数研究采用事后分析方法（在模型做出决策后再进行分析），将这些模型视为“黑箱”。尽管视觉关联（将文本解释直接与特定图像区域对应）和模型推理等新兴技术展现出潜力，但在解释模型背后的推理过程方面仍存在重大缺陷。大多数仅依赖定性评估的研究缺乏标准化评价机制，仅有少数研究能通过公开代码库实现良好的重复性。我们建议该领域从单独的、事后的可解释人工智能方法转向内在可解释的设计，即将推理逻辑直接嵌入模型架构中，从而确保人工智能的输出与以人为中心的临床工作流程和应用需求相契合。