一种用于认知障碍临床决策支持的多模态证据驱动框架

《npj Digital Medicine》：A multimodal evidence-driven framework for clinical decision support in cognitive impairment

　　

摘要

在认知功能障碍的诊断方面，深度学习方法展现出了巨大潜力，但由于其可解释性较差，且模型输出与现有医学证据之间的关联较弱，这些方法在临床应用中的推广仍受到限制。为此，我们提出了多模态证据驱动推理框架（MEDRF），该框架将多模态层次级联分类器与检索增强型大型语言模型相结合，以实现基于证据的推理。MEDRF利用从临床资料和结构磁共振成像中获取的常规非侵入性数据，来识别认知功能障碍的阶段及病因。在15种不同的诊断标签中，多模态层次级联分类器的性能优于传统的多模态基准模型，从而支持层次化的诊断建模。当对特征进行逐步掩码处理时，多模态层次级联分类器的性能会随着缺失信息的增加而下降，而检索增强型大型语言模型的校正则能缓解这一现象，尤其是在数据极度稀疏的情况下。在具有不同主要诊断标签的异质性群体中进行外部验证时，将检索增强型大型语言模型与多模态层次级联分类器结合使用，提升了所有评估指标，整体准确率从0.706?±?0.038上升至0.753?±?0.032。检索模块通过查找类似病例并提供文本证据，能够解决那些模糊的预测结果，帮助在相互矛盾的临床线索之间进行多步推理。医生对生成的报告质量及实用性也给予了积极评价。通过将层次化预测与基于证据的推理相结合，MEDRF为决策支持提供了一种强大且具有可解释性的框架，尤其适用于那些信息不完整或诊断较为模糊的情况。