多模态大型语言模型提升阿尔茨海默病诊断：基于MMSE数据的可解释特征提取

为解决阿尔茨海默病（Alzheimer's Disease, AD）早期诊断中传统迷你精神状态检查（Mini-Mental State Examination, MMSE）多模态数据利用不足的问题，研究人员开发了基于多模态大型语言模型（Multimodal LLM）的框架，通过提取视频、图像和语音的高层特征，构建可解释决策树分类器并集成反事实解释模块。该方法在真实临床数据上实现诊断准确性提升约6个百分点，提供透明诊断路径，为早期AD检测提供可扩展解决方案，临床意义显著。

　　

论文解读

阿尔茨海默病（Alzheimer's Disease, AD）已成为全球老龄化社会的重大健康危机，其早期诊断对改善患者预后至关重要。迷你精神状态检查（Mini-Mental State Examination, MMSE）作为初筛工具，能生成视频、图像和语音等多模态数据，但传统方法仅依赖人工设计特征，难以捕捉细微认知变化，导致诊断敏感性不足。此外，现有人工智能模型多为“黑箱”，缺乏可解释性，阻碍了临床信任和应用。面对这些挑战，重庆医科大学附属第一医院的研究团队开发了一种创新框架，通过多模态大型语言模型（Large Language Model, LLM）重新解读MMSE数据，提取可解释特征，并结合决策树和反事实解释，提升诊断透明度和准确性。相关成果发表于《Experimental Gerontology》。

研究采用三项关键技术：首先，利用阿里云Qwen系列模型（Qwen-VL-Max处理视频/图像、Qwen-Audio-Turbo处理语音）从MMSE任务（如折纸视频、闭眼视频、五边形绘图、手写和语音音频）中自动提取特征，如SpeechFluency（语音流畅性）和ClosureStability（闭眼稳定性）；其次，构建基于信息增益的决策树分类器，并通过剪枝优化复杂度；最后，集成反事实解释模块生成“假设”场景。实验数据源自重庆医科大学附属第一医院的160名参与者（80例AD、80例认知正常者），涵盖多模态临床记录。

研究结果分为三部分：

1. 诊断树性能分析：决策树以SpeechFluency<0.72为根节点，结合ClosureStability和EyeOpeningDelay等特征分层决策，实现准确性0.76、召回率0.82，优于逻辑回归（MMSE分数基准）和传统机器学习模型（如支持向量机）。
2. 反事实解释的影响：在树深度为5、叶节点大小为2时，反事实模块通过微调关键特征（如将SpeechFluency从0.8降至0.725），使错误预测样本的准确性提升至0.76，突显特征敏感性。
3. 解释分析：反事实案例显示，调整单一特征（如SpeechFluency或ClosureStability）即可翻转诊断结果，证实模型决策边界的临床可操作性。

研究结论强调，该框架通过多模态LLM提取的认知特征（如语音流畅性和运动协调性）超越传统MMSE评分，结合决策树和反事实解释，提供高分辨率、可解释的AD诊断路径。其意义在于填补了多模态数据利用与临床可解释性之间的鸿沟，为早期干预提供可靠工具。未来需扩大数据集验证泛化性，并探索更细粒度的认知信号提取。