《Frontiers in Neurology》：Multi-modal deep learning and explainable AI for predicting multiple dementia-related neuropathologies from brain MRI, clinical, and genetic data
编辑推荐：
阿尔茨海默病及相关痴呆（ADRD）通常涉及多种重叠的病理——如淀粉样蛋白-β（Aβ）、tau、脑淀粉样血管病（CAA）、TDP-43、海马硬化和α-突触核蛋白——这使诊断和治疗复杂化。虽然PET和CSF生物标志物可检测Aβ和tau的异常水平，但它们具有侵入性、
阿尔茨海默病及相关痴呆（ADRD）通常涉及多种重叠的病理——如淀粉样蛋白-β（Aβ）、tau、脑淀粉样血管病（CAA）、TDP-43、海马硬化和α-突触核蛋白——这使诊断和治疗复杂化。虽然PET和CSF生物标志物可检测Aβ和tau的异常水平，但它们具有侵入性、昂贵且不广泛可用。相比之下，结构磁共振成像（MRI）提供了一种非侵入性和可扩展的替代方案，当与人工智能方法结合时，现在显示出神经病理学预测的前景。以往的努力主要集中在推断单一病理如异常Aβ；然而，迫切需要能够联合预测多种共存病理的模型。在这项工作中，研究人员开发并评估了一个混合深度学习框架，该框架整合了3D T1加权脑MRI与人口统计学、临床和遗传协变量，以在活体个体中推断六种ADRD病理的存在。这些模型使用来自生前扫描个体的尸检确认神经病理学进行训练和测试。基于它们在相关任务上的强大性能，研究人员评估了两种机器学习模型：（1）基于3D卷积神经网络的深度学习算法，这是计算机视觉应用中广泛使用的模型；（2）AutoGluon，一种自动机器学习框架，可自动选择针对该问题的方法。每种方法都可以使用成像和非成像协变量作为输入。为了提高模型透明度，研究人员融入了可解释AI方法——包括遮挡敏感性分析（OSA）、Grad-CAM和集成梯度（IG）——以解释脑区域对模型预测的空间贡献。最后，研究人员将生成的特征重要性图（“显著性图”）与传统的基于体素的形态学分析（VBM）进行比较，以评估其生物学合理性。研究人员的发现显示了多模态、可解释AI方法用于全面、非侵入性表征痴呆相关病理的前景。
阿尔茨海默病及相关痴呆（ADRD）是全球健康危机，涉及多种重叠神经病理，如淀粉样蛋白-β（Aβ）、tau、脑淀粉样血管病（CAA）、TDP-43、海马硬化（HPSC）和路易小体（LB）等。现有生物标志物（如PET和CSF）检测成本高、侵入性强，且仅能检测Aβ和tau，无法全面评估共病病理。结构磁共振成像（MRI）提供非侵入性、可扩展的替代方案，但需要人工智能方法提取复杂特征。以往研究多聚焦单一病理预测，缺乏同时预测多种病理的模型。因此，迫切需要开发多模态、可解释的AI框架，利用MRI、临床和遗传数据联合预测多种神经病理。研究人员开发并评估了混合深度学习框架，包括3D卷积神经网络（CNN）、AutoGluon、随机森林和混合CNN，使用美国国家阿尔茨海默病协调中心（NACC）数据库（N=950）的尸检确认标签，预测六种ADRD病理。研究发现混合CNN模型性能最佳，平衡准确率最高达0.76，F1分数最高达0.83，验证了多模态融合的价值。可解释AI（xAI）方法与基于体素的形态学分析（VBM）比较揭示了生物学合理性。论文发表在《Frontiers in Neurology》。
关键技术方法包括：样本队列来源于NACC数据库，包含950名参与者，具有匹配的生前3D T1加权MRI和尸检神经病理学数据。主要方法：1) 3D CNN处理3D MRI体积；2) AutoGluon自动机器学习框架，使用2D切片和协变量；3) 随机森林结合Shapley值（SHAP）进行特征重要性分析；4) 混合CNN架构，Y形结构融合3D CNN和人工神经网络（ANN）处理成像和表格数据；5) 可解释AI方法：遮挡敏感性分析（OSA）、Grad-CAM、集成梯度（IG）、Smooth Grad、层相关性传播（LRP）；6) 基于体素的形态学分析（VBM）用于比较。
研究结果如下：
**4 Results** 总体结果表明，多模态模型优于单模态模型，混合CNN性能最佳。成像-only模型对Aβ和TDP-43有较好区分力，但结合临床和遗传协变量后性能进一步提升。
**4.1 Congruence of xAI salience maps and VBM** 通过比较xAI方法（如OSA、Grad-CAM等）与VBM，研究发现对于Aβ、tau和CAA，xAI显著性图与VBM的灰质体积变化区域存在重叠，验证了生物学合理性。例如，tau病理的xAI图在颞叶区域有强信号，与VBM结果一致。但部分xAI图出现侧偏性和脑干信号，可能反映方法局限性而非病理定位。
**4.2 Classification performance of the hybrid CNN** 混合CNN独立分类器在几乎所有病理上优于AutoGluon，平衡准确率0.669–0.763，F1分数0.255–0.831。多标签分类中，针对三种常见病理（Aβ、LB、HPSC）的模型对Aβ表现良好（F1=0.965），但LB（F1=0.488）和HPSC（F1=0.208）的F1较低。加入tau病理后，Aβ、tau和CAA的F1仍较高，但TDP-43和LB的F1下降。MRI至尸检间隔分层分析显示，大多数病理的预测性能在较长间隔组中未系统性下降，表明模型捕捉了相对稳定的结构相关性。
**4.3 Transformer-based model performance** 基于Transformer的模型（ViT-B/16和MINiT）性能接近随机水平，远低于CNN架构，表明在中等大小尸检确认数据集中，CNN因更强的空间归纳偏置而更具优势。
讨论部分总结了多模态融合的价值，指出混合CNN通过整合成像和表格数据实现了最佳性能，但xAI方法存在局限性，如不同方法间一致性差、侧偏性等。xAI分析仅应用于3D CNN而非混合模型，因混合模型的多模态融合使体素级归因具有歧义。VBM仅对Aβ、tau和CAA检测到显著灰质体积差异，而xAI图提供了更丰富的信号，但需谨慎解释。研究结论部分翻译如下：这项研究系统评估了多种建模方法，用于从多模态数据（包括结构MRI、临床、人口统计学和遗传协变量）预测多种痴呆相关神经病理。结果强调了各模型（随机森林、AutoGluon、3D CNN、混合CNN）的互补优势和局限性，并提供了关于xAI方法相对于传统VBM方法潜力的关键见解。它们也展示了多模态融合方法在推进ADRD精准诊断中的潜力。未来工作将聚焦于扩展至纵向MRI数据、整合可用其他成像或生物流体模态，并在外部队列中验证模型以确保泛化性。此外，通过自监督预训练、基于Transformer的融合机制和先进可解释性方法优化模型架构，将能更有效利用异质性数据，同时保持临床可解释性。总体而言，研究人员的研究显示了多目标、多模态人工智能方法用于神经病理学预测的潜力，有助于推进非侵入性、患者特异性诊断以及痴呆研究精准医学的更广泛目标。
