MiFAD：用于早期阿尔茨海默病的多模态图像融合辅助诊断框架

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：MiFAD: A Multimodal Image Fusion-Assisted Diagnosis Framework for Early Alzheimer’s Disease

　　

• •
  双分支多模态学习，采用图像融合辅助精炼。
• •
  一致性约束机制增强双分支语义对齐。
• •
  CP-KSS模块聚合跨平面三维上下文并抑制冗余信息。
• •
  在ADNI和AIBL数据集上验证，取得具有竞争力的性能并提升可解释性。

引言

阿尔茨海默病（AD）是一种进行性且不可逆的神经退行性疾病，会导致认知能力下降和丧失功能独立性[1]。随着人口老龄化，AD和轻度认知障碍（MCI）的自动化早期筛查与准确分类具有越来越重要的临床意义[2]。由于PET能够反映脑代谢活性和早期功能异常，而MRI能够以高空间分辨率提供脑部结构信息并揭示灰质萎缩，因此联合分析PET和MRI比基于单一模态的分析更有效，能够捕捉与AD相关的互补病理信息[3]。

在早期研究中，AD诊断主要依赖于从神经影像数据中提取的手工特征，随后将这些特征输入传统分类器，如支持向量机（SVM）[4]、随机森林[5]和k近邻（KNN）[6]。尽管这些传统机器学习方法在AD诊断方面取得了一定进展，但其诊断性能在很大程度上受制于手工特征的质量，导致计算成本增加且效率相对有限。随着深度学习的发展，卷积神经网络（CNN）及其变体，如残差网络（ResNet）和密集连接网络（DenseNet），已被广泛应用于AD诊断，用于从包括MRI和PET在内的神经影像数据中自动学习判别性特征[7]。随后，注意力机制和基于Transformer的模型被进一步引入，以捕捉不同脑区之间的长程依赖和全局上下文信息。与此同时，多任务学习框架也被用于联合优化疾病分类、认知评分预测、疾病进展评估及其他相关任务，从而增强模型对AD病理过程的表征能力。

尽管上述方法取得了相当可观的进展，但仍面临若干挑战。1）互补性利用不足：一些现有研究仅关注单一模态神经影像数据，而忽视了跨模态互补信息，这限制了多模态临床信息的充分利用，进而影响诊断性能的进一步提升。虽然已有若干多模态方法尝试结合PET和MRI[8]、[9]，但它们通常依赖相对简单的融合策略，如拼接、卷积或注意力机制，这可能限制了其充分利用跨模态互补信息的能力。2）语义不对齐：多任务学习通过同时建模多个相关任务来增强特征表征并改善泛化性能。因此，许多现有AD诊断方法已通过并行或级联架构联合学习AD分类与其他任务，如临床评分回归和年龄预测[10]、[11]、[12]。然而，这些方法通常缺乏显式的任务间语义对齐机制，难以确保不同任务对疾病相关区域的关注一致。这削弱了任务间的协同效应，限制了多任务学习在AD诊断模型中的有效性。3）各向异性捕捉不足与信息冗余：AD相关病理变化在脑内分布不均匀，关键诊断信息通常集中在特定区域，如海马体和脑室。因此，对不同角度解剖方向上的空间变化进行建模对于学习有效的判别性表征尤为重要。然而，在从完整三维体数据中提取特征时，现有方法往往缺乏对多角度解剖信息的针对性建模，难以充分捕捉不同解剖方向上的各向异性特征[13]、[14]。同时，大量引入非关键脑区域导致信息冗余，增加了模型的学习负担，并削弱了关键疾病相关特征在特征表征中的主导作用。

为应对这些挑战，本文提出了MiFAD——一种融合辅助的AD诊断框架，旨在通过紧密耦合融合表征学习与分类决策，系统性地利用多模态互补性并学习与诊断目标对齐的判别性表征。首先，采用联合优化的双分支范式，包括主判别分支和由解剖重建目标正则化的融合辅助分支，从而促进更全面的表征学习。其次，为增强两个分支之间的语义对齐，MiFAD引入了一致性约束机制（CCM），以维持融合辅助分支与对主要诊断目标最关键的相关病灶区域之间的对齐。第三，主判别分支集成了跨平面关键切片选择（CP-KSS）模块，该模块联合建模三个正交平面上的全局上下文并识别具有诊断信息的切片序列，缓解了单视角选择在捕捉多方向判别性信息方面的局限性，并减少了信息冗余。最终，MiFAD在语义层面聚合两个分支的表征以支持联合诊断决策，产生更一致且具有可解释性的诊断证据。

综上所述，本研究的主要贡献如下：

• •
  提出了MiFAD——一种多模态三维图像融合辅助诊断框架，采用带有解剖重建约束的联合优化双分支范式，能够更有效地利用多模态互补性，从而精炼融合表征并提升诊断可解释性。
• •
  提出了一致性约束机制（CCM），以实现在协同训练过程中的跨分支判别性引导传递，促进分支间的语义对齐。
• •
  设计了跨平面关键切片选择（CP-KSS）模块，以聚合三个正交平面上的全局上下文信息，提取具有诊断信息的关键切片序列，缓解方向偏差并抑制冗余信息。

本文其余部分组织如下。第2节总结相关研究。第3节介绍所提出的MiFAD框架。第4节描述实验设计并报告结果。第5节讨论研究发现的 implications，第6节总结全文并概述未来工作方向。

章节摘要

AD诊断的传统方法

在深度学习被广泛采用之前，AD诊断研究主要集中于构建保留与临床诊断标签之间高度判别性信息关联的特征空间[15]。这一研究路线为早期AD分类奠定了必要基础，通常被概念化为一个两阶段流水线。具体来说，首先通过专门的图像处理程序提取定量手工特征集，随后将其输入

方法

所提框架的整体架构如图1所示。MiFAD采用双分支设计，由主判别分支和融合辅助分支组成，两者通过所提出的CCM进行联合学习和耦合。两个分支学到的表征随后在语义层面进行整合，以生成最终诊断决策，从而增强准确性和可解释性。以下各小节介绍架构

数据集与预处理

本研究使用的影像数据来自两个公开可用的神经影像队列：阿尔茨海默病神经影像倡议（ADNI）和澳大利亚影像、生物标志物与生活方式（AIBL）研究。为确保模态间的时间一致性，仅纳入同一受试者在不超过一个月的时间间隔内采集的配对PET和MRI扫描。经过严格的质量控制后，共保留456例多模态病例，包括300名受试者

讨论

所提出的MiFAD框架通过引入CP-KSS模块和CCM，在多模态AD诊断中取得了显著的性能提升。本节系统地讨论这两个核心机制的科学意义。我们进一步考察模型的可解释性，以展示这些设计如何有助于缓解三维图像序列建模和多任务优化相关的挑战。

结论

在本文中，我们提出了MiFAD——一种利用配对三维PET和MRI进行早期阿尔茨海默病分类的多模态图像融合辅助诊断框架。MiFAD整合了主判别分支和融合辅助分支，以增强对多模态互补信息的利用。融合辅助分支引入解剖重建约束以精炼融合表征，而CCM则通过诊断

作者贡献声明（CRediT）

赵心竹：原创撰写、可视化、验证、软件、方法学、概念构思。石玉：审稿与编辑、形式化分析。袁帅：验证、方法学。程娟：验证、指导。刘瑜：审稿与编辑、指导、方法学、概念构思。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文报告的工作。

赵心竹|石玉|袁帅|程娟|刘瑜