用于阿尔茨海默病诊断的多模态表示的层次对比学习

《Biomedical Signal Processing and Control》：Hierarchical contrastive learning for multi-modal representation in Alzheimer’s disease diagnosis

　　•提出了一种新颖的层次对齐框架，用于阿尔茨海默病（AD）的诊断。•引入了动态学习机制，在跨模态特征对齐之前逐步对齐模内特征。•该方法在多个基准数据集上的表现优于现有的最先进方法。•从多个角度彻底探讨了与AD识别相关的显著ROI的解释。

引言
阿尔茨海默病（AD）是一种进行性的神经退行性疾病，是老年人痴呆的主要原因，其特征是记忆障碍、认知下降和行为变化[1]。尽管进行了广泛的研究，但AD的确切病因机制仍然不清楚，目前还没有有效的治疗方法可以治愈或逆转这种疾病。然而，在轻度认知障碍（MCI）阶段进行干预可能有助于减缓疾病的进展[2]。MCI通常分为早期MCI（EMCI）和晚期MCI（LMCI），分别代表相对较轻和更严重的认知障碍。因此，本研究中考虑的四个组别，即正常对照组（NC）、EMCI、LMCI和AD，可以视为认知障碍逐渐加重的连续体。相邻阶段之间的显著临床和病理重叠为准确分类带来了重大挑战，特别是区分EMCI和NC，因为EMCI的认知变化相对微妙，可能会与正常的年龄相关性变化重叠[3][4][5]。

近年来，机器学习在AD诊断领域受到了广泛关注和认可，它提供了分析复杂生物医学数据并提高诊断准确性的创新方法。早期的研究主要集中在单一模态上，如磁共振成像（MRI）或正电子发射断层扫描（PET）[6][7]。例如，de Mendon?a等人提出了一种基于从MRI中提取的纹理特征的新型图谱核模型用于AD诊断[8]。Rashid等人提出了一种使用从3D MRI中提取的2D切片进行AD诊断的轻量级框架[9]。Pan等人提出了一种多层次氟脱氧葡萄糖-PET（FDG-PET）特征方法，采用相似性驱动的排序和基于MMSE的分类器选择[10]。Liu等人提出了一种利用纵向sMRI数据来改进MCI到AD进展预测的轻量级模型[11]。然而，单一模态不足以捕捉大脑的结构和功能变化，而多模态数据可以从不同角度提供互补信息[12]。Chen等人提出了一种改进的多模态低秩嵌入模型，旨在从MRI和PET中选择特征用于AD分类[13]。同样，Sheng等人提出了一种结合MRI、PET和脑脊液（CSF）的特征选择混合算法用于AD诊断[14]。然而，传统的机器学习方法依赖于需要专业知识的特征工程。

深度学习是机器学习的一个子类别，它可以通过人工神经网络自动学习特征表示[15]。例如，Wu等人提出了一种基于深度自重构融合相似性的方法，从多模态数据中捕获与AD相关的生物标志物以提高AD诊断的准确性[16]。Lu等人提出了一种基于层次注意力的框架，融合成像、遗传和临床数据用于AD诊断[17]。Wang等人引入了一个多模态交叉注意力模块来学习跨模态之间的关系以进行AD分类[18]。在单模态设置中，Yu等人提出了一种基于对抗性训练的自适应加权混合网络，用于自闭症谱系障碍的诊断[19]。然而，从多模态数据中有效学习共享表示同时保留类别间的区分信息仍然是一个重大挑战。

对比学习作为一种重要方法，通过比较数据的相似性和差异来指导识别它们之间的关系，从而学习具有区分性的特征表示[20]。对比学习的核心原则是正确定义正样本对和负样本对，目标是在嵌入空间中最小化正样本对之间的距离，同时最大化负样本对的分离。一些研究人员使用数据的多个视图来构建正样本对和负样本对。Li等人利用多通道MRI作为对来计算对比学习损失[21]。Chen等人提出了一种用于AD诊断的对比学习方法，通过对PET图像进行数据增强来构建样本对[22]。Kwak等人也使用PET图像的数据增强来计算对比学习损失以诊断AD[23]。Yin等人提出了一个双分支3D CNN框架，将全脑和海马区的MRI结合用于AD预测[24]。除了多视图视角外，最近的研究人员还尝试利用对比学习处理多模态数据。例如，Zhao等人利用MRI和认知测试数据上的对比学习来学习AD诊断的跨模态特征[25]。此外，Yang等人应用监督对比学习到每个模态中，以提取用于青光眼诊断的有意义的模内特征[26]。Zhou等人应用多模态对比学习来学习有效表示，以利用不足的标签进行AD预测[27]。Huang等人提出了一种利用多模态对比学习来对齐神经影像和表格数据的框架[28]。然而，现有的多模态诊断方法尚未充分利用不同模态的信息，这限制了探索每个模态内的区分信息以及捕捉模态间的互补相互作用，最终导致特征表示不够理想。

在本文中，我们提出了一种基于多模态数据的新型层次对比学习框架，用于AD相关诊断。如图1所示，颜色代表类别标签（绿色 vs. 黄色），形状代表数据模态（圆圈 vs. 三角形）。在原始特征空间（左侧），各个类别在其各自的特征空间中无法区分。为了解决这个问题，首先应用了模内对齐方法（中间），该方法使用监督对比约束优化每个模态空间的特征分布，使每个分布内的类别可区分。然后，采用标签引导的模间对齐（右侧）将来自不同模态的特征进一步映射到共享的特征空间中。因此，层次对比学习方法使模型能够学习结构良好的特征空间，从而有助于提高下游诊断任务的性能。

我们的贡献可以总结如下：(1) 我们设计了一种层次对比学习方法，充分利用模内和模间信息以更好地学习多模态表示。(2) 在训练过程中，我们引入了动态学习策略，以提高综合层次对比学习的稳定性。(3) 在多个数据集上的实验结果一致表明，我们的方法优于现有的最先进方法。本文的结构如下：第2节详细介绍了所提出的层次对比学习方法，包括框架结构、模内/模间对齐机制、动态学习策略和算法实现。第3节涵盖了实验设置、比较方法、消融研究、分类性能和在外部数据集上的泛化验证。第4节分析了模型优化和生物学可解释性。最后，第5节总结了本文的结论。

框架概述
我们提出的用于AD诊断的层次对比学习框架概述如图2所示。它包括两个主要模块：模内对齐和模间对齐。首先，原始多模态数据被编码成新的特征表示。然后，这些表示通过层次对比学习策略进行约束。模内对齐模块确保具有相同类别标签的特征紧密聚集，而具有不同标签的特征则…

数据采集和预处理
本研究使用的数据来自阿尔茨海默病神经影像倡议（ADNI），包括131名正常对照组（NC）、128名早期轻度认知障碍（EMCI）患者（代表正常衰老和晚期MCI之间的中间阶段）、109名晚期轻度认知障碍（LMCI）患者（代表通常会进展为AD的更严重认知下降阶段）以及84名AD患者。参与者的基本信息在文中提供。

损失权重的敏感性分析
为了评估每个损失组件的影响，我们定义总损失为 ?′???????????=(1???)?((1???)????????????????+??????????????????)+?????????。权重 ?? 被限制在 [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1] 的范围内，而 ?? 被设置为 [0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1]。我们使用不同的 ?? 和 ?? 组合来训练网络，如图4所示，其中星号表示最高准确性。当 ?? 相对较大而 ?? 相对较小时，例如 ??=0.1 和 ??=0.9，我们的模型可以达到更高的准确性。

结论
在这项研究中，我们试图使模型学习一个结构良好的特征空间，从而提高诊断任务的性能。为此，我们提出了一种基于监督对比学习的层次对比学习框架，通过增强模内和模间对齐来优化表示分布，从而构建一个结构良好的特征空间。与以前的方法相比，层次对比学习方法提供了…

CRediT 作者贡献声明
Chao Peng：撰写——原始草稿、方法论、概念化。
Qizhi Jing：撰写——原始草稿、软件、数据管理。
Rui Zhang：验证、资金获取。
Mingming Chen：可视化、形式分析。
Renping Yu：撰写——审稿与编辑、监督、项目管理、资金获取。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

Chao Peng | Qizhi Jing | Rui Zhang | Mingming Chen | Renping Yu