阿尔茨海默病诊断中的模内与模间交互区域对齐融合技术

《Biomedical Signal Processing and Control》：Intra- and Inter-Modality Interactions Region Alignment Fusion for Alzheimer’s disease diagnosis

3IRAF模型融合sMRI和fMRI数据，通过FCN提取全卷特征，KNN增强的GIN提取fMRI图特征，结构-功能对齐模块映射至AAL图谱，GCN建模跨模态交互。实验显示MCI/NC分类91.6%、AD/NC分类94.3%、MCI/AD/NC分类86.8%，有效提升AD早期诊断精度。

　　近年来，阿尔茨海默病（AD）作为一种逐渐进展且不可逆的神经退行性疾病，对全球数百万患者造成了严重影响。随着病情的发展，大脑中的神经元会受到严重损伤，并影响到多个脑区，导致患者日常生活能力显著下降，最终可能危及生命。因此，早期诊断和干预在AD的治疗中具有重要意义，不仅有助于延缓病情进展，还能显著提高患者及其照顾者的生存质量。AD的早期治疗效果尤为显著，而在疾病晚期则难以获得明显效果，这进一步凸显了早期诊断的重要性。

在AD的诊断过程中，神经影像技术扮演着关键角色。不同成像模态提供了独特的视角和信息。例如，正电子发射断层扫描（PET）能够通过特定的放射性示踪剂可视化阿尔茨海默病的标志性特征——淀粉样蛋白斑块，从而为疾病诊断提供重要的依据。而扩散张量成像（DTI）则擅长评估白质完整性，并揭示大脑内部的连接模式，帮助理解AD相关的结构变化。结构磁共振成像（sMRI）能够提供详细的脑组织组成信息，使研究人员能够分析长期的解剖和病理变化。sMRI具有高空间分辨率，可以探测到如皮层厚度、灰质（GM）、白质（WM）和脑脊液（CSF）等微观和分子层面的指标，这些指标揭示了AD等疾病的关键神经变化，有助于早期诊断和深入理解疾病机制。功能性磁共振成像（fMRI）则通过测量代谢活动和血氧水平，提供关于大脑连接性的关键信息，使研究人员能够检测与认知能力下降相关的网络破坏。

尽管不同模态的数据提供了从不同角度的诊断信息，但AD的复杂性和多因素的发病机制使得仅依赖单一模态的数据难以实现全面诊断。大量研究表明，整合多模态数据可以揭示更加丰富的生物标志物，为诊断提供互补的信息，并显著提高诊断的准确性。因此，将sMRI与fMRI进行融合成为一种强有力的方法，利用它们的互补优势，为AD的诊断提供新的可能性。

然而，现有的融合方法在建模模态内和模态间的相互作用方面存在局限，导致诊断性能未能达到理想水平。为此，我们提出了Intra- and Inter-Modality Interactions Region Alignment Fusion（3IRAF）模型，这是一种新的框架，旨在整合sMRI和fMRI以提高AD的诊断效果。我们的方法首先通过不同的方式提取模态特定的特征：对于3D sMRI，我们采用全卷积网络（FCN）来提取全体积级别的深层特征；而对于由fMRI生成的图结构（FC graphs），我们使用图同构网络（GIN）来捕捉图级别的表示，同时通过K近邻（KNN）策略增强拓扑结构，以减少原始图中可能存在的噪声或无信息的边。接着，我们引入了一种结构-功能对齐步骤，将sMRI和fMRI的深层特征的空间坐标系统对齐到自动解剖标记（AAL）图谱，以保持脑区内的结构-功能对应关系。对齐后的特征随后通过拼接结构和功能信息，形成统一的联合表示。最后，我们采用图卷积网络（GCN）来从融合后的特征中提取跨模态的依赖关系和协同效应，从而揭示丰富的跨模态相互作用，提高AD的诊断性能。

在本研究中，我们总结了以下主要贡献：

首先，我们是首个提出基于坐标映射的区域级跨模态对齐策略的团队，该策略直接在空间域中对齐sMRI和fMRI的特征，以减少由于分辨率差异导致的融合偏差。其次，我们提出了3IRAF融合模型，该模型不仅能够捕捉模态内的相互作用，从而增强模态特定特征的提取，还能够建模模态间的相互作用，以优化跨模态表示，从而提高AD的诊断准确性。最后，我们设计了一种基于高斯相似度的KNN增强邻接矩阵，用于构建稀疏且去噪的脑图，从而减少原始全连接图中可能存在的虚假连接的影响。

在实验部分，我们对融合后的脑连接网络、融合模块基于GCN的性能、模态特定特征提取模块的性能以及与相关方法的对比进行了系统评估。3IRAF模型以端到端监督的方式进行训练，并采用了10折交叉验证策略。我们的实验结果表明，该模型在MCI/NC分类任务中达到了91.6%的准确率，在AD/NC分类任务中达到了94.3%的准确率，在MCI/AD/NC分类任务中达到了86.8%的准确率，显示出卓越的诊断能力。

此外，我们还分析了在AD诊断中最具区分性的脑区（ROIs）。表8列出了MCI/NC和AD/NC分类任务中最具区分性的前10个脑区，并通过BrainNetViewer工具进行了可视化（如图2所示）。对于MCI与NC的分类任务，关键脑区主要集中在记忆、默认模式和前-纹状体系统。海马体（HIP.L）和旁海马皮层（PHG.L）作为记忆回路的核心区域，与默认模式网络中的关键节点如后扣带回（PCG.R）和前扣带回（ACC.R）共同构成了重要的分类依据。这些脑区在AD的早期诊断中具有关键作用，能够帮助识别疾病的早期迹象。

通过这些分析，我们的研究不仅揭示了sMRI和fMRI在AD诊断中的互补性，还提出了新的融合方法，以更有效地整合不同模态的数据。3IRAF模型通过区域级对齐策略，确保了结构与功能信息的对应关系，从而提高了跨模态特征的融合效果。这一方法在多个分类任务中均表现出色，显示出其在AD诊断中的应用潜力。

在方法实现过程中，我们采用了多种技术手段，包括全卷积网络（FCN）和图同构网络（GIN）来提取模态特定的特征，同时通过KNN策略优化图结构，以减少噪声和冗余信息。这些技术手段使得我们能够更精确地捕捉到与AD相关的特征，并构建一个更加稳健的融合模型。此外，我们还通过结构-功能对齐步骤，将不同模态的特征映射到统一的坐标系统，确保了特征的对齐精度，从而提高了模型的整体性能。

为了验证3IRAF模型的有效性，我们进行了多组实验，包括对融合后的脑连接网络进行性能评估、对融合模块基于GCN的性能进行评估、对模态特定特征提取模块的性能进行评估，以及与相关方法的性能对比。实验结果表明，3IRAF模型在多个任务中均取得了优异的诊断效果，其准确率显著高于现有方法，显示出其在AD诊断中的应用价值。

在本研究中，我们还探讨了跨模态融合的挑战。现有的融合方法主要分为统一方法和非统一方法。统一方法通过共享的策略将fMRI和sMRI整合到一个框架中，但这种方法忽略了模态间的异质性，限制了对各模态独特特性的充分利用。而非统一方法则通过独立处理各模态数据，再将其输出进行融合，这种方法提供了更大的灵活性，使研究人员能够更好地捕捉各模态数据的独特特性。然而，非统一方法在捕捉模态间的相互作用和协同效应方面存在不足，可能无法充分挖掘模态间丰富的依赖关系，从而影响模型的整体性能。

为了克服这些挑战，我们提出了3IRAF模型，该模型在提取模态特定特征时，采用不同的方法，以更有效地捕捉各模态的高维特征。在对齐步骤中，我们引入了结构-功能对齐模块，将不同模态的特征映射到统一的坐标系统，以确保特征的对齐精度。在融合过程中，我们采用图卷积网络（GCN）来提取跨模态的依赖关系和协同效应，从而揭示丰富的跨模态相互作用。这些方法的结合，使得我们能够更全面地分析AD的结构-功能关系，提高诊断的准确性。

此外，我们还设计了一种基于高斯相似度的KNN增强邻接矩阵，用于构建稀疏且去噪的脑图。这一方法有效减少了原始图中可能存在的虚假连接，提高了脑图的可靠性。通过这些改进，我们不仅提升了模型的性能，还增强了对AD病理机制的理解，为未来的临床应用提供了坚实的基础。

在研究过程中，我们还发现，不同模态的数据在结构和功能上存在显著差异，这使得跨模态融合成为一项具有挑战性的任务。为此，我们提出了3IRAF模型，该模型通过区域级对齐策略，将不同模态的特征映射到统一的坐标系统，以保持脑区内的结构-功能对应关系。这一方法不仅提高了特征的对齐精度，还确保了在融合过程中，各模态的特征能够被有效整合，从而提高模型的整体性能。

我们的研究结果表明，3IRAF模型在多个分类任务中均取得了优异的诊断效果。其在MCI/NC分类任务中达到了91.6%的准确率，在AD/NC分类任务中达到了94.3%的准确率，在MCI/AD/NC分类任务中达到了86.8%的准确率。这些结果不仅验证了3IRAF模型的有效性，还加深了我们对AD的结构-功能关系的理解，为未来的诊断和治疗提供了新的思路。

总的来说，我们的研究为AD的早期诊断提供了一种新的方法，即通过整合sMRI和fMRI的特征，利用区域级对齐策略和跨模态融合技术，提高诊断的准确性。3IRAF模型通过有效建模模态内的相互作用和模态间的相互作用，确保了特征的对齐精度和融合效果，从而为AD的诊断提供了更加全面的视角。这一研究不仅具有重要的理论价值，还为未来的临床应用提供了实际的指导意义。