融合多模态动态脑图与时间序列模型的高效表征学习及其在脑疾病诊断中的应用

本文提出一种高效时序多模态图神经网络（ET_MGNN），创新性地融合动态功能连接（DFC）与结构连接（SC），并引入大语言模型架构（RWKV）捕获脑网络时空依赖关系。该模型在自闭症（ASD）和阿尔茨海默病（AD）诊断中显著提升分类精度，同时提供可解释性脑区识别机制，为动态脑网络建模提供新范式。

　　

研究亮点

动态脑图学习通过研究脑网络中节点和边随时间的演化过程，能够更有效地表征脑功能连接的变化，这对脑疾病诊断日益重要。标准方法包括采用时间滑动窗口构建一系列功能连接子窗口，再通过传统机器学习算法探索脑网络中的时空模式。

方法

如图1所示，我们提出的ET_MGNN包含两个主要组成部分。第一步是通过多模态融合构建脑连接组图，随后通过GIN架构编码生成动态脑图时间序列。这些动态时序脑网络旨在模拟和捕获大脑内部发生的信息传递过程。第二阶段采用高效的序列建模策略来处理这些时序数据。

数据集与预处理

数据集描述

本研究使用ABIDE II和ADNI两个数据集，以全面评估所提出模型在诊断不同脑疾病中的广泛适用性和性能。表1总结了所有数据集的人口统计学信息，包括性别（男/女）、年龄（平均值±标准差）及其他相关信息（平均值±标准差）。

ADNI数据集¹：阿尔茨海默病神经成像倡议（ADNI）数据集是一个纵向、多中心、多模态的神经成像研究项目，旨在开发阿尔茨海默病（AD）的早期生物标志物。

模型设计与机制的深入解析

提出的ET_MGNN通过对多模态脑网络融合进行分段，实现了创新的时间序列建模，为脑疾病的动态建模提供了新的研究视角。RWKV擅长捕捉短期动态变化和长期时间模式，使其非常适用于识别复杂且随时间变化的病理模式。时间混合模块递归地整合连续的功能连接状态信息，从而捕获大脑活动中细微而持续的变化。

结论

在本研究中，我们提出一个基于序列建模的ET_MGNN框架，旨在捕捉大脑的动态学习过程，以构建一个高效且可解释的脑疾病诊断模型。具体而言，基于使用滑动窗口方法构建的动态功能连接（FC），ET_MGNN自适应地整合结构连接（SC）的拓扑模式和节点特征，并将融合后的图嵌入到GNN表征空间中。此外，该模型创新性地……