基于高效时序多模态图神经网络（ET_MGNN）的动态脑网络建模及其在脑疾病诊断中的应用

本文提出了一种高效时序多模态图神经网络（ET_MGNN），创新性地融合动态功能连接（DFC）与结构连接（SC），并引入大语言模型RWKV的时序建模优势，显著提升了自闭症（ASD）和阿尔茨海默病（AD）的诊断准确率（分别提高11.8%和32.9%）。该模型兼具动态建模与多模态融合能力，为脑网络表征学习提供了可解释的新范式。

　　

Highlight

我们的高效时序多模态图神经网络（ET_MGNN）巧妙结合了循环神经网络（RNN）与Transformer的优势，在动态脑网络建模中实现了突破性进展！

INTRODUCTION

大脑活动的复杂性需从功能协调与结构解剖双维度探究。功能连接（FC）反映脑区活动同步性，而结构连接（SC）通过白质纤维束为功能连接提供空间约束。二者交互支撑神经机制与信息传递研究。

Dynamic Brain Graph Learning

动态脑网络能更精准表征功能连接随时间演变的特性，逐渐成为脑疾病诊断的关键。该领域通过时间滑动窗口构建功能连接子序列，并利用传统机器学习算法挖掘时空模式。

METHODS

如图1所示，ET_MGNN包含两大核心模块：首先通过多模态融合构建脑连接图，经图同构网络（GIN）编码生成动态脑图时间序列；随后采用基于RWKV的高效序列建模策略捕捉大脑信息传递过程。

Dataset and Preprocessing

本研究使用ABIDE II和ADNI数据集验证模型普适性。ADNI数据集¹作为纵向多中心研究平台，包含阿尔茨海默病（AD）、轻度认知障碍（MCI）和健康对照组的多模态神经影像数据。

Insights into Model Design and Mechanisms

ET_MGNN通过分段式多模态融合实现了创新性时序建模。RWKV卓越捕捉短期动态与长期模式，时间混合模块递归整合功能连接状态信息，从而精准捕获跨时间尺度的神经活动演化规律。

CONCLUSION

本研究提出的ET_MGNN框架通过融合动态功能连接与结构连接，构建出兼具高效性与可解释性的脑疾病诊断模型，为动态脑网络研究提供了新范式。