一种具有时空注意力的4D Transformer模型，用于脑部疾病的通用诊断

《Neurocomputing》：A 4D Transformer with Spatiotemporal Attentions for Universal Diagnosis of Brain Disorders

本文提出一种通用的4DTransformer模型，通过时空注意力机制和对比式自监督学习提取多脑疾病共用的时空模式，并采用多任务学习策略实现单一模型对阿尔茨海默病、ADHD、自闭症和双相情感障碍的诊断，实验结果显示准确率较现有方法提升3%-5%点，且可视化注意力图与医学建立的生物标志物一致。

　　

文亨俊（Hyung-Jun Moon）| 趙成培（Sung-Bae Cho）

延世大学人工智能系与计算机科学系

摘要

放射成像技术的最新进展促进了深度学习模型的发展，这些模型能够从功能性磁共振成像（fMRI）数据中检测出大脑疾病。然而，疾病特有的空间和时间特征、生物变异性、区域重要性的差异以及有限的时空分辨率阻碍了通用大脑模式的提取，这使得开发强大的诊断模型变得困难。在本文中，我们提出了一种通用模型，该模型能够从fMRI序列中学习通用的大脑模式，并对多种疾病进行诊断。为了识别空间和时间模式，该模型利用了一种新颖的注意力机制和对比半监督学习方法来提取这些模式。随后，无需为每种疾病分别建立模型，而是通过多任务学习使用单一模型对多种疾病进行诊断。在四个不同疾病数据集上的实验表明，所提出的模型在准确率上提高了5个百分点，并且在个别疾病基准测试中比现有最先进方法的表现高出多达3个百分点。进一步分析显示，该模型能够有效识别大脑中的全局时空模式，并稳健地捕捉每种疾病所需的神经学特征。

引言

人脑极其复杂，由大约${10}^{11}$个神经元组成，这些神经元通过${10}^{14}$个突触相互连接[1]、[2]。放射学技术的进步，尤其是功能性磁共振成像（fMRI），现在允许非侵入性地测量整个大脑的动态[3]。fMRI以亚秒到秒级的采样频率获取3D血氧水平依赖（BOLD）体积的时间序列[4]，从而生成了丰富的4D数据集[5]。这加速了详细功能解剖结构及其在疾病中的变化的映射[6]、[7]。

然而，解读fMRI数据仍然具有挑战性。由于拍摄设备和环境的限制，大脑中记录的信号是间接的且粒度较粗的，并且这些信号会根据生物特性表现出异质性[6]、[8]。

特别是，仔细分析时空特征的需求非常高。如图1(a)所示，fMRI中观察到的显著特征结合了全局和局部的时空元素，使得它们的识别极其耗时且劳动强度大。由于这种复杂性，早期的研究依赖于统计方法来估计fMRI中的疾病相关时空模式，或者结合了特定区域的功能注释来辅助解释[3]、[9]。最近，深度学习被引入以探索大脑动态与人类认知和行为之间的非线性关系。然而，深度学习通常只能学习每种疾病特有的部分血流动力学模式，而无法提取可泛化的大脑活动时空表示[10]。因此，这种方法存在效率低下的问题，需要为每种疾病分别建立模型，并且在其他疾病上的泛化能力和表现较差，如图1(b)所示。

在本文中，我们提出了一种通用的4D变换器模型，该模型能够通过考虑局部和全局的时空属性从fMRI序列中学习通用的大脑模式，并使用这些模式来训练一个单一模型以诊断多种大脑疾病。所提出的方法通过专门的时间和空间注意力机制关注大脑模式的时空变化，准确估计关键特征，并将这些特征整合到变换器架构中。为了防止对特定疾病的偏见并提高在不同患者群体中的泛化能力，该方法使用对比半监督学习来获得无偏的大脑模式表示。然后，训练好的模型利用多任务学习策略使用单一模型同时对多种大脑疾病进行分类。

为了评估提取通用模式和诊断疾病的能力，所提出的方法在四种严重的神经系统疾病上进行了评估：阿尔茨海默病（AD）、注意力缺陷/多动障碍（ADHD）、自闭症谱系障碍（ASD）和精神分裂症。实验结果表明，尽管同时诊断了多种疾病，所提出的方法避免了过度拟合特定疾病的特征，并学习了稳健且可泛化的时空模式，在性能上优于最近的最先进的多疾病诊断方法。此外，当针对每种疾病单独进行微调时，所提出的方法的表现也优于为每种情况量身定制的现有最先进模型。进一步的分析，包括对所提出方法提取的注意力图的可视化，显示识别出的大脑活动模式与医学上确立的生物标志物一致。

章节片段

用于脑疾病诊断的深度神经网络

表1总结了与fMRI脑疾病研究相关的最新方法和描述。卷积神经网络（CNNs）的集成在从脑图像中提取空间特征方面表现出色，这对于分析大脑的结构和功能方面至关重要[11]、[12]。然而，其关注特定疾病特征的特点限制了其在创建通用模型方面的应用

提出的方法

在本文中，我们提出了一种通用模型，该模型通过集成自我监督的预训练和多任务微调来从fMRI数据中诊断多种大脑疾病，以提取大脑中出现的时空和解耦模式。图2展示了所提出方法的概要。实现大脑模式学习的核心组件是专注于表示关键信息的时空注意力。

实验设置

所有实验都在一台配备有四个NVIDIA Tesla V100 GPU（每个32GB）和256GB系统RAM的专用工作站上进行。系统运行的是Ubuntu Linux 18.04 LTS。实现使用Python 3.8和TensorFlow 2.8.0以及pytorch 2.8来完成深度学习组件。我们使用标准库来支持各种功能：scikit-learn（v1.0）用于机器学习工具，Nilearn（v0.9）用于神经影像数据处理，NetworkX（v2.6）用于其他功能

结论性评论

本文提出了一种通用的4D变换器模型，可作为四种大脑疾病的通用诊断模型。该模型在三个方面与以往的工作有所不同：（i）具有空间和时间偏见的时空注意力；（ii）用于建模通用和普遍大脑模式的自我监督对比预训练；（iii）用于诊断多种疾病的多任务微调。在每个大规模基准测试中，所提出的方法都创下了新的最佳准确率（80~99%）

未引用的参考文献

[39]

CRediT作者贡献声明

文亨俊（Hyung-Jun Moon）：撰写——原始草稿、可视化、验证、软件开发、方法论、正式分析、数据管理。赵成培（Sung-Bae Cho）：撰写——审阅与编辑、验证、监督、资源协调、项目管理、方法论、研究调查、资金获取、正式分析、概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系。赵成培报告称获得了信息与通信技术规划与评估研究所的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系

致谢

本工作得到了延世大学奖学金计划、韩国政府资助的IITP项目（项目编号RS-2022-II220113，开发可持续的协作式多模态终身学习框架）以及韩国政府资助的ETRI项目（项目编号25ZB1100，自改进集成人工智能系统的核心技术研究）的支持。

文亨俊（H.-J. Moon）于2021年在韩国首尔的延世大学物理系获得学士学位，目前正在人工智能系攻读博士学位。他的研究领域包括持续学习、图神经网络、生物信息学和交通预测。