结合时空变换器的3D掩码自动编码器，用于4D fMRI数据的建模

《Medical Image Analysis》：3D Masked Autoencoder with Spatiotemporal Transformer for Modeling of 4D fMRI data

fMRI数据的高维时空特征提取与功能脑网络映射研究，提出MAE-ST模型，结合3D掩码自编码器和时空Transformer，有效提取4D fMRI的时空特征，构建数据驱动的脑图谱，减少对标注数据的依赖。实验表明，MAE-ST在任务激活网络和静息态网络映射上优于现有方法，并成功应用于ADHD分类，验证了其有效性。

　　功能性磁共振成像（fMRI）是神经科学中用于捕捉大脑在空间和时间维度上动态活动的重要工具。然而，fMRI数据具有高维、时空依赖性强以及噪声多等特点，这使得在表示大脑功能及其相关应用方面面临巨大挑战。为了更有效地从fMRI数据中提取时空特征并映射功能性大脑网络，本研究提出了一种新型的3D掩码自编码器架构，结合了时空Transformer（MAE-ST）。该框架利用自监督学习方法，通过部分数据掩码，实现了高效的空间特征提取，同时减少了对标注数据集的依赖，并增强了对噪声的鲁棒性。

在MAE-ST编码器中，采用了视觉Transformer（ViT）模块和时间Transformer模块分别提取fMRI的空间特征和时间特征，随后解码器通过编码器输出的潜在变量重建fMRI序列。经过训练后，这些潜在变量可被视为fMRI数据的时间特征，用于通过回归分析估计功能性大脑网络。在HCP任务fMRI数据集和ADHD-200静息状态fMRI数据集上的全面实验结果表明，所提出的MAE-ST模型在映射任务诱发网络和静息状态网络方面，相较于最新的深度学习模型和传统方法表现出更优的性能。此外，我们构建了一个基于MAE-ST模型的分类流程，并将其应用于ADHD-200数据集。MAE-ST模型在这里被用来构建数据驱动的大脑图谱，并计算功能性连接以支持分类研究。实验结果表明，该分类流程优于使用预定义图谱的几种现有方法，进一步证明了所提出MAE-ST模型的有效性和优越性。

本研究强调了将掩码自编码器与Transformer相结合在处理4D fMRI数据中全局特征提取方面的潜力，提供了一个新的功能性大脑网络建模和大脑疾病识别框架。功能性磁共振成像（fMRI）作为一种关键的神经影像技术，能够捕捉整个大脑中每个体素在时间上的血氧水平依赖（BOLD）信号变化。BOLD信号是一种四维数据，包含了三个空间维度和一个时间维度。每个体素的信号随时间变化，反映了大脑神经活动的波动，并呈现出一定的时序模式。在特定任务或心理状态下，不同的大脑区域会同时被激活，表现为这些区域具有相似的时序模式，从而形成具有特定空间结构的功能性大脑网络（FBNs）。

多年来，研究者们已经表明功能性大脑网络对于理解大脑认知和大脑疾病具有重要意义。传统的功能性大脑网络映射方法包括广义线性模型（GLM）、独立成分分析（ICA）和稀疏字典学习（SDL）。GLM是一种模型驱动的方法，主要用于任务fMRI数据的功能性网络重建。ICA和SDL则是数据驱动的方法。ICA假设信号由时间与空间上的若干独立且无关的未知成分组成，并通过负熵或最小互信息等方法求解混合矩阵，将信号分解为互不相关的成分。SDL则将输入的fMRI数据分解为时间序列字典和稀疏空间特征。尽管这些传统方法在fMRI相关研究中被广泛使用，但它们仍存在一些局限，如模型驱动的限制、线性叠加假设以及独立性假设。

过去十年间，研究者们开始探索利用深度学习技术来建模fMRI数据，并取得了许多有意义的成果。例如，H. Huang等人设计了一种深度卷积自编码器（DCAE），首次应用于fMRI时间序列数据的特征提取。Dong等人开发了一种深度信念网络（DBN），用于建模fMRI的空间域，提取了三层功能性大脑网络。Wang等人创建了一种递归神经网络（RNN），用于从任务fMRI中识别大脑状态。Li等人设计了一种基于灰度数据的新型RNN自编码器网络DSRAE，首次同时在时间和空间域上建模fMRI图像。

此外，我们团队提出了几种深度学习模型，用于通过fMRI重建功能性大脑网络和诊断大脑疾病，例如深度变分自编码器（DVAE）、深度递归变分自编码器（DRVAE）、结合神经架构搜索的深度信念网络（NAS-DBN）、时空注意力自编码器（STAAE）、递归Wasserstein生成对抗网络（RWGAN）以及变分自编码器-生成对抗网络（VAE-GAN）。尽管这些深度学习模型能够有效地从fMRI数据中重建功能性大脑网络，但仍存在至少两个需要解决的重要挑战。首先，大多数深度学习方法通过将原始的四维fMRI数据映射为一维向量，将三维大脑体积转换为二维数据，从而大幅降低计算成本，但这种转换可能导致关键的空间信息丢失。其次，现有的模型很少考虑fMRI数据在空间和时间维度上的全局特征。

近年来，越来越多的时空模型被引入到fMRI领域。Kim等人提出了一种时空注意力图模型STAGIN，用于在功能性连接体（FC）中学习动态图表示，并在HCP数据集上实现了良好的任务解码和性别分类性能。Liu等人提出了一种时空混合注意力图网络（ST-HAG），用于从fMRI数据中诊断自闭症谱系障碍（ASD）和注意力缺陷多动障碍（ADHD）。Huang等人提出了一种时空有向无环图注意力框架，用于通过功能性连接体预测认知或疾病状态，应用于ABCD和OASIS-3数据集。这些时空模型大多用于分类任务，属于监督学习方法，关注于在功能性连接体中学习动态特征或图表示，而这些图表示是基于预定义的图谱计算的，该图谱将三维大脑空间划分为多个感兴趣区域（ROI）。

此外，越来越多的方法开始直接建模原始的四维fMRI数据。Li等人提出了一种3D卷积神经网络（3D-CNN）和长短期记忆网络（LSTM）模型，用于通过四维fMRI检测阿尔茨海默病，其性能优于传统的二维/三维和连接方法。Jiang等人提出了一种时空注意力四维卷积神经网络（STA-4DCNNS），用于刻画特定功能性大脑网络（如默认模式网络、视觉网络和听觉网络）的个体化时空模式。Bengs等人提出了一种四维卷积神经网络（4DCNN），用于通过fMRI对自闭症进行分类，其性能优于三维模型。Kim等人提出了一个Swin四维fMRI Transformer模型，用于在多个fMRI数据集上预测性别、年龄和智力。与以往的工作不同，本研究聚焦于使用无监督框架从原始四维fMRI数据中映射功能性大脑网络。基于所获得的功能性大脑网络，可以生成数据驱动的大脑图谱，并应用于进一步的研究，如大脑疾病识别。

本研究提出了一种名为MAE-ST的新型深度学习模型，该模型结合了掩码自编码器和时空Transformer架构，用于四维fMRI建模。通过整合自监督学习的掩码自编码器和时空Transformer架构，MAE-ST框架能够有效捕捉大脑活动的空间和时间动态，实现功能性大脑网络的稳健映射，而无需依赖标注数据集。通过自监督学习方法，该模型能够适应性地进行空间和时间特征的解耦，并结合解剖学先验知识，提高模型对功能性网络的映射能力。实验结果表明，该模型在HCP和ADHD-200数据集上表现出色，其在任务诱发网络和静息状态网络的重建以及神经精神疾病分类方面优于现有方法。此外，该模型还能够生成个体化数据驱动的图谱，为功能性大脑网络建模和大脑疾病识别提供了一种可扩展的工具。

在数据集和预处理方面，本研究使用了两个公开可用的数据集：Human Connectome Project（HCP）任务fMRI数据集和ADHD-200静息状态fMRI数据集。HCP数据集包含高分辨率的四维fMRI数据，这些数据是从执行七种不同任务的受试者中采集的，包括情绪、赌博、语言、社交、关系、运动和工作记忆（WM）。fMRI数据是通过3T Siemens Skyra设备采集的，以确保数据的高质量和精确性。ADHD-200数据集则包含了静息状态下的fMRI数据，用于研究注意力缺陷多动障碍患者的特征与正常对照组的差异。这些数据集的选取不仅涵盖了多种任务和状态，还提供了丰富的样本量，有助于验证模型的泛化能力和鲁棒性。

在实现过程中，MAE-ST模型使用TensorFlow编程，并在配备四块NVIDIA RTX 3090 GPU的计算机上运行，每块GPU拥有24GB的显存。由于fMRI数据通常经过标准化处理，范围在-1到1之间，因此我们选择“tanh”作为激活函数，以确保模型的稳定性和准确性。在模型训练过程中，我们采用“Adam”作为优化器，初始学习率为0.01，权重衰减为0.01，以防止过拟合并提高模型的泛化能力。损失函数选择为“均方误差”（MSE），以衡量模型输出与真实数据之间的差异。在每个Transformer块中，我们对输入数据进行了部分掩码处理，以增强模型的重建能力和对高维数据和噪声的适应性。

为了评估MAE-ST模型的性能，我们首先利用了HCP数据库中的七种任务fMRI数据集，并选择了几种近期的深度学习模型进行对比实验。实验结果表明，MAE-ST模型能够成功检测任务诱发的功能性大脑网络，同时还能为每个受试者检测其个体化功能性大脑网络，这对于个性化的大脑网络分析研究至关重要。此外，为了进一步评估模型在静息状态fMRI数据上的表现，我们将其应用于ADHD-200数据集，用于建模静息状态网络（RSN）并区分ADHD患者与正常对照组。实验结果表明，MAE-ST模型能够重建包括视觉网络、默认模式网络等在内的已知RSN，其分类性能优于基于其他深度学习模型的现有方法和流程。

本研究提出的MAE-ST模型不仅在任务诱发网络和静息状态网络的重建方面表现出色，还能够生成个体化数据驱动的大脑图谱，为功能性大脑网络建模和大脑疾病识别提供了一种新的方法。与传统的监督学习方法相比，MAE-ST模型减少了对标注数据的依赖，增强了对噪声的鲁棒性，为研究者提供了一种更灵活和高效的工具。该模型的提出，标志着在处理高维、时空依赖性强的fMRI数据方面取得的重要进展，为未来的神经科学和临床研究提供了新的思路和方法。

通过使用MAE-ST模型，我们能够更准确地捕捉大脑活动的空间和时间动态，为功能性大脑网络的映射提供更可靠的基础。这种基于自监督学习的框架不仅能够处理复杂的fMRI数据结构，还能在不依赖外部标注的情况下，实现功能性网络的自动识别。此外，该模型在生成数据驱动的大脑图谱方面也表现出色，为研究者提供了更加灵活和个性化的分析工具。这些图谱能够用于进一步的研究，如大脑疾病识别、个体化治疗方案制定等，为临床应用提供了重要的支持。

本研究的成果表明，将掩码自编码器与时空Transformer相结合，能够有效应对高维、复杂且噪声多的fMRI数据建模挑战。这种结合不仅提高了模型的准确性，还增强了其在不同任务和状态下的适应性。通过自监督学习方法，模型能够在没有标注数据的情况下，自动学习并提取功能性网络的关键特征。这为未来的神经科学研究提供了新的方向，同时也为临床实践中的大脑疾病识别和治疗提供了更可靠的工具。

在实验结果的分析中，我们发现MAE-ST模型在多个任务和状态下的表现均优于现有方法。特别是在ADHD-200数据集上的分类任务中，该模型基于数据驱动的大脑图谱进行功能性连接计算，其分类性能显著优于使用预定义图谱的其他深度学习模型。这表明，MAE-ST模型不仅能够准确地识别功能性网络，还能在实际应用中提供更可靠和有效的结果。此外，该模型在处理不同样本量和不同任务类型时表现出良好的泛化能力，为未来的多任务和多模态研究提供了重要的支持。

综上所述，本研究提出的MAE-ST模型在功能性大脑网络建模和大脑疾病识别方面具有重要的应用价值。该模型通过结合自监督学习和时空Transformer架构，实现了对高维、复杂且噪声多的fMRI数据的高效处理。在实验验证中，该模型在多个数据集上的表现均优于现有方法，为神经科学研究和临床实践提供了新的工具和方法。未来的研究可以进一步探索该模型在更多疾病类型和任务类型中的应用，以及其在不同数据集和不同实验条件下的性能表现。此外，还可以结合其他深度学习方法，如生成对抗网络（GAN）和强化学习（RL），以进一步提高模型的性能和适用性。这些研究将有助于推动功能性大脑网络建模和大脑疾病识别的发展，为神经科学和医学领域带来新的突破。