《Frontiers in Neuroinformatics》：Transformers for fMRI analysis: from spatiotemporal modeling to brain foundation models
编辑推荐：
功能磁共振成像（fMRI）作为探究人脑功能组织与动态连接的关键工具，通过血氧水平依赖（BOLD）信号间接反映神经活动。然而，fMRI数据的高维时空结构、显著噪声干扰及个体间变异性，给传统建模方法刻画复杂脑功能模式带来了严峻挑战。近年来，Transformer架
功能磁共振成像（fMRI）作为探究人脑功能组织与动态连接的关键工具，通过血氧水平依赖（BOLD）信号间接反映神经活动。然而，fMRI数据的高维时空结构、显著噪声干扰及个体间变异性，给传统建模方法刻画复杂脑功能模式带来了严峻挑战。近年来，Transformer架构凭借其自注意力（self-attention）机制在全局依赖建模方面的优势，在fMRI数据分析领域获得了广泛关注，并在脑疾病分类、功能连接建模及脑表征学习等任务中展现出优越性能。相较于卷积神经网络（CNN）和循环神经网络（RNN），Transformer能够更有效地捕获长程时空依赖，并具备更强的结构可扩展性与跨任务迁移潜力。为系统梳理该领域的发展脉络，本文基于建模维度提出了一种统一的Transformer-fMRI方法分类体系，将现有研究划分为四大范式：时间建模、空间建模、时空联合建模及自监督学习，并对各范式的结构特征与适用场景进行了比较分析。此外，本文总结了计算复杂度、数据依赖性与可解释性等方面的关键挑战，探讨了神经科学先验与大规模预训练模型融合的途径。最后，本文展望了Transformer在脑基础模型构建及其临床应用中的未来发展方向。
论文主体内容总结
1 引言
1.1 fMRI数据分析的研究背景
功能磁共振成像（fMRI）是一种非侵入性脑成像技术，通过血氧水平依赖（BOLD）信号间接反映神经活动，被广泛用于研究人脑复杂认知功能及其动态组织模式。然而，fMRI数据的高维且动态耦合的时空结构，对传统方法表征复杂脑功能模式构成了根本性挑战。作为包含三个空间维度和一个时间维度的代表性四维数据集，fMRI既捕获受解剖结构约束的空间功能网络组织，又刻画随时间演变的脑区动态交互。传统方法往往仅聚焦单一维度：广义线性模型（GLM）和静态功能连接（sFC）通常假设线性响应或将时间数据聚合，忽视动态特征。深度学习虽增强了非线性建模能力，但CNN的局部感受野难以建模脑网络中的长程全局交互，图神经网络（GNN）受限于预定义图结构和过平滑问题，RNN在长序列建模上存在困难，且多数方法采用分离的空间与时间建模，忽视了二者的内在耦合。此外，“小样本、高维度”的数据特性及跨中心域偏移进一步制约了模型泛化能力。
1.2 Transformer在fMRI中的应用与优势
Transformer架构最初由Vaswani等人（2017）在自然语言处理领域提出，利用自注意力机制建模序列中的全局依赖。Vision Transformer（ViT）的成功进一步验证了其在高维空间数据建模中的通用性。在fMRI领域，研究者已开始将Transformer引入时间序列和脑网络建模，如BolT模型采用窗口注意力机制建模BOLD时间序列，STAGIN架构将时空自注意力引入动态功能连接学习。Transformer在fMRI应用中的优势主要体现在三方面：第一，自注意力机制可跨全脑建模长程依赖，适合建模远距离脑区间的功能协调，并能隐式学习动态功能连接结构；第二，Transformer可联合建模空间、时间和个体层面信息，克服传统方法对各维度的碎片化处理；第三，Transformer与自监督学习高度兼容，可在标注数据稀缺时学习通用脑表征，大规模预训练模型（如BrainGFM）已在多种脑疾病任务中展现出强泛化能力。然而，Transformer并非在所有fMRI场景中均最优，其自注意力机制的O(N2)计算复杂度导致较高计算开销，且缺乏显式归纳偏置，在小样本场景下可能存在过拟合风险。
1.3 研究范围与贡献
近年来，Transformer已在fMRI脑疾病分类、脑功能表征学习和跨被试泛化等任务中广泛应用。然而，现有研究多聚焦于下游任务性能提升，缺乏对fMRI深层时空结构和个体差异表征的统一分析视角。本文从“建模维度”视角对现有研究进行结构化综述，重点考察不同设计如何应对fMRI固有的高维性、时空耦合性和动态复杂性。本文核心贡献包括：第一，基于时间、空间和时空联合建模对建模框架进行分类比较，分析其在计算成本和信息保留方面的差异；第二，综述掩码建模和对比学习等自监督范式及其在构建脑功能基础模型中的关键作用；第三，总结这些模型在计算成本和可解释性方面面临的挑战，并指出融合神经科学先验知识的未来方向。
2 fMRI数据预处理与数据表征
2.1 fMRI数据特征与建模挑战
fMRI数据通常表示为包含三个空间维度和一个时间维度的四维张量，每个体素对应一条时变BOLD信号序列。从建模角度看，原始数据面临多重挑战：高维度与低信噪比（单次扫描包含数万至数十万体素，神经信号占比低，易受头动、生理噪声和扫描仪漂移影响）；时间序列信号存在复杂依赖（既有短期局部相关，又有跨尺度的长期动态演化模式）；被试间脑功能个体差异及多中心扫描协议异质性导致显著分布偏移，限制模型跨域泛化性能。因此，在进行下游任务前，数据须通过标准化预处理和适当的表征方法进行结构重建与信息压缩。
2.2 标准化预处理与信号去噪
为降低原始fMRI数据中的噪声和扫描相关变异，标准化预处理流程已成为神经影像分析的基本共识。现代研究通常将该过程分为两个互补模块：结构图像（T1加权）预处理和功能图像（BOLD）预处理。结构图像预处理阶段的主要目标是构建高质量的解剖参考空间，包括去颅骨、组织分割和非线性空间标准化至标准脑模板（如MNI空间），为后续跨被试分析提供统一空间参考框架。功能图像预处理主要关注时间一致性和运动伪影校正，典型流程包括层间时间校正、运动校正和功能-结构配准，空间标准化将功能图像映射至统一标准空间以增强个体间可比性。信号去噪阶段通常采用回归白质和脑脊液（CSF）信号、带通滤波和空间平滑等方法降低非神经源噪声干扰，但需在信号清理与信息保留之间权衡。基于标准化流程（如fMRIPrep）及其扩展版本的研究表明，统一预处理策略有助于提升模型跨数据集的稳定性和泛化能力。
2.3 fMRI数据的Token化策略
预处理后的fMRI数据须转换为结构化序列表征以满足Transformer的输入要求。根据空间粒度，主流方法可分为三类：体素级、感兴趣区（ROI）级和功能连接（FC）级。体素级表征直接使用体素信号或三维空间局部块作为输入单元，最大程度保留局部细节并避免预定义图谱引入的结构偏差，但其高维度导致显著计算和内存开销，近期研究采用基于块（patch）的嵌入或无图谱策略以减少token数量。ROI表征是当前基于Transformer的脑建模中最广泛使用的范式，基于AAL、Schaefer和Glasser等经典脑图谱，将体素信号聚合为多个ROI的时间序列，每个ROI对应一个token，大幅缩短序列长度并增强全脑功能依赖建模能力。FC表征通过计算ROI时间序列间的统计依赖（如皮尔逊相关）生成反映脑区交互的连接矩阵，侧重网络拓扑而非原始时间序列。三种方法本质上涉及将连续时空信号映射为离散token序列，选择直接影响Transformer建模脑功能表征的能力和效率。
3 fMRI的Transformer建模范式
3.1 时间Transformer建模
时间Transformer建模方法主要将fMRI数据视为多元时间序列信号，忽略或弱化显式空间结构，聚焦脑信号随时间的动态变化。在ROI时间token构建中，研究者通常使用预定义脑图谱将四维fMRI数据转换为ROI级时间序列矩阵，将单个时间点的全脑ROI激活向量作为单个token，按时间顺序输入Transformer编码器以学习时间维度的依赖。这种设计使每个token与一个真实fMRI时间样本（TR）对应，使模型能够直接捕获BOLD信号的时间演化。在长程注意力优势方面，多
