WGTMM：基于Transformer特征匹配(feature matching)的Wasserstein生成对抗网络(WGAN)用于轻度认知障碍(MCI)患者功能磁共振成像(fMRI)数据生成

《Brain Sciences》：WGTMM: WGAN with Transformer Feature Matching for Generating fMRI Data in MCI Patients

　　

背景：生成对抗网络(generative adversarial network, GAN)的发展为数据增强奠定了基础，可解决各领域训练中数据缺失的问题，但模拟功能磁共振成像(functional magnetic resonance imaging, fMRI)数据尤其具有挑战性，特别是对不同程度轻度认知障碍(mild cognitive impairment, MCI)人群。有效刻画和捕捉脑功能变异机制是认知神经科学的关键问题。本研究旨在模拟并分析健康对照(healthy control, HC)、早期MCI(early MCI, EMCI)、晚期MCI(late MCI, LMCI)和阿尔茨海默病(Alzheimer's disease, AD)四个认知阶段的合成fMRI血氧水平依赖(blood-oxygen-level-dependent, BOLD)信号。方法：研究人员提出WGTMM，一种将适用于fMRI的Vision Transformer(VTFF, Vision Transformer for fMRI)集成至生成对抗网络架构中的创新方法。关键地，WGTMM直接从粉红噪声(pink noise)生成fMRI时间序列数据而非在潜空间(latent space)建模，从而保留丰富的时间动态特性。该框架引入带特征匹配(feature matching)的Wasserstein GAN(WGAN)以提升生成质量并缓解模式崩溃(mode collapse)。结果：WGTMM生成的fMRI数据相比传统GAN和WGAN模型具有更低的Kullback–Leibler(KL)散度，表明与阿尔茨海默病神经影像学计划(Alzheimer's Disease Neuroimaging Initiative, ADNI)真实数据集分布更为接近。此外，应用于数据增强时，合成数据显著提升了多分类(multi-class classification)性能。结论：WGTMM不仅丰富了训练数据集，还为认知衰退的空间生物标志物提供了新的见解。通过利用VTFF分析360个脑区跨疾病阶段的class token注意力模式，研究发现关键皮质区域（包括Broca区附近的喙部第6区/rostral Area 6、初级感觉皮层/primary sensory cortex及Wernicke区附近的PFm皮层）存在随疾病阶段单调变化的权重变异，为疾病进展提供了细粒度探索依据。

论文解读：WGTMM——基于Transformer特征匹配的WGAN用于MCI患者fMRI数据生成（《Brain Sciences》）

一、研究背景与意义

静息态功能磁共振成像(resting-state functional magnetic resonance imaging, rs-fMRI)的血氧水平依赖(blood-oxygen-level-dependent, BOLD)信号含有丰富的时间变化信息，结合人工智能可用于阿尔茨海默病(Alzheimer's disease, AD)及轻度认知障碍(mild cognitive impairment, MCI)的早期识别。然而fMRI数据尤其是多类别认知阶段（HC、早期MCI/EMCI、晚期MCI/LMCI、AD）的样本量普遍不足，且公开数据集规模远小于自然语言或计算机视觉领域，限制了Transformer架构在认知神经科学中的应用。传统GAN在生成fMRI时序数据时易出现训练不稳定和模式崩溃(mode collapse)，导致生成样本多样性不足。为此，研究人员开展本研究，提出WGTMM（WGAN with Transformer Feature Matching for Generating fMRI Data in MCI Patients），将Vision Transformer适配fMRI数据（VTFF, Vision Transformer for fMRI）作为生成器和判别器(critic)的核心，结合Wasserstein距离与Transformer中间层特征匹配(feature matching)约束，直接从粉红噪声(pink noise)生成四类别fMRI BOLD时间序列，并通过KL散度(Kullback–Leibler divergence)评估和下游多分类验证其有效性，进一步借助VTFF的class token注意力图谱探索疾病相关皮质改变。

二、主要关键技术方法

研究人员选用ADNI（Alzheimer's Disease Neuroimaging Initiative）数据库中HC、EMCI、LMCI、AD四组rs-fMRI数据，经切片时序校正、头动校正、伪影检测、配准及标准化后，采用华盛顿大学HCP多模态分区(Human Connectome Project Multi-Modal Parcellation, HCP MMP)将大脑皮层划分为360个脑区（每半球180区），提取各脑区100个时间点BOLD时间序列，输入形状为(batch=32, time=100, region=360)。生成器输入为模拟静息态fMRI特性的粉红噪声(pink noise，功率谱密度∝1/f)，通过傅里叶逆变换生成(32,100,360)张量。WGTMM的生成器与critic均基于VTFF构建——VTFF将fMRI时间维度展平并按脑区组织，输入添加class token后经12层Transformer Block（多头注意力头数12，嵌入维度对应脑区数360）处理；critic在Transformer Block输出后取class token经线性层映射为真实性评分，并以最后一层Transformer Block输出作特征匹配层。WGTMM损失函数为Wasserstein GAN损失加特征匹配项（式7中λ为匹配系数），通过weight clipping约束critic权重（clip值0.05–0.1）。评估指标包括基于核密度估计的逐脑区平均KL散度（衡量生成与真实分布差异及模式崩溃程度），以及混入合成数据增强后在独立测试集上的四分类准确率、混淆矩阵。

三、研究结果

3.1 生成信号可视化与KL散度比较

研究人员对比粉红噪声、真实ADNI fMRI及各模型生成fMRI的时序波形，WGTMM生成信号较粉红噪声去除过多低频成分并呈现结构化波动；计算GAN、WGAN、WGTMM生成数据与对应真实数据的平均KL散度，WGTMM在HC、EMCI、LMCI、AD四组中KL值均最低且随训练epoch稳定收敛，表明WGTMM生成数据分布与真实fMRI最接近，模式崩溃最轻，而WGAN组KL值偏高提示较严重模式崩溃。

3.2 对抗训练损失动态

研究人员对GAN（不同学习率）、WGAN（不同clip value）及WGTMM进行消融训练并记录生成器与critic损失曲线。GAN在lr=10^-4出现明显对抗振荡但整体生成质量不及WGTMM；WGAN在clip=0.05–0.1时损失趋于稳定对抗但KL偏高；WGTMM（lr=10^-4, clip=0.1）显示持续且健康的生成器-critic对抗博弈，损失曲线振荡反映双方能力同步提升，表明模型良好收敛。

3.3 交叉分布评估与数据增强分类性能

研究人员先用仅用真实数据训练的VTFF分类器直接预测WGTMM合成样本，HC识别率97.5%但病程类别较低（AD 24.4%、EMCI 59.7%、LMCI 56.6%），说明合成数据未被简单记忆。将GAN/WGAN/WGTMM生成样本分别混入ADNI训练集重新训练VTFF分类器并在独立真实测试集评估，三者均较仅用真实数据训练有所提升，其中WGTMM提升最大——四分类总体准确率较基线提高约10%，各病程类别（尤其EMCI与LMCI区分）识别改善最显著。

3.4 对抗标签扰动稳定性检验

研究人员人为将部分合成AD样本及真实AD样本标签篡改为HC再进行分类测试，VTFF（WGTMM增强训练）仍能基于fMRI内在病理生理特征正确识别，平均准确率超95%，表明模型学到真实BOLD信号特征而非标签耦合。

3.5 VTFF Class Token注意力模式与脑区映射

研究人员提取VTFF最后一层class token注意力权重在360脑区的分布，发现真实ADNI数据与WGTMM生成数据训练所得class token层间变化模式高度相似，且在rostral Area 6（Broca区附近）、primary sensory cortex及PFm（Wernicke区附近）等认知相关皮质区域，注意力权重随HC→EMCI→LMCI→AD呈单调增减变化，提示这些区域可能承载疾病进展的空间生物标记。

四、讨论与结论总结

讨论部分指出：①WGTMM的fMRI数据增强显著提升四分类认知状态识别能力，首次在fMRI层面区分EMCI与LMCI；②Transformer特征匹配有效抑制模式崩溃、降低KL散度，仅凭分类准确率不足以评估生成fMRI质量，须辅以分布差异度量；③WGTMM生成数据与真实数据在VTFF class token注意力图谱上的一致性支持了合成数据保留真实脑功能模式，并揭示数个人脑皮质区随认知衰退单调变化的权重，具潜在生物标记价值；④局限在于仅使用ADNI单数据集，需在独立队列中验证泛化性。

原文结论翻译：研究人员提出带Transformer特征匹配(feature matching)的Wasserstein生成对抗网络(WGAN with Transformer Feature Matching, WGTMM)，以VTFF作为GAN的生成器和critic核心，融合Wasserstein损失与Transformer特征匹配技术，使迭代中由粉红噪声(pink noise)生成的数据逼近真实fMRI数据特征层输出，实现四认知阶段合成fMRI BOLD时间序列的生成。KL散度与损失分析表明WGTMM模式崩溃最轻，生成数据与ADNI真实fMRI相似度最高。合成fMRI有效提升多分类认知状态模型性能，且通过VTFF class token分析发现rostral Area 6、primary sensory cortex及PFm区权重随疾病阶段单调变化，有望成为认知障碍的有效生物标记。