《Human Brain Mapping》：Group Joint ICA (gjICA): A Method for Multimodal Fusion of Concurrent EEG and fMRI Data
编辑推荐：
脑电图（EEG）和功能磁共振成像（fMRI）的整合为探索大脑时空动态提供了一种强有力的方法。然而，现有方法通常对EEG和fMRI进行摘要化处理，常常在联合模态之前移除时间信息。研究人员提出了一种新颖的方法，将fMRI的组独立成分分析（group ICA）、EE
脑电图（EEG）和功能磁共振成像（fMRI）的整合为探索大脑时空动态提供了一种强有力的方法。然而，现有方法通常对EEG和fMRI进行摘要化处理，常常在联合模态之前移除时间信息。研究人员提出了一种新颖的方法，将fMRI的组独立成分分析（group ICA）、EEG的组独立成分分析以及联合独立成分分析（joint ICA）相结合，提出了一种名为组联合ICA（gjICA）的多模态数据融合方法，用于连接来自多个被试的同步EEG-fMRI数据。该框架实现了组水平映射，并通过反向重建提供单个被试估计，从而促进脑网络的全面描述。gjICA还引入了联合功能网络连接（jFNC），它提供了fMRI网络之间以及EEG成分之间的连接，从而连接时间和空间信息。当应用于来自121名参与者的同步静息态EEG-fMRI数据时，研究人员识别出63个多模态脑成分。对这些成分的统计分析进一步揭示，抑郁症以广泛的多模态连接为特征，其中视觉和高级认知网络在这些改变中充当枢纽。此外，联合直方图分析显示，抑郁症与EEG成分表达降低以及小脑、视觉、皮层下和感觉运动网络中fMRI成分表达升高广泛相关，提示神经血管耦合改变和模态特异性功能障碍。总的来说，所提出的gjICA方法提供了一个稳健的框架用于融合EEG和fMRI数据，同时保留两种模态的时空信息，从而能够识别更全面的多模态神经关系图景，增强对脑动力学的理解，并为抑郁症等复杂脑疾病提供新见解。
**论文解读：Group Joint ICA (gjICA)：一种用于同步EEG与fMRI数据多模态融合的方法**
**研究背景与动机**
大脑的复杂性催生了多种互补成像模态，如功能磁共振成像（fMRI）和脑电图（EEG）。fMRI通过血氧水平依赖（BOLD）信号间接捕捉神经活动，具有较高空间分辨率（1-3 mm）但时间分辨率较低；EEG直接记录神经元电活动，时间分辨率达到毫秒级，但空间分辨率有限。整合这两种模态可以同时获得大脑活动的位置和时间信息，从而更全面地理解脑功能。然而，现有的多模态融合方法（如独立成分分析（ICA）、典型相关分析（CCA）及混合方法）通常对EEG和fMRI进行摘要化处理，在联合前移除时间信息，或者仅针对每个被试提取单一特征，无法同时保留多被试时间序列中的空间和时域信息。此外，既往研究多聚焦于单个模态的分析，难以揭示跨模态的相互作用及其在脑疾病（如抑郁症）中的改变。因此，研究人员提出了一种名为组联合ICA（gjICA）的新框架，旨在同时保留EEG和fMRI的完整时空信息，实现组水平的多模态融合，并应用于抑郁症研究，以揭示常规单模态分析无法检测的跨模态异常。
**研究内容与主要结论**
研究人员基于Tulsa 1000研究数据集（包括66名重度抑郁症患者和55名健康对照，共121名被试），开发并验证了gjICA方法。该方法通过预处理、EEG时频特征提取、模态合并与主成分分析（PCA）、组水平PCA、联合ICA分解及反向重建等步骤，估计出75个联合独立成分，其中63个被识别为脑相关成分。研究发现：gjICA能有效提取多模态成分，并生成联合功能网络连接（jFNC）和联合直方图；抑郁症患者表现出广泛的多模态连接变化，视觉和高级认知网络是这些改变的核心枢纽；联合直方图显示抑郁症在小脑、视觉、皮层下和感觉运动网络中EEG成分表达降低而fMRI成分表达升高，提示神经血管耦合异常。对比单模态分析（fMRI-only组ICA和EEG-only组ICA），gjICA检测到更平衡的双向组差异（对照组>抑郁症和抑郁症>对照组），且55.03%的显著jFNC连接涉及低空间相关性的多模态成分，表明多模态融合提供了单模态无法捕获的独特信息。该论文发表于《Human Brain Mapping》。
**关键技术方法概述（不超过250字）**
本研究采用的数据来自Tulsa 1000研究的同步EEG/fMRI子集（Laureate Institute for Brain Research采集，经伦理委员会批准）。关键技术包括：（1）EEG预处理：利用EEGLAB和FMRIB工具箱去除梯度伪影、心电伪影，降采样至1 kHz，带通滤波0.1-30 Hz后通过ICA去除残余伪影。（2）fMRI预处理：使用SPM12进行去尖峰、运动校正、空间标准化（MNI空间）及自适应平滑（FWHM=10 mm）。（3）特征提取：对EEG采用滑动窗口短时傅里叶变换（STFT，窗口60 s，步长2 s）生成时频谱矩阵，并与fMRI体素强度沿特征维度拼接形成多模态矩阵。（4）降维与联合ICA：被试水平PCA保留100个主成分，组水平PCA保留75个主成分，随后采用infomax ICA分解联合数据矩阵。（5）反向重建：通过双回归获得被试特异性成分图和时间程。（6）可视化与分析工具：利用Brainstorm进行EEG源重建（MNE方法，分四个频段），计算jFNC（时间程互相关）及联合直方图，并进行组间双样本t检验（FDR校正）。
**研究结果**
**3.1 联合定义的fMRI和EEG成分**
通过将63个脑成分与Neuromark 2.2模板比较，划分为小脑（2个）、视觉（10个，含枕颞和枕下亚域）、旁边缘（6个）、皮层下（5个，含海马延伸和丘脑延伸）、感觉运动（8个）、高级认知（17个，含岛叶颞叶、颞顶和额叶亚域）及三重网络（15个，含中央执行、默认模式和突显亚域）。以成分10（视觉域）和成分57（三重网络域）为例，展示了fMRI空间图、EEG源空间图（delta、theta、alpha、beta四个频段）及电极-频率图。结果发现，同一联合成分中fMRI网络与EEG活动存在频段依赖性空间差异，例如成分10的EEG源表达延伸至额叶区域，电极-频率图显示枕区15-18 Hz功率增强。
**3.2 可重复性与稳定性分析**
采用ICASSO（20次随机初始化）评估稳定性：75个成分中73%的聚类质量指数（Iq）在0.95-1.00之间，85%超过0.90，93%超过0.85。分裂半可重复性分析（将数据集随机分为两半独立运行gjICA后通过匈牙利匹配）显示，匹配成分的平均绝对空间相关系数|r|=0.478，85.3%的成分|r|>0.40，48%>0.50，表明大部分成分在独立子集间可重复。
**3.3 联合功能网络连接（jFNC）**
平均jFNC矩阵呈现高度模块化结构，感觉运动、高级认知、三重网络及部分视觉网络内强正连接，网络间存在高级认知-视觉、三重网络-视觉、三重网络-高级认知连接。EEG侧显示额叶和中央-顶叶电极间强正连接，以及顶叶和额叶电极间的强连接。
**3.4 组间差异：抑郁症 vs. 对照**
**3.4.1 联合直方图**
联合直方图差异显示对照组与抑郁症患者在EEG-fMRI强度共现上存在系统性分离。小脑、视觉、感觉运动和皮层下网络分离明显且局部化，表现为抑郁症EEG表达降低、fMRI表达升高的模式，提示神经血管耦合改变。高级认知和三重网络呈对称重叠分布，表明多模态耦合相对保留。
**3.4.2 连接图**
连接图（|T|>2.5）显示组间差异双向且广泛分布于各网络：对照组在三级网络-高级认知、三级网络-感觉运动、三级网络-皮层下、三级网络-视觉、皮层下-高级认知、旁边缘-高级认知、高级认知-视觉、视觉-皮层下连接中更强；抑郁症在旁边缘-视觉、视觉-感觉运动、旁边缘-三重网络及视觉、高级认知和三重网络内部连接中更强。小脑域未见显著连接。视觉和高级认知网络是改变的核心枢纽。
**3.5 与单模态ICA分析的比较**
fMRI-only组ICA结果以正t值为主（抑郁症连接减弱），而gjICA jFNC呈现正负t值平衡分布，且跨网络交互更广。31个gjICA成分与fMRI-only成分空间相关性低（|corr|<0.4），55.03%的显著jFNC连接涉及这些多模态成分。EEG-only分析经FDR校正后未发现显著组差异。
**总结讨论与结论**
讨论部分指出，gjICA框架的核心优势在于保留EEG完整时频谱结构，使联合成分可呈现电极-频率图和源空间信息，并允许在标准频段内检查频率依赖性耦合。组间分析结果（连接图和联合直方图）一致表明抑郁症伴随EEG-fMRI协调的广泛破坏，而非单一模态异常。连接图显示视觉、高级认知、感觉运动和三级网络是双向变化的关键枢纽，与既往fMRI和同步EEG-fMRI研究一致；联合直方图提示小脑、视觉、感觉运动和皮层下网络的神经血管耦合异常。与单模态比较凸显融合方法的额外价值。局限性包括模型阶数选择、滑动窗口长度（60 s可能限制快动态）、空间平滑（10 mm FWHM可能影响空间特异性）以及需在更大样本中验证。结论部分翻译如下：总之，研究人员引入了gjICA，一种旨在提取被试特定和组水平信息并整合EEG和fMRI以利用其各自时间和空间分辨率的方法。利用同步采集的EEG/fMRI数据集评估了组jICA的性能。研究人员分析表明，gjICA有效捕获了联合功能网络连接（jFNC）和载荷参数，揭示了对照组与抑郁症个体之间的显著差异。当应用于同步EEG/fMRI数据时，该方法揭示了若干显著发现，例如强关联多模态成分和领域特异性头皮频率特征。总体而言，gjICA可作为融合EEG和fMRI数据的强大工具，产生丰富的多模态输出，为大脑时空动态提供额外见解。除了增进对抑郁症神经机制的理解外，该方法有望在其他神经疾病中更广泛应用，成为未来多模态神经影像研究的有价值方法。
