跨模态神经表征对齐：基于EEG/MEG/fMRI融合的视觉语义解码与编码模型研究

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Towards neural foundation models for vision: Aligning EEG, MEG, and fMRI representations for decoding, encoding, and modality conversion

【编辑推荐】本研究开创性地利用对比学习（contrastive learning）构建跨模态（EEG/MEG/fMRI）神经基础模型，通过CLIP图像编码器锚定视觉语义空间，首次实现神经信号解码（decoding）、刺激编码（encoding）和模态转换（modality conversion）的三重任务，为揭示跨模态不变的神经编码机制提供新范式。

　　

亮点

本研究首次提出跨EEG/MEG/fMRI的神经基础模型框架，通过对比学习将多模态神经数据映射到CLIP锚定的共享语义空间，突破单一模态局限，实现：

1）解码：EEG模块top5准确率达54.3%（基线12.5%），CLIP双路准确率79.4%；

2）编码：预测不同模态神经活动模式；

3）模态转换：实现EEG→fMRI等跨系统语义迁移。

讨论

该模型标志着神经科学领域向"基础模型"范式迈出关键一步，其非生成式架构虽存在局限，但首次证明：

• 跨被试/数据集的EEG/MEG/fMRI信号可共享视觉语义表征

• CLIP锚定空间能有效捕捉模态不变神经编码

• 为零样本跨模态检索提供新工具

结论

本研究构建的神经表征对齐框架为理解大脑视觉处理机制开辟新途径，未来可通过生成式模型增强其解释性，推动神经解码与脑机接口发展。