《Neuroinformatics》：NeuroFusion: A Unified Framework for Generalized Visual Stimulus Decoding from fMRI Across Datasets and Subjects
编辑推荐：
近年来，神经解码（neural decoding）在从脑活动重建视觉体验方面取得了显著进展。然而，现有方法主要集中于在单一数据集或单一被试内进行解码，这限制了其在不同神经影像来源之间的泛化能力。在本工作中，研究人员提出了一种新颖的框架，用于实现被试间和数据集间
近年来，神经解码（neural decoding）在从脑活动重建视觉体验方面取得了显著进展。然而，现有方法主要集中于在单一数据集或单一被试内进行解码，这限制了其在不同神经影像来源之间的泛化能力。在本工作中，研究人员提出了一种新颖的框架，用于实现被试间和数据集间的视觉刺激解码，整合了多个公开可用的fMRI（功能性磁共振成像）数据集中的神经记录。为了解决固有的被试间和数据集间变异性，研究人员引入了一种基于对比学习的对齐策略，利用预训练的IP-Adapter模型（一种轻量级图像嵌入注入机制）中的图像嵌入。该方法通过将被试特异的神经表征与图像特征对齐，学习一个共享的潜在空间，从而实现了跨被试和跨数据集的广义解码。此外，研究人员提出了一种简单而有效的数据增强方法，即使用岭回归（ridge regression）。该方法通过预测体素活动并注入学习到的噪声分布，从新图像合成逼真的类fMRI信号，从而增强了训练多样性和模型鲁棒性。据研究人员所知，尽管近期有几项研究探索了跨被试解码，但研究人员通过联合训练一个统一的框架，同时跨越多个公开fMRI数据集和被试，除了跨被试泛化外，还实现了跨数据集迁移，从而扩展了这些工作。研究人员将这种多数据集统一训练设置（每个数据集贡献训练数据）与更严格的留一数据集迁移设置（目标数据集被排除在源预训练之外，仅用于轻量级对齐层适配）区分开来。实验表明，该统一模型在多个数据集上实现了强大的语义重建（例如，在NSD（AUG）上达到94.8%的CLIP相似度，在BOLD5000上经过轻量级微调后达到0.403的SSIM），展示了稳健的跨被试和跨数据集迁移能力。
**论文解读：NeuroFusion——面向跨数据集与跨被试的fMRI广义视觉刺激解码框架**
**研究背景与问题**
人类视觉感知是认知神经科学的核心研究领域之一。功能性磁共振成像（fMRI）因其高空间分辨率和非侵入性，被广泛用于探索大脑如何编码视觉信息。近年来，基于深度学习的神经解码技术，特别是生成对抗网络（GAN）和扩散模型（diffusion model）的应用，已能够从fMRI信号中重建出具有较高语义保真度的图像。然而，现有研究主要存在两个局限性：第一，大多数模型是“被试特异的”，即针对单个被试训练和测试，每次新被试都需要重新训练或适配；第二，即使有少数研究尝试跨被试解码，它们也仅限于单个数据集，假设一致的采集参数、刺激范式和预处理流程。这种依赖单一数据集的做法限制了模型在实际应用中的泛化能力，因为不同数据集之间在扫描仪场强、分辨率、刺激分布和实验协议上存在显著差异。因此，构建一个能够同时跨被试和跨数据集泛化的统一解码框架，对于推动神经解码走向实用化、规模化至关重要。本研究正是为了解决这一关键问题而开展，旨在开发一个统一的模型，使其能够在多个不同来源的fMRI数据集上有效工作，实现真正的跨域迁移。
**研究内容与结论**
研究人员提出了一个名为NeuroFusion的框架，用于从fMRI信号中解码视觉刺激。该框架的核心创新在于：通过对比学习（contrastive learning）将不同被试、不同数据集的fMRI信号对齐到一个由预训练IP-Adapter（一种轻量级图像嵌入注入机制）定义的共享视觉语义空间；同时，利用岭回归（ridge regression）生成合成fMRI数据以增强训练。研究在三个公开的fMRI数据集——自然场景数据集（NSD）、BOLD5000和通用对象解码（GOD）上进行了广泛评估。实验结果表明，NeuroFusion不仅在被试内和跨被试设置中表现优异，更在跨数据集迁移中取得了关键突破。例如，在NSD数据集上，模型在未经微调的情况下实现了94.8%的CLIP相似度；在BOLD5000上，经过轻量级对齐层微调后，结构相似性指数（SSIM）达到0.403，与文献中最高水平持平。此外，在留一数据集（LODO）转移实验中，模型仅通过微调目标数据集的轻量级对齐层，即可适应先前未见的测试集，进一步验证了其泛化能力。该研究证明了共享视觉语义表征可以在不同被试和不同采集条件下被有效学习，为构建通用的神经基础模型奠定了基础。论文发表在《Neuroinformatics》上。
**主要技术方法**
研究人员为开展研究使用了以下关键的技术方法：（1）**对比学习对齐策略**：利用预训练IP-Adapter模型的图像嵌入（OpenCLIP ViT-bigG-14编码器，输出1280维全局图像嵌入）作为目标空间，通过对称交叉熵损失函数将fMRI信号映射到该共享潜在空间，实现跨被试和跨数据集的神经表征对齐。（2）**岭回归（ridge regression）数据增强**：针对每个被试训练一个岭回归编码模型，将IP-Adapter图像嵌入映射到fMRI体素空间，从而从新图像（来自ImageNet）合成类fMRI信号；同时，通过拟合残差的经验分布（非参数化分段线性连续分布）注入噪声，模拟被试间和试次间变异性，增强训练数据多样性。（3）**视觉重建管线**：将神经编码器输出的预测嵌入经岭回归细化后，输入IP-Adapter（条件注入）与稳定扩散XL（SDXL，一种高容量潜扩散模型）结合，生成重构图像。样本队列来源包括三个公开fMRI数据集：NSD（7T扫描仪，4名被试，约1.5万体素/被试）、BOLD5000（3T扫描仪，4名被试，约2500体素/被试）和GOD（3T扫描仪，5名被试，约4500体素/被试），总计约13名被试、42584个独特视觉刺激。
**研究结果**
**定量结果**：研究在NSD、BOLD5000和GOD三个数据集上定义了五种实验协议：被试内跨被试、多数据集统一（无微调）、多数据集统一（对齐层微调）、留一数据集（LODO）转移和低数据迁移学习。评估指标包括像素级（PixCorr）、结构相似度（SSIM）、感知特征（AlexNet、Inception）、语义对齐（CLIP）以及检索精度（Top-1准确率）。主要发现如下：
- **NSD数据集**：在跨被试设置中，经数据增强的模型（NSD（AUG））在CLIP相似度（94.8%）和Inception相似度（94.1%）上超越了现有基线（如MindEye、Brain-Diffuser等），尽管PixCorr较低，但这是语义优先设计的合理结果。多数据集统一模型（Unified-NSD）也取得了竞争力强的性能。
- **BOLD5000数据集**：多数据集统一模型（Unified-BOLD5000）在AlexNet(2)（68.5%）和Inception（69.9%）相似度上优于先前跨被试基线（如Mind-Vis、WAVE），Top-1检索准确率达19.6%。经过对齐层微调（Unified-finetuned-BOLD5000）后，SSIM提升至0.403，匹配文献最高水平。
- **GOD数据集**：多数据集统一模型（Unified-GOD）在未微调时即达到81.0%的CLIP相似度和68.3%的Inception相似度，微调后进一步巩固了性能。
- **LODO转移实验**：当目标数据集被排除在源预训练之外时，仅通过对齐层微调，性能仍保持在合理范围内，证明了共享编码器的可迁移性。
- **组件消融实验**：岭回归细化显著提升了CLIP相似度和Top-1检索；数据增强在多个指标上带来一致改进，特别是在低数据场景下。
**定性结果**：图2、4、5展示了来自不同数据集的重构图像示例，表明模型能够捕捉高层语义内容（如对象类别、场景结构），但像素级细节可能因扩散先验而有所改变。
**数据增强分析**：图3的雷达图显示，在25%-100%的增强比例和10-100的噪声尺度范围内，CLIP分数、Top-1和Top-5检索均有所提升，其中75%增强比例和噪声尺度50-75的组合效果较好。
**低数据迁移学习**：图6比较了从零训练与基于预训练模型微调对齐层的策略，结果表明，即使在仅使用25%训练数据的情况下，微调对齐层也能达到甚至超过从零训练的完整模型，突显了预训练共享表征在数据稀缺场景下的实用性。
**讨论与结论**
**讨论**：研究证实了跨被试和跨数据集脑解码的可行性，并指出在部分指标上达到了当前最优（SOTA）水平。关键见解包括：多数据集统一模型在高层语义指标上表现强劲，但这是以牺牲低层结构保真度为代价的——这是由IP-Adapter嵌入的语义优先特性决定的。因此，研究人员建议将CLIP得分视为语义对齐证据，并与非CLIP指标（如PixCorr、SSIM、AlexNet等）结合解读。此外，轻量级对齐层微调在低数据场景下极为有效，而数据增强策略（基于岭回归与残差噪声建模）进一步提升了模型鲁棒性。然而，研究也指出了局限性：被试数量仅13人，远小于典型视觉语言数据集；数据增强方法受限于线性岭回归假设；模型优先考虑语义对齐而忽略结构细节；评估指标可能偏向与训练目标同源的语义嵌入家族。未来方向包括使用更表达性的生成模型、引入结构先验以及开展伦理考量。
**研究结论**：研究结果表明，跨被试和跨数据集的脑解码不仅是可行的，而且可以在现实且具有挑战性的条件下达到具有竞争力甚至当前最优的性能。与通常为每个被试或数据集单独训练模型的传统方法不同，该模型通过统一架构在多个数据集（NSD、BOLD5000、GOD）和队列间实现了泛化，从而获得了更广泛的适用性和现实世界的可扩展性。该框架在迄今为止最大的脑视觉建模组合数据集上训练，涵盖约42584个独特视觉刺激、13名被试和约72.5小时的fMRI采集时间，为未来的视觉神经基础模型奠定了基础。
