对比学习用于微调视觉皮层的特征提取模型

《PLOS Computational Biology》：Contrastive learning to fine-tune feature extraction models for the visual cortex

　　

摘要翻译：预测视觉皮层对自然图像的神经反应，需要从图像中提取相关特征并将这些特征与观察到的反应相关联。在本研究中，研究人员优化特征提取过程，以最大化图像特征与给定感兴趣区（ROI）内各体素神经反应之间的共享信息，该ROI来自功能磁共振成像（fMRI）测量的BOLD信号。研究人员采用对比学习（CL）对预训练用于图像分类的卷积神经网络进行微调，使得给定图像特征的映射与对应的fMRI反应更相似，而不是与其他图像的响应相似。研究人员利用为Algonauts项目组织的自然场景数据集（Natural Scenes Dataset），该数据集包含八名受试者对数万张自然图像的高分辨率fMRI反应。研究表明，与预训练网络的特征相比，CL微调生成的特征提取模型能够在早期和高级视觉ROI中实现更高的编码精度。定量上，其性能与直接在网络输出端使用回归损失来调整fMRI反应编码的基线方法相似。研究人员还研究了CL微调模型的跨受试者迁移性，包括来自另一个较低分辨率数据集——自然物体数据集（Natural Object Dataset）的9名受试者。研究人员还将受试者数据进行合并微调，这进一步提高了早期ROI的编码性能。最后，研究人员检查了微调模型在常见图像分类任务上的表现，通过对基于这些任务预测创建的Bhattacharyya相异矩阵进行降维来探索ROI特定模型的景观，并表明这些景观与基于表征相似性分析的景观相匹配。最后，研究人员通过将CL微调模型对不同ROI的嵌入对齐创建向量空间提示，使用Stable Diffusion生成图像；结果表明，生成的图像与原始图像具有相似的嵌入，但生成表征的固有维度估计值低于原始表征。

论文解读：对比学习微调视觉皮层特征提取模型的研究

一、研究背景与问题
视觉神经科学中，建立刺激图像与大脑皮层神经反应之间的计算模型是理解视觉加工机制的核心目标之一。传统编码模型通常采用两阶段策略：先通过固定的非线性变换提取图像特征，再为每个体素训练线性模型预测fMRI反应。然而，预先确定的特征映射（如Gabor小波、语义标签或预训练卷积神经网络（CNN）的激活）并未针对具体脑区进行优化，难以充分捕捉不同视觉感兴趣区（ROI）所编码的异质性视觉特征。随着自然场景数据集（NSD）等高分辨率、大样本fMRI数据的出现，以及深度学习方法的进展，研究人员有机会利用对比学习（CL）这一自监督学习框架，将图像特征提取过程与神经反应直接对齐，从而提高编码模型的预测能力。现有研究虽已证明CL预训练的特征优于监督学习特征，但尚未有研究利用神经反应本身通过CL微调特征提取网络。因此，本研究旨在提出一种新的神经编码方法，通过CL针对每个ROI和受试者微调预训练CNN，使图像表征与对应脑区的fMRI反应在共享嵌入空间中更相似，从而提升编码精度，并系统分析微调后模型的表征特性、跨受试者泛化能力及下游任务表现。

二、研究内容与主要方法
研究人员以ImageNet预训练的AlexNet为骨干网络，针对NSD中八名受试者的每个半球特异性视觉ROI（共280个特征提取模型），采用多模态对比学习损失（类似CLIP）进行微调。正样本对为同一图像及其对应的fMRI反应（GLM beta系数），负样本对为图像与其他不匹配图像的fMRI反应。损失函数最大化正样本对余弦相似度，并最小化与负样本对的相似度，从而优化网络参数。微调后，从特定层提取激活特征，经主成分分析（PCA）降维至1000维，再用岭回归为每个体素拟合线性编码模型。研究人员同时训练了以回归损失直接预测体素反应的微调基线模型，以及跨受试者合并数据的池化模型。外部验证使用自然物体数据集（NOD）中9名受试者的早期视觉ROI数据。此外，研究人员在ImageNet、Caltech256和Places365三个分类任务上评估微调模型的迁移性能，使用Bhattacharyya相异度矩阵和经典多维缩放（MDS）构建模型景观，并利用表征相似性分析（RSA）比较模型表征与fMRI反应。最后，通过正交Procrustes对齐将微调模型嵌入映射到CLIP空间，作为Stable Diffusion的图像生成提示，进行“in-silico”实验。

三、研究结果
1. 预训练AlexNet基线层选择：早期视觉ROI（V1-hV4）最佳预测层为第二或第三卷积层，而大多数高级视觉ROI最佳预测层为全连接层，与先前研究一致。
2. 受试者特定模型的编码性能：CL微调显著提高了早期和高级视觉ROI的平均编码相关（早期ROI从0.386提升至0.409，高级ROI从0.354提升至0.364），其中早期ROI中平均92.9%的体素得到改善。回归微调虽获得更高平均相关（早期0.417，高级0.367），但改善体素比例低于CL（早期61.5%，高级57.7%）。
3. 池化模型：合并多受试者数据训练池化模型后，早期ROI编码性能进一步显著提升（平均相关达0.428），而高级ROI提升不显著。
4. 外部数据集验证：使用NSD上CL微调的池化模型应用于NOD数据集，9名受试者早期视觉ROI中平均70.6%的体素编码性能优于未微调AlexNet，平均相关从0.142提升至0.153，相对提升8.1%。
5. 下游分类任务：CL微调模型在ImageNet、Caltech256和Places365上的分类准确率较未微调模型仅有轻微下降（如ImageNet最佳仅下降1.6%），而回归微调模型下降显著更大。
6. 模型景观与RSA：基于分类预测的Bhattacharyya相异度MDS景观显示，第一轴区分早期与高级ROI，第二轴分离早期ROI的左右半球；高级ROI按身体、面孔、场景、文字等类别聚集。RSA证实CL微调表征与fMRI反应相似性高于未微调模型；Bhattacharyya相异度与RSA结果高度相关。
7. 生成图像分析：由不同ROI微调模型生成的Stable Diffusion图像存在一致性差异（如V1v与EBA生成内容不同），生成图像嵌入与原始图像嵌入相似，但固有维度估计值更低，说明生成过程压缩了部分信息。

四、讨论与结论
研究表明，CL微调通过最大化图像特征与fMRI反应间的互信息下界，使CNN的特征提取更接近特定视觉ROI的神经加工模式。与回归微调相比，CL在改善体素比例上更优，且保留更多原始网络的下游任务能力，这表明损失函数的选择对脑对齐表征的形态至关重要。池化模型的成功证实了早期视觉ROI表征的跨受试者通用性，而高级ROI的个体差异较大，这与已知的视觉皮层解剖变异一致。模型景观揭示的ROI组织结构与已知视觉通路分级和偏侧化吻合，为理解脑区间的表征关系提供了新视角。生成实验展示了脑微调模型在“in-silico”研究中的潜力，但仍需注意生成模型的变异性压缩问题。总之，该研究首次将CL应用于基于fMRI的ROI特异性特征提取微调，显著提升了编码性能，并为后续利用脑对齐模型探索视觉加工机制提供了系统分析框架。论文发表于《PLOS Computational Biology》。