自监督学习产生类别选择性皮层的表征特征

《Communications Biology》：Self-supervised learning yields representational signatures of category-selective cortex

　　

摘要：腹侧视觉通路包含具有独特特征调谐的类别选择性区域，其中最显著的是梭状回面孔区（fusiform face area，FFA）和海马旁回场景区（parahippocampal place area，PPA）。为什么这些大脑区域表现出不同的调谐特性？近期研究表明，类似大脑的类别选择性特征可以从通用视觉学习机制中涌现，而无需领域特异性偏置。本文通过将功能定位器方法应用于人类和自监督神经网络，在脑和模型中识别面孔选择性和场景选择性单元，对这一假说进行了检验。研究人员随后在一组广泛的刺激集上比较了fMRI和模型反应，这些刺激用于探测FFA和PPA的经典表征特征，包括与曲率、生命性、真实世界大小、中层特征、面孔形状和空间布局信息相关的偏好。类别选择性模型单元在很大程度上重现了类别选择性脑区的独特表征特征，捕获了研究测试组中的大部分效应。研究结果表明，领域通用学习目标足以产生类似人类的类别选择性，提示类别选择性皮层的独特表征特征可能源于一个类似于自监督学习的统一计算目标。

论文解读：自监督学习与类别选择性皮层的表征对齐

一、研究背景与问题

腹侧视觉通路是灵长类视觉系统中负责物体识别的重要神经通路，其最显著的功能组织特征之一是类别选择性：不同皮层区域分别对特定视觉类别产生选择性反应。其中，梭状回面孔区fusiform face area，FFA）和海马旁回场景区（parahippocampal place area，PPA）是研究最为深入的两个区域。FFA由面孔形状驱动，其偏好反应可泛化至动物面孔、卡通面孔乃至物体中的错觉面孔；PPA则主要由场景的空间布局而非物体内容驱动。除面孔和场景特异性外，这两个区域还表现出与曲率、生命性、真实世界大小和中层特征相关的不同偏好，共同构成一组经典的类别选择性皮层表征特征。

关于这些表征特征的起源，学术界长期存在两种对立观点。一种观点认为，FFA和PPA的表征分别针对不同领域特异性目标进行优化，如FFA服务于个体身份识别，PPA服务于空间导航行为，并强调领域特异性连接是类别选择性特征调谐的主要原因。另一种观点则认为，类别选择性特征从领域通用学习机制中自然涌现。近期自监督神经网络为该观点提供了计算模型：这类网络无需标签反馈或领域特异性架构偏置即可学习图像表征。已有研究表明自监督模型特征能预测枕颞皮层的神经反应，且面孔和场景选择性特征在模型中自然涌现，但此前尚不清楚这些模型特征是否表现出FFA和PPA的经典表征特征。检验这些效应将为自监督模型与类别选择性皮层之间的表征对齐提供有力证据，而缺乏这些效应则将挑战领域通用学习理论的可信度。

二、研究内容与结论概述

为检验上述问题，研究人员采用功能定位器方法对人类和自监督神经网络进行直接比较。在功能磁共振成像（functional magnetic resonance imaging，fMRI）参与者中定位FFA和PPA，并采用类似程序在8个自监督ResNet50网络中识别面孔和场景选择性单元。研究人员构建了一个包含40个条件、共5152张图像的测试组，系统探测曲率偏好、生命性偏好、真实世界大小偏好、中层特征、面孔形状调谐和场景空间布局等经典表征特征。结果显示，类别选择性模型单元与其对应脑区在测试组上表现出高相关性，并捕获了大多数测试效应，证明领域通用学习目标足以产生类似人类的类别选择性。

三、主要技术方法

该研究使用了以下关键技术方法：（1）功能定位器方法：对32名健康成人参与者进行fMRI块设计实验，采用组约束个体特异性（Group-Constrained Subject-Specific，GSS）程序定义每个参与者的FFA和PPA；对模型采用两步骤程序识别面孔和场景选择性单元，先在特征选择集上进行合取检验，再在两个标准定位器测试集上验证选择性稳定性；（2）自监督神经网络：评估了8种基于ResNet50架构的自监督模型，包括Barlow Twins、MoCoV1-3、PIRL、SimCLR、SwAV和VicReg，所有模型均在ImageNet-1K上训练；（3）fMRI数据处理：采用fMRIPrep进行预处理，使用GLMSingle估计单试次beta权重；（4）统计框架：fMRI数据采用组水平二项检验，模型数据采用网络内t检验结合群体流行率检验。

四、研究结果

（一）自监督模型包含面孔和场景选择性单元

研究人员在8个自监督模型的最终ReLU层中识别出具有稳健类别选择性的单元：面孔选择性单元占3.6%±0.07%，场景选择性单元占3.2%±1.0%。这些单元在两个标准定位器测试集上均维持了目标类别的选择性偏好。相比之下，早期层中的候选单元未能保持跨测试集的选择性，未经训练的ResNet-50架构也未能产生稳健的类别选择性特征，表明自监督训练而非单纯架构约束导致了类别选择性特征的涌现。

（二）类别选择性模型特征与类别选择性脑区对齐

模型响应曲线与FFA的平均相关性为ρ=0.73±0.08，与PPA的相关性为ρ=0.93±0.02。排除偏好类别后相关性略有下降但仍保持显著（面孔选择性单元与FFA：ρ=0.59±0.11；场景选择性单元与PPA：ρ=0.83±0.05），表明模型特征不仅捕获了偏好类别的二元区分，还捕获了非偏好类别间的梯度差异。

（三）模型特征表现出类似大脑的曲率偏好

fMRI数据复制了纹理和物体刺激的曲率效应：FFA对曲线刺激反应更高（纹理：p=0.0001，物体：p=0.0005），PPA对直线刺激反应更高（纹理：p<10??，物体：p=0.05）。自监督模型中的面孔选择性单元在纹理和物体条件下均表现出对曲线刺激的偏好，场景选择性单元则表现出相反偏好（所有p<10??），与大脑一致。

（四）模型特征表现出类似大脑的生命性和真实世界大小偏好

FFA对动物的反应显著高于大物体和小物体（均p<10??），PPA对大物体的反应显著高于小物体和动物（均p<10??）。模型单元复制了这些偏好。当刺激转换为保留二阶空间频率统计量但不可识别的texform版本后，FFA和PPA以及模型单元均维持了生命性和真实世界大小偏好，表明中层视觉特征对类别选择性组织的贡献在模型和脑中具有一致性。

（五）模型特征表现出部分视觉大小耐受性

fMRI数据显示FFA和PPA在大小两种视觉尺寸下均维持类别偏好，且类别效应beta权重显著大于视觉大小效应（p<10??）。模型单元在每个视觉尺寸下均维持类别偏好，但类别效应未一致地超过视觉大小效应：面孔选择性单元中4个网络显示出更大的类别效应，场景选择性单元中仅2个网络显示出更大的类别效应，部分网络甚至表现出更大的大小效应。

（六）场景选择性模型单元对空间布局表现出部分敏感性

PPA对空房间的反应显著高于重新排列表面、单件家具和多件家具（均p<10??）。场景选择性模型单元复制了空房间与重新排列表面及单件家具间的差异，但未一致地表现出空房间与多件家具间的偏好方向（3个网络偏好空房间，4个网络偏好多件家具）。在空间尺度方面，PPA和场景选择性模型单元均对可触及表面反应高于物体、对可导航场景反应高于可触及表面，但两者均未表现出不同尺度可导航场景间的显著差异。

（七）面孔形状调谐

FFA对动物面孔、错觉面孔、卡通面孔和眼睛的反应均显著高于对照物体（均p<10??）。面孔选择性模型单元仅复制了其中2/4的效应：对动物面孔和错觉面孔的反应高于对照物体（均p<10??），但未一致地表现对卡通面孔和眼睛的偏好，不同网络间方向存在分歧。

五、讨论与结论

讨论部分指出，该研究证明了功能定位器方法在模型-大脑比较中的有效性，相比线性编码模型提供了更受约束的特征映射框架。研究发现场景选择性模型单元与PPA之间存在特别强的对应关系，质疑了为解释PPA特征调谐而引入领域特异性优化的必要性。研究存在一定局限性：模型对视觉大小耐受性不足，可能源于缺乏前景分割机制和全局形状调谐，或卷积架构有效感受野的限制；训练集ImageNet以物体为中心的性质可能部分解释模型对空房间偏好不完整。此外，研究未直接评估领域特异性学习的影响，因而结果证明了领域通用学习的充分性而非唯一性。研究结论为：通过将功能定位器方法应用于神经网络模型，该研究证明自监督学习产生的视觉特征能够重现类别选择性皮层的标志性表征特征，为类别选择性神经群体作为通用学习机制塑造的更广泛表征空间的组成部分这一观点提供了计算上的可行性。该测试组为未来评估类别选择性表征的模型-大脑对齐提供了直接且可解释的框架。