《PLOS Computational Biology》：Linking retinal sampling in neural encoding models to temporal profiles of visual processing in humans
编辑推荐：
神经群体的视网膜拓扑调谐（retinotopic tuning）是人类视觉皮层的关键组织原则。然而，当前基于任务优化卷积神经网络（Convolutional Neural Networks, CNNs）预测神经记录的最先进模型并未考虑这种视网膜拓扑组织。此外，
神经群体的视网膜拓扑调谐（retinotopic tuning）是人类视觉皮层的关键组织原则。然而，当前基于任务优化卷积神经网络（Convolutional Neural Networks, CNNs）预测神经记录的最先进模型并未考虑这种视网膜拓扑组织。此外，尽管视觉皮层中的视网膜拓扑调谐已通过功能磁共振成像（fMRI）得到广泛研究，但对来自视野不同区域信息加工的时间动力学仍了解较少。在此，研究人员在预测人类脑电图（EEG）响应的编码模型中，在CNN特征图上实施多种空间采样策略，揭示了中央凹和外周视觉信息加工的独特时间特征。利用大型高质量自然场景图像，研究人员发现外周信息的加工先于中央凹采样信息的加工。当对CNN特征图施加基于人类视网膜神经节细胞（retinal ganglion cells, RGCs）经验测量得到的差异性空间变换时，这种时间差异能被最佳建模。研究人员通过互斥刺激中央凹和外周视野区域，直接实验验证了这种时间差异。最后，研究人员引入一种新颖的数据驱动方法，从神经数据中恢复视野信息，突出并量化了时间特异的EEG记录中所包含的空间性视网膜拓扑信息。综上，这些结果为自然图像加工中存在直接关联于不同空间信息采样的时间性粗到精（coarse-to-fine, CTF）视觉加工层级提供了新颖的神经证据。使人类和CNN编码模型的空间采样对齐，不仅改善了对神经响应的预测，还证明EEG记录包含了大量时间编码的视网膜拓扑信息。研究人员公开了包含高分辨率自然场景图像的大规模EEG数据集，以推动未来的自然视觉加工研究。作者摘要：人脑加工关于物理环境的信息。这些信息被多个感觉器官捕获，其结构决定了输入大脑的格式。在人类视觉感知中，这对应于视网膜结构，例如光感受器或神经节细胞的数量。它们的密度在视网膜上存在差异，中央凹（即视线注视点）的感受器和细胞数量远多于外周区域。因此，大脑从中央凹接收的信息多于外周区域。在此，研究人员利用自然场景观看下的脑电图记录，识别出中央凹加工与外周加工之间的差异，并揭示这些差异如何在神经加工时间进程中展开。结合使用深度神经网络预测脑活动的最新建模技术，研究人员表明大脑加工外周视觉信息先于中央凹信息。至关重要的是，仅当使用大视野刺激从而更好地接近真实自然世界感知时，才能检测到这种时间偏移。这些发现提示大脑以阶段性方式加工环境信息，形成了视觉感知背后的层级结构。
论文解读：神经编码模型中视网膜采样与视觉处理时间特征的联系
**研究背景与意义**
人类视觉皮层的一个关键组织原则是视网膜拓扑调谐（retinotopic tuning），即神经元偏好对视野中特定位置（其感受野，Receptive Field, RF）的视觉刺激做出反应，且邻近神经元具有邻近感受野。基于人口感受野（population Receptive Field, pRF）的正向模型能成功预测功能磁共振成像（fMRI）等群体神经响应对简单刺激的反应，但对复杂全视野自然场景的预测效果不佳，可能因其缺乏对感受野内特定视觉特征的选择性。另一方面，以任务优化卷积神经网络（Convolutional Neural Networks, CNN）特征图为基础的编码模型在预测自然场景诱发的各种神经记录方面准确度很高，包括猴电生理、人类脑磁图（MEG）、血氧水平依赖（BOLD）和脑电图（EEG）信号。然而，这些模型缺乏视网膜拓扑调谐这一关键归纳偏置，其空间计算通过均匀应用卷积核实现，虽有助于空间不变物体识别，却禁止了对视野不同区域的差异采样，而这正是生物视觉的标志。因此，尽管CNN在任务上接近人类表现，其空间采样方式与人类视觉皮层存在本质差异。
针对这一鸿沟，研究人员探索了将受pRF模型启发的空间局部采样与CNN的丰富特征表征相结合，是否能提升对全自然图像神经响应的预测。尤其利用EEG的高时间分辨率，关注人类视觉加工中由视网膜拓扑促成的关键差异采样形式——中央凹（foveal）加工与外周（peripheral）加工的分化。这种分化源于视网膜膝状体小细胞（parvocellular）通路和大细胞（magnocellular）通路：前者处理中央视野高精度信息，后者处理外周视野低精度信息，且大细胞通路运行在更快的时间尺度上。虽然外周信息在皮层中的表征比例较小，但被认为在场景感知和空间导航中起重要作用，快速的大细胞通路有助于迅速识别场景主旨和运动检测。外周与中央凹加工之间的时间差异可能促成视觉加工中由“粗”到“精”（coarse-to-fine, CTF）的层级结构，即外周（粗）计算先于中央凹（精）计算。然而，先前关于CTF加工的证据多来自行为实验或人工刺激，而非自然场景，而神经响应在人工与自然刺激下可能不同。因此，在更自然条件下确立外周向中央凹的加工层级至关重要。该研究发表于《PLOS Computational Biology》，它通过编码模型揭示了外周与中央凹场景信息加工的神经时间特征，不仅验证了自然图像加工中的粗到精层级，而且通过将空间采样对齐到人类视网膜，显著提升了EEG神经编码性能，并对自然视觉加工理论做出贡献。
**关键方法概述**
研究人员设计了一个快速序列视觉呈现（RSVP）实验，让31名被试观看4680张高分辨率自然户外场景图像（来自开放阿姆斯特丹数据集OADS，尺寸50°×29.5°视角），并执行室内场景探测任务，同步采集64导EEG数据。为探究不同空间采样对编码模型的影响，他们从预训练于ImageNet的AlexNet中提取三个最大池化层的特征图，随后对每张刺激图像的特征图施加四种空间选择操作：全图（Full）、仅保留中央0.5%区域（Center）、移除中央0.5%区域（Periphery）、以及根据人类视网膜神经节细胞（RGC）密度推导的神经节细胞采样（ganglion cell sampling, GCS）变换，后者增强中央信息同时保留但衰减外周信息。对每种特征选择，研究人员分别进行主成分分析（PCA）降维后，为每个被试、电极和时间点构建线性回归编码模型，用低信噪比（5次重复）的训练集拟合，用高信噪比（10次重复）的测试集评估预测性能（Pearson相关）。同时，开展了验证性实验：在10名新被试中，使用圆形孔径分别选择性刺激中央或外周视野，并系统变化刺激图像大小（大、中、小）以检验视野范围的影响。此外，研究人员提出一种数据驱动方法：通过随机掩码迭代采样CNN特征图中不同空间位置的组合，计算每个位置对编码性能的贡献，生成像素级贡献图，并以此作为空间权重构建优化的编码模型。
**研究结果**
**2.1 不同空间采样建模揭示自然场景加工的时间特征**
通过在CNN特征图上进行空间选择，研究人员发现GCS模型的全脑平均编码性能显著优于Full、Center和Periphery模型（Wilcoxon符号秩检验，p<0.001），表明GCS变换更精确地近似了中央凹和外周信息在EEG信号中的反映。对电极Iz和Pz的时间进程分析显示：枕极Iz处，Center模型在约120 ms后性能高于Full和Periphery，且Periphery模型在120–145 ms间性能下降，提示Iz的ERP（事件相关电位）主要由中央凹信息驱动；中央电极Pz处，Full和Periphery模型在80 ms后显著，而Center模型95 ms后才显著，且早期Full和Periphery性能高于Center，说明这些电极早期更多反映全视野信息。配对比较进一步显示：在95 ms，Full模型在中央电极显著优于Center模型；到144 ms，Center模型在枕电极反过来优于Full模型。而比较Full与Periphery模型发现，即使仅移除中央0.5%信息，Periphery模型在枕电极的预测性能也显著更低，突出中央凹信息对后部电极的后期贡献。GCS模型在几乎所有时间点和电极上都表现优于或等同于Center和Full模型，尤其能在晚期枕颞部显著超越Full模型。
**2.1.5 空间不同特征的加工时间异质性**
通过偏相关分析（partial correlation）排除模型间共享方差后，Periphery模型在早时间点（如Iz最早76 ms）解释更多独特方差，而Center模型解释独特方差的时间延迟显著（Iz最早93 ms），且两者最大相关时间点存在显著差异（Wilcoxon检验），尤其枕极Iz差异最突出。这明确揭示了外周信息加工早于中央凹信息。GCS模型相对Center和Periphery模型均能解释额外独特方差，除了极早期外周全量仍有一小部分未被GCS捕获，表明GCS变换基本能综合两端加工动态，但仍可进一步完善末梢呈现。
**2.2 视野刺激实验操作确认中央-外周加工的时间差异**
在独立的EEG实验中，研究人员用不同直径（3°、11°、20°）圆形孔径呈现纯中央或纯外周刺激。当孔径最小时，Center刺激与Periphery刺激的编码性能在电极Iz和Pz上表现出显著时间延迟：Periphery条件首个显著时间点早于Center条件（如小孔径下，Pz处外周65 ms vs. 中心80 ms），且最大性能时间点存在统计差异。对于电极Iz，中外周条件的编码性能几乎为零，表明外周信息不显著驱动其响应。比较Full与GCS模型仅在最大孔径的中心刺激条件下GCS显著优于Full，说明唯有接近全视野刺激时，差异建模的优势才显现。
**2.2.2 大视野刺激是揭示中央-外周时间特征的必要条件**
利用变化的图像大小（约50°、14°、7°视角），研究人员发现小图像刺激下GCS相对于Full模型无任何提升，而大图像下GCS在时间平均和电极平均编码性能上显著优于Full（Wilcoxon检验，W=8, p=0.049）。同时，噪声天花板估计随刺激尺寸增大而升高，说明大视野刺激增强了EEG的信号驱动程度。这些结果表明，视网膜采样效应只有在包含足够外周视野的大视野刺激下才凸显，从而更接近真实视觉。
**2.3 从EEG中恢复中央-外周采样**
研究人员提出了一种数据驱动方法，通过迭代随机采样CNN特征图的像素块并评估其对编码性能的贡献，生成每个电极和时间点的像素级贡献图。在95 ms早期，电极Iz的贡献图表现出各离心度均匀贡献，而在144 ms后期，低离心度（中央）贡献显著增强，线性拟合斜率为负（beta=-0.004）。对电极Pz则始终维持均匀贡献。利用这些贡献图作为空间权重构建的“Sampling”编码模型，其整体编码性能显著优于Full和GCS模型（Wilcoxon检验，p<0.00001），且尤其在大多数后部电极上超越GCS模型，仅在极枕部与GCS持平。这验证了通过纯数据驱动方式可以恢复电极特异和时间特异的视网膜拓扑调谐，而无需预先指定中央和外周区域。
**讨论与结论**
这项研究证实，自然视觉加工中存在由外周至中央凹的全局到局部层级。通过编码模型中的空间特征选择，研究人员证明图像注视点内的信息最能预测枕部电极的晚期时间点，而外周场景信息主要在早期（约75 ms）及更中央和颞部电极处被加工。这种中央凹信息的编码延迟与外周信息的早期编码，与（外周）大细胞相比（中央凹）小细胞更快的信号处理速度一致，从而将RGC密度和细胞传导速度等生理差异与EEG记录直接相联系。
研究人员强调，尽管CNN因权重共享而缺乏生物空间调谐，但将其视为视觉信息处理的“模式生物”具有价值：通过对比不同空间采样策略下的脑数据对齐程度，可以检验具体假说。该研究中，建模揭示的中心与外周加工时间特征，被定向视野刺激实验完全复现，证实了神经连接主义研究框架的有效性，并降低了实验成本。
在现实视觉研究方面，传统人工构造刺激存在生态效度不足的问题，而本研究展示，当刺激转向大视野自然场景时，标准均匀采样的CNN编码模型无法充分解释额外可解释方差，必须考虑视网膜拓扑调谐。这为解决实验控制与生态效度之间的平衡提供了可行途径。值得注意的是，当刺激视野范围较小时，GCS变换无增益，凸显扩大视野对于揭示外周加工贡献的必要性。
关于空间重加权的最优性，GCS变换中中央放大因子固定为20°，而更小的放大因子能更好预测早期响应，提示外周信息的重要性。全数据驱动的优化空间权重方法不仅能找到电极和时点特异性最优采样，且实现了比GCS更优的性能，为未来无几何学假设的空间调谐表征提供了新工具。
此外，该研究结果在不同CNN架构（ResNet18、ResNet50、ConvNeXt）、不同训练数据集（Places365场景分类）、甚至未训练网络中均保持稳健，且不受裁剪形状（椭圆或矩形）影响，说明观测到的时空加工特征主要由空间采样差异所驱动，而非特定特征调谐。总之，研究人员得出结论：将关于人类视觉系统结构和功能组织的知识融入编码模型，是改进CNN编码模型的有效途径。通过引入非均匀空间采样，不仅显著提升了真实自然刺激下的EEG预测性能，而且采用基于随机采样的新型数据驱动方法，精确阐明了外周和中央凹加工的精细动力学，为自然视觉加工的全局到局部理论提供了直接证据。
**研究结论**
总体而言，研究人员的结果表明，将关于人类视觉系统结构和功能组织的知识融入编码模型是一种卓有成效的方法，可改进基于CNN特征图的编码模型。具体而言，研究人员通过在人类EEG数据的编码模型中引入非均匀空间采样，解决了CNN空间采样在生物可解释性方面的已知问题。研究不仅表明考虑这些结构约束能显著提高编码性能，而且证明了当视觉刺激变得更加自然时，这种考量对于维持高编码性能是必要的。最后，利用一种基于CNN特征随机采样的新型全数据驱动方法，研究人员阐明了外周和中央凹加工的精确时间动力学，为自然视觉加工中的全局到局部加工理论提供了直接证据。
