基于眼动序列的下一注视片段预测网络（GPNs）学习与人类视觉皮层对齐的自然场景表征

《SCIENCE ADVANCES》：Predicting upcoming visual features during eye movements yields scene representations aligned with human visual cortex

　　

自然场景是物体、表面和背景的复杂组合。为使大脑视觉系统有效运作，其不仅需要提取存在哪些物体，还需要提取这些物体之间的空间和语义关系。研究人员假设，此类结构可通过自监督方式，利用自然主动视觉的时间规律性进行学习：每一次注视（fixation）都会呈现一个注视片段（glimpse），该片段通过共现和受扫视（saccade）条件约束的空间规律性与前一片段相关联。研究人员以注视片段预测网络（glimpse prediction networks, GPNs）实现这一思想；GPNs 是循环模型，经训练以沿类人扫视路径预测下一注视片段的嵌入（embedding）。研究表明，GPNs 能成功提取复杂场景信息，包括物体共现和空间物体布局，并跨注视片段整合信息。GPN 表征与人类中级和高级视觉皮层的中功能磁共振成像（functional magnetic resonance imaging, fMRI）响应强烈对齐，并与替代的先进人工神经网络（artificial neural network, ANN）模型相匹配，且常优于这些模型，从而确立下一注视片段预测作为一种具有生物学合理性的途径，用于获得与大脑对齐的场景表征。

自然场景由物体、表面和背景复杂组合而成，视觉系统不仅需编码物体身份，还需编码其空间与语义关系。已有图像可计算模型多在单物体表征上成功，而标准物体分类目标不显式监督场景部件关系；以场景描述的大语言模型（large language model, LLM）嵌入作为监督虽提高与视觉皮层的对齐，但LLM嵌入依赖大规模训练数据，其生物合理性存疑，且LLM嵌入也能对齐无复杂语言的猕猴场景表征。因此，研究人员探索不依赖语言监督、利用主动视觉时间规律的自监督学习路径，并提出注视片段预测网络（glimpse prediction networks, GPNs）。该研究发表于《SCIENCE ADVANCES》。

关键技术方法（不超过250字）：研究人员使用DeepGaze III在COCO（Common Objects in Context）2017训练集场景的256 px中心裁剪图像上采样类人注视序列，每场景10条、每条7个注视点，均从图像中心开始，并提取91 px注视片段；以预训练且冻结的ResNet50-SimCLR（并比较RN50-ILSVRC、DINOv2-B）提取片段嵌入；构建2 × 2的GPN变体（有无循环长短期记忆网络（long short-term memory, LSTM）与有无扫视位移），以对比预测损失训练；神经数据来自Natural Scenes Dataset（NSD）8名参与者的special-515场景fMRI beta，采用感兴趣区（region of interest, ROI）层面的表征相似性分析（representational similarity analysis, RSA）与非负线性回归，并与cGSN、sGSN及多种先进网络比较和进行方差分解。

结果方面，小标题“GPNs learn the spatial co-occurrence of scene parts and integrate across them”（GPNs学习场景部件的空间共现并跨其整合信息）下，研究人员通过定性观察GPN-RS在留出COCO场景上的预测发现，其预测反映场景级共现和查询的扫视位移，且随累积片段更新；通过比较首个注视片段（g₀）预测与同场景其他片段及异场景片段的嵌入相似性，发现所有GPN变体对同场景片段的对齐高于异场景片段，且预测并非恒等映射；带扫视信息的GPN-S与GPN-RS对目标下一片段的相似性高于同场景其他片段，表明其学习空间布局；循环GPN的预测损失随片段数增加而较非循环对应模型更低，表明其利用记忆状态跨片段整合信息；GPN-RS还可从表征中解码片段位置，并在人工内容-位置绑定序列中检索目标位置曾出现的嵌入，提示其形成情境化的内容-位置记忆。

小标题“GPN internal representations align with scene representations in visual cortex”（GPN内部表征与视觉皮层场景表征对齐）下，研究人员利用NSD的special-515场景fMRI数据，以RSA计算GPN各层及各片段数的表征差异矩阵（representational dissimilarity matrix, RDM）与ROI RDM的对齐，并用非负线性回归量化方差解释。结果显示，GPN-R（RN50-SimCLR backbone）在腹侧视觉皮层（ventral visual cortex, VVC）中取得最高对齐，所有GPN均高于其输入片段嵌入；循环有助于VVC对齐，扫视对GPN-B多呈负面影响，对GPN-R影响依backbone而异；GPN-R优于架构和数据匹配的注视片段拼接网络（glimpse stitching networks, GSNs；cGSN与sGSN），并优于多种自监督视觉网络、视觉-语言网络及先进枕颞皮层对齐网络；方差分解显示GPN-R解释了大量其他网络所解释的VVC方差，其他网络独特方差很小；扩展到其他ROI时，GPN-R在midparietal与parietal ROI优于最佳替代模型，在早期ROI较差；层析分析表明输入片段嵌入解释约10%的VVC方差，LSTM输出层从第一个片段起显著提高对齐并随片段数增加，超过顺序平均基线且高于预测层，说明最大皮层对齐出现在为下一片段预测优化的循环状态中。

讨论部分指出，GPNs通过人类样眼动序列中的下一片段嵌入预测，内化场景部件共现与空间布局并跨片段整合，形成与视觉皮层对齐的场景表征；VVC中多类模型共享的方差主要由最佳对齐GPN-R所捕获的共现与整合解释，提示既有LLM-大脑对齐可能主要由共现结构介导。研究还指出，加入扫视信号常降低与NSD场景表征的对齐，尤其在非循环模型中明显；这可能与GPN-B学习位置不可知场景关联更匹配中心注视的NSD响应、NSD空间排列信息有限或GPN与皮层空间编码不匹配有关，仍需进一步区分。尽管取得先进对齐，模型仍解释不到一半的跨参与者共享方差。结论部分翻译：总之，通过强调在眼动过程中预测即将出现特征的作用，研究结果指向下一代人类皮层场景表征的自监督模型：基于通过时间性、感觉运动预测发现世界结构这一一般原则的网络。GPNs的成功源于充分利用视觉系统可获得的信号，而不是遵循面向AI性能测试大规模模型的“计算机会主义”，从而强调认知计算神经科学至少在某种程度上从AI工程中解放出来的重要性。