概念优先级塑造自然视觉注意中的个体注视模式

《Proceedings of the National Academy of Sciences》：Conceptual priorities shape individual gaze patterns during naturalistic visual attention

　　

研究人员的视觉景观不仅由人、地点和物体（例如“士兵”、“体育场”、“旗帜”）组成，还包括将它们联系起来的抽象概念关系（例如“爱国主义”）。由于概念知识（conceptual knowledge）在个体间存在差异，这一层次的结构可能支持自然场景观看（naturalistic scene viewing）中注意选择（attentional selection）的个体化模式。在此，研究人员探究个体的注视模式（gaze patterns）是否部分反映了组织在概念空间（conceptual space）中的潜在注意优先级（latent attentional priorities）。参与者（N = 61）在头戴式虚拟现实（VR）中自由探索一组多样化的沉浸式真实世界场景（N = 100），同时连续记录其注视位置。研究人员利用大型视觉和语言模型（large vision and language models）的嵌入，通过空间、视觉和概念特征空间（spatial, visual, and conceptual feature spaces）对注视行为进行建模，以揭示引导个体在多个环境中独特选择性注意模式的潜在优先级。个体在场景间以及测试-重测试（test–retest）期间表现出稳定且特异性的注视模式，这与特质性（trait-like）的注意个体差异一致。空间、视觉和概念特征空间各自解释了注视模式中的独特方差，其中概念特征贡献了超出空间和视觉特征单独解释的方差。值得注意的是，基于语言模型（language-model）的预测在捕捉这些个体化模式方面特别有效。综合这些发现表明，自然视觉注意（naturalistic visual attention）在多个层次上组织——包括概念层次——揭示了人们在复杂视觉环境中采样和优先处理信息时存在的稳定个体差异。

**论文解读：概念优先级塑造自然视觉注意中的个体注视模式**

**研究背景、问题与目的**

在理解视觉世界时，人类通过眼球运动依次采样场景内容，并在此过程中做出信息选择。传统上，选择性注意（selective attention）被建模为“自下而上”（显著性）与“自上而下”（意义）场景特征之间的动态竞争，但这一二分法未能解释大脑如何在场景观看的上下文中计算优先级。外部情境（如任务、奖赏）对注意有显著影响，但内在情境——个体独特的知识库、人格特质（如好奇心、创造力）乃至遗传因素——对注意优先级图（priority map）的贡献仍未被充分探索。特别是，概念层次的知识（conceptual-level knowledge）是否作为潜在因素塑造个体在自然观看中的注意分配，尚不清楚。这一空白至关重要，因为当前理论将观看者视为主动的信息寻求者，其内部模型指导视觉世界的探索。个体通过经验形成的概念知识为场景理解中的注意选择提供了背景，然而，概念层次注意优先级的潜在结构及其对注视行为个体差异的贡献，仍鲜有研究。为此，研究人员开展本研究，旨在检验超越视觉域的概念知识是否塑造个体在真实世界中的选择性注意模式。

**研究内容、结论与意义**

研究人员让61名参与者在头戴式虚拟现实（VR）中自由探索100个多样化的360°真实世界场景（每场景16秒），同时用内置眼动追踪记录注视位置。他们利用大型语言模型（LLM）的概念特征空间、视觉特征空间（来自视觉Transformer ViT）和空间信息，通过堆叠回归（stacked regression）框架对注视行为建模。结果发现：个体在场景间和跨时间表现出稳定且特异性的注视模式，类似于“注意指纹”（attentional fingerprint）；概念特征在解释个体注视方差中贡献了超出空间和视觉特征的独特部分；基于语言模型的预测特别有效地捕捉了这些个体化模式。这些结果表明自然视觉注意在多个层次上组织，包括概念层次，揭示了人们在复杂视觉环境中采样和优先处理信息时的稳定个体差异。该论文发表于《美国国家科学院院刊》（Proceedings of the National Academy of Sciences）。

**主要关键技术方法**

参与者（N = 61，来源未注明具体队列）在头戴式虚拟现实头盔中自由探索100个360°真实场景，同时通过内置眼动追踪仪连续记录注视位置。场景由在线评分者进行密集字幕描述，生成包含物体身份、关系上下文和推断可供性（affordances）的自然语言字幕。研究人员使用堆叠回归模型，从三个特征空间（空间坐标、视觉嵌入来自视觉Transformer ViT、概念嵌入来自大型语言模型LLM应用于字幕）预测注视密度，并通过跨场景和跨会话（session）泛化及方差分解评估各特征空间的独特贡献。

**研究结果**

- **Gaze Models Capture Shared Structure in Group-Level Gaze Behavior（凝视模型捕捉组级注视行为中的共享结构）**：通过堆叠回归框架对组级平均注视分布建模，发现空间、视觉和概念三个特征空间均解释了组级注视行为的显著方差，且概念特征在空间和视觉组合基础上增加了独特方差，表明高层次语义结构与观众共享的注意模式对齐。

- **Gaze Models Accurately Predict Individual Gaze Patterns（凝视模型准确预测个体注视模式）**：个体级模型（针对每位参与者单独训练）显著优于组级模型（基于平均注视训练），证明注视行为包含可跨场景泛化的可靠观察者特异性结构。

- **Visual and Conceptual Features Explain Unique Variance in Individual Gaze（视觉和概念特征解释个体注视中的独特方差）**：在空间模型基础上逐步添加视觉和概念特征，发现视觉和概念特征均贡献了独特方差，概念特征进一步提升了预测准确性。

- **Conceptual Models Preferentially Capture Individual-Specific (vs. Shared Group) Variance（概念模型优先捕捉个体特异性（vs.共享组级）方差）**：个体级模型相较于组级模型的优势在概念特征空间中最大，视觉特征居中，空间特征最小，表明概念表征在捕捉个体特异性注意结构中起不成比例的作用。

- **Conceptual Base Models Generate Individually Specific Predictions—Own Versus Other Model Comparisons（概念基模型生成个体特异性预测——自身模型 vs. 他人模型比较）**：对于每位参与者，自身模型对自身注视的预测准确性显著高于基于其他参与者训练的模型，且这一效应在概念基模型中最强，视觉基模型较弱，空间基模型不显著。

- **Conceptual Feature Contributions Emerge Over the Time Course of Scene Exploration（概念特征贡献随场景探索时间进程涌现）**：随时间分析显示，空间特征在早期最预测，视觉特征稍后，概念特征逐步增强，最终超过前两者，表明概念优先级随场景理解发展而逐渐塑造注意选择。

- **Gaze Model Predictions for Each Feature Space are Stable Across Testing Session, Reflecting Enduring Attentional Priorities（各特征空间凝视模型预测跨测试会话稳定，反映持久的注意优先级）**：约一周后的重测中，自身模型在跨会话预测中仍优于他人模型，且视觉和概念基模型均表现出跨时间稳定性，空间模型则不。

- **Conceptual Base Model Accuracy Improves with Increased Conceptual Information（概念基模型准确性随概念信息增加而提升）**：当将字幕分为物体身份（Tier 1）、关系描述（Tier 2）和推断信息（Tier 3）三个层次时，预测准确性随概念深度增加而提升，且Tier 3的优势源于有意义的推断内容而非句子长度或句法复杂。

- **Visualizing Individual Gaze Patterns Provides Human-Interpretable Insights Into Latent Conceptual Priorities（可视化个体注视模式提供对潜在概念优先级的可解释性洞见）**：通过t-SNE可视化显示，个体高优先级的场景图块在概念嵌入空间中按抽象主题（如“写作相关”、“室内装饰”）聚类，而非按视觉外观或场景域。

**讨论总结与研究结论翻译**

讨论部分指出，研究结果表明注视模式揭示了不同个体在探索视觉环境时带有的概念优先级。这些差异在概念层次上结构化，超越了共享的空间偏差和视觉特征。概念凝视模型在两个方面表现出鲁棒性：跨不同测试日预测注视模式（反映持久的特质性注意优先级），以及跨多样场景泛化（对日常设置、物体类别和视觉特征不敏感）。每位个体在其环境中留下“注意指纹”——概念知识、视觉和空间偏差共同塑造日常知觉中视觉信息采样的特征。该结论得到两条关键证据支持：第一，概念特征（来自LLM）解释了超出空间和视觉特征的独特方差，且对捕捉个体特异性结构具有更大优势；第二，概念基模型准确性随场景字幕中推断或可供性信息的可用性增加而提升，而仅依赖物体身份时下降。这些发现与强调主动性、意义驱动的注意选择理论一致，并扩展了神经影像学中语言嵌入语义结构揭示视觉皮层组织原则的发现。讨论还指出，大型语言模型虽未接受视觉输入，但通过文本习得的概念关系可作为概念组织的代理，揭示引导选择性注意的潜在优先级。此外，沉浸式VR提供了生态效度与实验控制的平衡，成为建模跨环境注意优先级的理想工具。研究也提出了若干开放问题，如时间动力学、文化差异、多模态模型基准以及临床与隐私方面的潜在应用。

**研究结论翻译**：总的来说，研究人员的发现表明，主动视觉探索受个体信息寻求优先级引导，这些优先级超越了视觉类别，进入抽象概念空间。通过利用大型语言模型的特征空间，研究人员引入了一个原则性框架来建模注视行为，并揭示塑造人们如何采样视觉环境的潜在概念组织。研究人员希望该方法为研究不同人群和情境中支撑选择性注意的概念优先级提供一个广泛适用的框架。综合来看，研究结果提示，注视行为携带一种稳定的、特质性的签名——一种反映每位个体的概念知识、经验和期望如何引导真实世界知觉的注意指纹。