时间依赖性调节自由观看中显著性驱动的视觉注意

《Behavioural Brain Research》：Time-Dependent Modulation of Saliency-Driven Visual Attention in Free Viewing

　　

目的本研究调查了观察者之间注视行为的相似性，并检验了自由观看中显著视觉特征是否引导视觉注意，以阐明复杂自然场景中自下而上和自上而下因素对视觉注意的影响。方法四十五名健康成年人（中位年龄（IQR）：38（24）岁）观看了十张静态真实世界场景（含/不含社会元素），每张15秒，同时使用远程眼动追踪系统记录其注视。生成注视热图并计算注视参数。采用自助法，比较随机子集的注视数据以评估注视相似性。在早期7.5秒（t_early）、晚期7.5秒（t_late）和总15秒观看期间，使用Jensen-Shannon散度（JSD）分析热图相似性，其中JSD=0表示完全一致，JSD=1表示无相似性。使用Itti和Koch的计算模型获得每张场景的显著性图，并计算重叠显著区域的注视比例，以量化自由观看中显著性的影响。结果在整个观看期间，52–84%的注视点与模型预测的显著区域重叠，在较不拥挤的场景中观察到较高比例，在含有社会性重要元素的场景中比例较低。时间比较显示，在t_early阶段，显著性引导的注视比例更高[中位数（IQR）：72%（23%）]，同时伴随组间注视相似性更高[中位数（IQR）JSD：0.15（0.02）]，表明在最初7.5秒内存在更共享、由显著性驱动的观看。结论数据表明，自由观看最初是一致的且由显著性驱动，但随着时间推移，自上而下影响增强，逐渐变得个体化，且这种时间转变受场景特征调节。自由观看在评估视觉或认知障碍个体中自下而上显著性与自上而下认知背景的动态交互方面具有临床价值。

**论文解读：自由观看中显著性驱动视觉注意的时间依赖性调节**

**研究背景、问题与动机**
在日常视觉中，人类通过频繁的眼动将高分辨率处理局限于中央凹（fovea）。视觉元素基于显著性和相关性竞争注意资源，视觉注意通过引导注视朝向信息丰富的位置来解决这种竞争，从而实现场景的详细和顺序处理。注意和眼动受自下而上（bottom-up）机制（由刺激属性驱动）和自上而下（top-down）机制（由先验知识和任务目标塑造）的交互引导。理解自下而上对注视的引导，一个关键途径是研究视觉显著性（visual saliency），即场景中诸如颜色、对比度或朝向等突出特征，它们通过自下而上处理自动吸引注意并引发注视反应。计算模型（如Itti和Koch模型）被开发用于预测这些显著区域。然而，这些模型未能完全捕捉自由观看（free viewing）中注意的动态分配，在自由观看中自下而上和自上而下过程随时间交互变化。

自由观看范式模拟自然观看环境，允许参与者自由探索场景，揭示刺激驱动反应和认知因素如何引导注视。先前研究表明，在自由观看自然场景时，个体间的注视相似性在观看初期很高，随后逐渐下降。早期注视被认为由显著视觉特征引导，但早期注视趋同也可能受中心偏差（center bias）影响。随着观看进行，注意在自上而下因素（如意义、熟悉度和情境解释）影响下变得个体化。场景内容也调节视觉注意，社会性相关元素（如面孔）因其高行为显著性而吸引并维持注意。因此，视觉显著性、认知解释和社会相关性之间的交互定义了自由观看中视觉注意的动态。

以往研究将注视相似性和视觉显著性作为视觉注意的独立方面进行考察，但未探索两者随时间的变化及其交互作用。此外，多数研究使用短时观看、动态刺激或受控场景操纵，对静态真实世界场景的长时间自由观看了解有限。本研究旨在探究复杂真实世界场景自由观看中，显著性驱动注视分配和个体间注视相似性的时间动态，并检验场景特征（包括环境及其内容）的影响。研究人员假设：个体间注视相似性在观看早期最高，此时注意主要由显著视觉特征驱动，随后随时间推移因自上而下因素增强而下降；显著性驱动注视分配在早期最强，并随场景特征变化。

**研究开展、结论与意义**
研究人员对45名健康成年人（中位年龄38岁，53%女性）进行自由观看实验，使用10张静态真实世界场景（含室内/外、社会/非社会元素），每张呈现15秒，同时用120 Hz眼动仪记录注视。通过生成注视热图、计算注视参数，并采用自助法（bootstrapping）随机分组比较注视相似性（用Jensen-Shannon散度，JSD量化），以及使用Itti和Koch计算模型预测显著区域，分析重叠显著区域的注视比例。结果表明：在整个15秒观看期间，52–84%的注视点落在模型预测的显著区域，且比例受场景内容影响（较不拥挤场景中高达70–84%，含面孔场景中低至52–67%）。在早期7.5秒内，显著性引导的注视比例更高（中位数72%），组间注视相似性也更高（中位数JSD=0.15），表明初期为共享的显著性驱动观看；后期7.5秒内，相似性下降（JSD增加），注视分布更分散，表明转为个体化、自上而下驱动的观看。时间动态在场景间不一致：高对比度、色彩丰富的场景（如图像3-5）呈现显著早期驱动、后期个体化模式；复杂场景（如图像8、10）出现持续显著性参与但探索个体化；而稀疏场景（如图像1、2、9）则相对稳定。这项研究首次系统揭示了长时间自由观看中自下而上显著性向自上而下认知控制的渐进性转变，且受场景结构特征调节，而非社会分类的单一影响。研究为建立健康成年人注视行为的规范数据集提供了基础，有助于计算模型开发及临床视觉/认知障碍的早期标记识别。论文发表在《Behavioural Brain Research》。

**关键技术与方法**
本研究采用的主要关键技术方法包括：（1）**远程眼动追踪系统**（Tobii Pro X3-120，120 Hz采样率）记录45名健康成年人（印度金奈视觉研究基金会，研究代码：1247-2023-P，经机构审查委员会批准）的注视数据；（2）**Itti和Koch计算显著性模型**（基于颜色、强度和朝向特征）生成每张场景的显著区域预测；（3）**Jensen-Shannon散度（JSD）** 用于量化组间注视热图相似性（0表示完全一致，1表示完全无相似性）；（4）**自助法**（bootstrap）随机生成10组参与者子集，重复比较注视模式以评估重复性；（5）**注视分类方法**：将至少20%参与者注视点聚集的注视簇与显著区域重叠，标记为“显著性引导的注视”，并计算其比例。所有分析在Python 3.12和JASP中完成，统计检验采用Wilcoxon符号秩检验和Friedman检验。

**研究结果**

**3.1 参与者数据与纳入**
50名参与者完成实验，因眼动追踪器问题导致5名（10%）数据丢失，最终纳入45名健康成人（中位年龄38岁，IQR=24；53%女性）。

**3.2 图像间描述性注视指标**
注视行为通过注视次数、注视持续时间和眼跳幅度量化，分别对早期（t_early: 0–7.5秒）和晚期（t_late: 7.5–15秒）分析。多张图像在晚期注视次数显著减少，注视持续时间和眼跳幅度相对稳定。注视次数在图像间和观看时间间变异最大，因此用于后续相似性和显著性分析。

**3.3 总观看期间显著性对注视注视和组间注视相似性的影响**
总15秒内，52–84%的注视点落在模型预测的显著区域。在较不拥挤的场景（图像1-5）中比例较高（70–84%），在含面孔或社会性元素的场景（图像6-10）中比例较低（52–67%）。组间注视相似性高（JSD中位数0.11，IQR 0.10–0.12），表明自下而上视觉因素产生稳定一致的注视模式，不受年龄或场景差异影响。

**3.4 时间窗口间显著性对注视注视和组间注视相似性的影响**
10张场景中，早期显著性引导的注视比例高于晚期（中位数72% vs. 较低值），且差异在6张场景中显著（p<0.05，Wilcoxon符号秩检验）。进一步将15秒分为5个连续3秒窗口，发现显著性引导的注视比例在多数场景中逐渐下降，而非突然变化。组间注视相似性方面，7张图像（图像3-8和10）的JSD从早期到晚期增加，表明早期注视更相似，后期更分散。

**3.5 图像视觉内容对时间窗口间显著性引导注视和注视相似性的影响**
根据注视次数、显著性引导注视比例和JSD的变化方向与显著性，将10张图像分为四类：图像3-5（高对比度、色彩丰富）呈现早期显著性驱动、后期个体化模式；图像6-7（均匀视觉模式）显著性引导比例无显著变化但注视相似性下降；图像1、2、9（稀疏室外场景）注视相似性稳定；图像8和10（密集视觉内容）显示持续性显著性参与且注视相似性下降。

**讨论与结论**
讨论部分指出，本研究结果部分支持了以往关于自下而上向自上而下注意控制转变的证据，但采用了更长的15秒观看时间和真实世界彩色图像，允许超出初始注视的长时间尺度检验。早期注视相似性高且与模型预测显著区域吻合，但不应纯粹归因于低水平显著性，因为早期7.5秒内包含初始定向、中心偏差、场景gist提取、物体识别和语义解释等多种认知过程。场景间时间转变方向的差异主要由视觉结构特征（如对比度、空间分布和场景杂乱度）驱动，而非单纯的社会分类。研究局限性包括：静态图像不能完全代表真实世界动态探索；早期注视相似性可能部分受中心偏差影响；仅使用单一计算显著性模型；刺激集仅10张且分布不均。未来研究可采用动态环境、多个显著性框架，并探索神经退行性疾病患者的自然注视行为。

**研究结论**（翻译原文）
本研究证明，自由观看中的注视行为在最初观看阶段高度一致，且与大多数场景的模型预测视觉显著性紧密对齐。这种共享的、刺激驱动的模式随时间逐渐过渡到更个体化和可变的行为，反映出自上而下影响的增加。重要的是，这种时间转变的幅度和方向受场景特征调节。总体而言，结果强化了时间动态在理解真实世界中注意分配自然转变中的重要性。通过建立健康成年人中显著性驱动注视分配和个体间相似性的规范模式，本研究为视觉和认知障碍的计算建模和临床研究提供了初始参考框架。