《Visual Cognition》：Predicting infant gaze patterns during video viewing using spatiotemporal salience models
编辑推荐：
婴儿的日常体验在空间和时间上动态展开。尽管视觉注意在出生后第一年内显著成熟已是公认事实，但关于动态情境中引导注视的因素仍知之甚少。研究人员记录了95名婴儿（4–12个月）在观看短视频时的眼动追踪数据，并将其注视模式与三个复杂度递增的显著性模型的输出进行比较：静
婴儿的日常体验在空间和时间上动态展开。尽管视觉注意在出生后第一年内显著成熟已是公认事实，但关于动态情境中引导注视的因素仍知之甚少。研究人员记录了95名婴儿（4–12个月）在观看短视频时的眼动追踪数据，并将其注视模式与三个复杂度递增的显著性模型的输出进行比较：静态基于图的视觉显著性（Graph-Based Visual Saliency, GBVS）、动态GBVS（包含运动和闪烁信息）以及TASED-Net——一种提取并解码时空特征的3D全卷积神经网络。所有模型对注视的预测均高于随机水平，但预测幅度在不同模型间存在差异（平均偏相关：静态GBVS，r = .13；动态GBVS，r = .18；TASED-Net，r = .29）。动态GBVS相较于静态GBVS仅有适度提升，表明在低级空间特征之外，运动线索的贡献有限。TASED-Net显著优于两种GBVS版本。此外，TASED-Net的预测能力随年龄增长而提高，表明较大月龄婴儿的注视模式与该模型学习到的抽象时空表征越来越一致。这些发现确立了TASED-Net作为发展研究工具的价值，并提示注视控制的成熟反映了对复杂时空结构日益增长的敏感性。
该论文发表于《Visual Cognition》，题为“Predicting infant gaze patterns during video viewing using spatiotemporal salience models”，研究聚焦于婴儿在动态场景中的注视行为，并借助三种计算显著性模型系统比较其预测能力。
研究背景方面，婴儿出生后第一年内视觉注意发生显著成熟，从由刺激驱动逐渐转向自主控制。然而，以往针对婴儿注意控制的研究多采用静态视觉刺激，对自然动态环境中决定注视位置的因素了解有限。计算机视觉领域中的显著性模型（saliency model）基于低级图像特征（如颜色、朝向、强度）预测人的注视分布。尽管这些模型在成人静态图像上表现良好，但应用于婴儿动态视频观看时仍存在局限：传统模型如静态基于图的视觉显著性（Graph-Based Visual Saliency, GBVS）只考虑空间特征，动态GBVS虽然增加了闪烁和运动通道，但仍依赖低级特征；而深度神经网络TASED-Net能够提取更抽象的时空特征。因此，本研究旨在比较这三种模型对婴儿注视模式的预测能力，并考察其预测能力是否随月龄变化，以揭示引导婴儿动态注视的刺激特征及其发展轨迹。
在研究方法上，研究人员在加州戴维斯及周边地区招募了95名4-12个月的健康足月婴儿（121-379天，平均267天；女54名，男41名），使用SMI-REDm眼动仪（120 Hz）记录其观看11段10秒短视频（内容包含卡通、野生动物等）时的眼动数据。三种模型分别为：静态GBVS（仅提取颜色、朝向、强度的局部对比）、动态GBVS（在静态基础上增加闪烁和运动通道）、TASED-Net（3D全卷积神经网络，在成人眼动数据上预训练）。每个视频被切成10个1秒时间窗，将模型输出的显著性图与婴儿个体注视密度图进行偏相关（partial correlation）分析，控制中心偏差，并用线性混合效应模型（linear mixed-effects model）检验模型类型、年龄（日龄标准化）及其交互作用。
研究结果包括两个方面。第一，模型预测性能的层级差异：三种模型的偏相关均显著大于零，表明都能有效预测婴儿注视。但预测强度呈显著层级：静态GBVS最弱（平均偏相关r = .13），动态GBVS居中（r = .18），TASED-Net最强（r = .29），两两比较均达到显著差异，说明动态GBVS在静态特征之上提供了额外解释力，而TASED-Net则进一步大幅超越。第二，年龄与模型的交互作用：对于三种模型，预测能力均随年龄增加（所有斜率显著大于零）。但TASED-Net的年龄斜率显著大于静态和动态GBVS，而静态与动态GBVS的斜率无显著差异。这表明，随着年龄增长，婴儿注视模式越来越与TASED-Net所编码的抽象时空表征一致，而对简单低级特征（包括运动）的依赖相对稳定。
在讨论部分，研究人员指出动态GBVS优于静态GBVS，说明低级运动线索（闪烁和运动）确实额外引导婴儿注视。TASED-Net的优越性能表明，婴儿注视还受更复杂、更抽象的时空结构影响，且这种影响在出生后第一年中不断增强。由于TASED-Net是在成人注视数据上训练的，其预测能力随年龄增长可能反映婴儿注意模式逐渐接近成人。但本数据无法确定TASED-Net优势的具体来源，如编码网络的高层抽象特征、对运动更宽时间整合，还是解码网络的多层结构，这些解释并不互斥，未来需通过消融实验验证。同时，模型预测能力整体随年龄上升也可能部分由于婴儿注视行为变得更系统性和可预测，但TASED-Net斜率更陡说明这种变化不能仅由整体可预测性解释。
最后，研究结论部分可翻译为：综上所述，研究人员发现，动态情境下的婴儿注视能够被同时捕捉低级视觉特征和更复杂时空结构的模型可靠预测。在出生后第一年内，注视受静态低级特征（如颜色、朝向、强度）以及动态低级特征（如闪烁和运动）驱动；然而，TASED-Net模型的预测性最佳，表明婴儿注视逐渐与分布于空间和时间的更抽象视觉信息趋于一致。这些结果共同表明，动态情境下的婴儿注视可能反映了高低级时空信息的整合，并为未来探索抽象特征和复杂运动动力学在注视控制发展中的独特贡献奠定了基础。
