通过眼动追踪研究文本与图片之间的视觉与情感互动，理解光文本

《Scientific Reports》：Understanding phototexts through an eye-tracking study on visual and emotional interactions between text and photo

　　

摘要

视觉感知是一种复杂的认知过程，它使人类能够从周围环境中提取有意义的信息。融合了照片与文字元素的视觉文本、艺术作品及文学创作，为读者提供了一种需要他们在视觉解读与语言解读之间切换的多模态体验。本研究在缺乏相关经验的参与者中，探讨了空间布局、情感内容、阅读愉悦感以及注意力焦点等因素对视觉文本浏览的影响。我们运用眼动追踪技术，分析了参与者的注视模式，重点关注了首次注视的延迟时间以及在不同兴趣区域内的注视分布情况。此外，我们还研究了在经过系统平衡处理以消除位置效应后，文本-照片组合刺激中是否存在左视偏误。研究结果揭示了眼球运动行为的关键特征，以及人们对视觉文本感知的明确偏好和判断。眼动追踪数据表明，无论照片位于何处，人们注视文本的延迟时间都更短；而针对照片则会出现明显的左视偏误。有趣的是，人们的注意力模式会随着时间的推移而发生变化，最初对文本的关注会逐渐转向照片部分。通过将视觉文本视为复杂的多模态刺激，本研究为理解它们在注意力分配和感知参与度方面的协同作用提供了新的见解。