有时，你越不懂，越要看：语言处理中的目标依赖性眼球运动

《Brain Research》：Sometimes you look more when you know less: Goal dependent eye movements during language processing

　　

摘要

在关于并发场景观看过程中语言理解（即"视觉世界范式"）的文献中，许多研究都暗含一个假设：听话人越确定某个实体正在被指称，就越倾向于注视该实体——而且研究结果往往似乎支持这一假设。在本研究中，我们通过两个使用完全相同的语言材料和视觉场景、但任务要求不同的实验，直接检验了这一假设。在一个要求参与者对代词的指称对象采取动作的任务中，我们观察到了指称确定性与其最可能是代词指称对象实体的视觉注意之间的典型正相关关系。然而，在一个仅要求理解的"看和听"任务中，更高的指称确定性并没有增加对可能指称对象的注视。相反，指称确定性与那些并非潜在指称对象的实体的注视呈正相关。因此，指称确定性与视觉注意之间的关系取决于任务情境。这些发现表明，在视觉世界范式中，眼动并不必然转向那些表征当前处于活跃状态的实体。相反，听话人的目标塑造了理解过程中视觉注意的分配方式。因此，在解释视觉世界范式中的眼动时，考虑任务情境非常重要。我们推测，仅在理解任务中观察到的这种模式可能源于以下原因：听话人并没有把视觉注意集中在那些在话语中已经建立得很好的实体上，而是把视觉注意导向那些他们预期在理解语言这一目标下将更具信息量的实体上。我们将我们的发现与阅读理解、场景描述和观看过程中观察到的类似现象，以及婴儿的注视偏好，还有语言产生中的相关效应联系起来讨论。

片段摘录

实验材料与规范化（两个实验均适用）

我们构建了21个包含四句话的实验项目（示例见表1，完整材料集见附录）。每个项目由同一四句话故事（preamble）的三种版本组成，其指称确定性（强、中等和弱）各不相同，总计63个实验故事。前两句（导入语）引入了两个动物角色。这些句子经过调整，以改变其中一个动物被理解为

实验1

实验1采用了一个动作任务。参与者被告知他们会听到一个提示音，届时他们应该点击最近提到的角色（见"程序"部分）。这一任务激励听众在角色被提及时注视它们，以便为可能的点击做准备。我们的研究重点是听众在听到代词之后、但在听到提示音之前对角色的视觉注意。

实验2

实验2移除了动作要求：参与者只需"看着听"，而不是点击某个角色，为与实验1相同的理解测验题做准备。如果视觉注意是由激活驱动的，那么尽管任务发生了变化，实验2应与实验1呈现相同的模式。然而，如果视觉注意与指称确定性之间的正相关依赖于与听话人的任务目标的契合（在实验1中，这一目标是

总讨论

我们使用相同的语言输入和视觉场景，通过操纵任务——一个动作任务（实验1）和一个看着听任务（实验2）——探讨了指称确定性与视觉注意之间的关系。当任务要求对某个指称对象采取动作时，对该实体的视觉注意随着指称表达式与之映射的确定性增加而增加。这一发现复制了在众多视觉世界范式研究中观察到的模式。在看着听任务中，则

CRediT作者贡献声明

Eiling Yee：构思、数据整理、正式分析、调查研究、方法论、项目管理、软件、监督、可视化、写作——初稿撰写、写作——审阅与编辑。Franklin A. Bray：正式分析、写作——审阅与编辑。Daphna Heller：构思、正式分析、调查研究、方法论、项目管理、可视化、写作——初稿撰写、写作——审阅与编辑。

写作过程中生成式人工智能及AI辅助技术的声明

在准备本作品的过程中，作者使用了ChatGPT进行校对和句子层面的编辑。在使用该工具后，作者根据需要审阅和编辑了内容，并对出版物的全部内容负全部责任。

未被引用的参考文献

Tanenhaus等人（2000）。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些关系可能被认为影响本文所报告的工作。

Eiling Yee|Franklin A. Bray|Daphna Heller

美国康涅狄格大学大脑与认知科学研究所