共同记录的眼球运动和脑电活动揭示了自然阅读过程中视觉场中不同情境的多种影响

《Psychophysiology》：Co-Registered Eye-Movements and Brain Potentials Reveal Multiple Effects of Context Across the Visual Field in Natural Reading

自然阅读中语义期望与合理性对行为及神经反应的影响研究，通过眼动EEG联合记录发现旁视区N400呈现语义梯度效应，并证实跨注视整合语义特征。目标词注视时前额出现意外词反应，后额对异常词产生响应，眼动数据证实读者对语义期望和合理性均敏感。研究表明自然阅读中语义处理需旁视区与注视区协同作用。

　　本研究探讨了预期和可接受性如何影响自然阅读过程中语言处理的行为和神经指标。以往的事件相关电位（ERP）研究通过快速序列视觉呈现（RSVP）方式展示出在语义预期和可接受性被违反时，会出现不同的N400后正向反应。然而，这些现象尚未在自然阅读情境中得到验证。因此，我们记录了参与者在阅读高度约束性句子时的同步眼动和脑电数据，这些句子包含预期、意外但可接受，以及语义异常的目标词。通过锁定目标词之前的语境，我们观察到一个与语境相关的旁视N400效应。N400在目标词被注视时表现出增强（即减少），这表明语义特征在跨视野整合过程中发挥作用。在目标词注视时，我们还观察到一个前部分布的晚正向反应（与意外目标词相关），以及一个后部分布的正向反应（与语义异常目标词相关）。这些效应在锁定目标词之前的阶段并未明显出现。眼动追踪（ET）数据表明，读者在目标词注视时对预期和可接受性都表现出敏感性。综上所述，我们的研究显示，读者可以在旁视视野中开始访问语义信息，但更高层次的语义处理可能需要对旁视和中心视野中的表征进行协调。

在自然阅读过程中，从文本中提取连贯信息的能力依赖于我们快速整合新获得的感官信息与现有知识和当前目标的能力。许多心理语言学研究集中于理解先前语境对词汇和语义特征激活与整合的影响，使用了诸如脑电图（EEG）和眼动追踪（ET）等工具。这些方法已经揭示出关于词汇处理时间进程和语言系统对语义处理违反的敏感性的多种不同发现（参见Federmeier, 2022；Frisson等，2017）。随着技术的进步，现在可以将ET和EEG联合记录，以估计“注视相关脑电位”（FRPs；Dimigen等，2011；Schotter等，2025），这为理解自然阅读中语境处理的神经基础提供了强有力的支持，并为这些研究领域之间的理论鸿沟提供了前所未有的机会进行连接。

虽然联合记录文献已经复制了自然阅读中N400的调节证据（例如Dimigen等，2011；Milligan等，2023），但很少有研究系统地探讨N400之后的活动。在ERP文献中，语义可预测性和可接受性被违反时，分别会引发前部和后部的N400后正向反应（DeLong等，2011, 2014；Van Petten和Luka，2012）。然而，在自然阅读中尚未找到前部正向反应对预测违反的明确证据。这一点非常重要，因为眼动追踪研究通常未能显示读者对可接受预测违反的行为敏感性（Frisson等，2017；Luke和Christianson，2016）。因此，当前研究的一个主要目标是使用联合记录方法，探讨在自然阅读中，跨视野的语境处理行为和神经反应。

除了N400所表现出的相对快速的语义访问时间进程外，N400后的晚正向反应也已被研究用于理解语义可预测性和可接受性被违反时的脑活动。一般来说，关于晚正向反应的理论认为它们反映的是比N400更后期和更高层次的处理过程。DeLong等（2014）首先通过RSVP方式评估了这些N400后的正向反应，并在高度约束的句子中同时分析了前部和后部区域的反应。他们发现，当遇到可接受但未预测的词语时，会出现前部分布的正向反应（例如，“She shut the front window and locked the back room…”），而当遇到不可接受的词语时，则会出现后部分布的正向反应（“…locked the back note…”；DeLong等，2014）。这一模式在后续的多项研究中得到了复制和扩展（C. Li等，2023；Kuperberg等，2020；Quante等，2018；Brothers等，2020），表明这两个晚正向反应可能在功能上反映了可区分且至少部分独立的处理过程。

一些理论框架认为，前部正向反应反映了遇到可接受词语时的处理后果或成本，即需要抑制先前激活或预测的信息。例如，这一效应被认为反映了需要排除一个预测但从未观察到的词汇候选（例如，Ness和Meltzer-Asscher，2018；Ryskin和Nieuwland，2023）。这与一个更广泛的文献相一致，该文献认为在遇到语义违反后，需要调动领域通用的执行和认知控制机制来实现词汇抑制（Sánchez-Meléndez等，2025；Jongman等，2023；Payne和Federmeier，2017）。这些潜在机制也可能与前部正向反应的修正解释相兼容，即在存在另一个活跃表征的情况下，将未预测的信息整合到自己的心理模型中，需要重新调整基于意义的信息（Federmeier，2022，第19页）。一些研究还区分了前部正向反应与预期词语的前额负向反应（Lai等，2023；Wlotko等，2012），这可能反映了在多个可能的预激活表征中选择最可能的词语所涉及的歧义解决过程（Federmeier，2022；Lee和Federmeier，2009）。

与前部正向反应不同，LPC（晚期正向成分）通常与读者遇到语义异常或不一致信息时的处理困难相关，这需要额外的处理来形成连贯的表征（Brouwer等，2012）。一些模型明确将N400与LPC联系在一起，作为单一处理流的一部分，即N400反映语义记忆检索的早期阶段，而LPC则反映将词语意义整合到正在构建的句子表征中的持续处理努力（Brouwer等，2017；Aurnhammer等，2023）。其他模型则更明确地将LPC与处理不一致信息的具体阶段相关联。例如，Kuperberg等（2020）认为，语义异常引发的LPC是由输入与当前心理模型状态之间的冲突检测所触发的，这可能与后续的重新分析或修复尝试相关（Kuperberg等，2020；参见Van Petten和Luka，2012；van de Meerendonk等，2010）。这一解释与之前的研究结果一致，即LPC的幅度与回视眼动密切相关，表明在自然阅读中，读者会表现出更多的重新处理行为（Metzner等，2017）。尽管这些理论在解释上存在分歧，但它们都预测LPC在遇到不一致信息时会更大。因此，理解LPC在正常阅读中的作用具有重要的理论意义。

虽然这些N400后的正向反应在单词RSVP中已被广泛研究和描述，但在自然阅读情境中，这些过程如何被引发仍知之甚少。例如，这些成分是否可以在旁视视野中被引发，如同N400一样。Payne等（2019）使用RSVP方式发现，未预测词语并未引发明显的前部正向反应（参见Stites等，2017；Payne和Federmeier，2017）。然而，他们确实观察到当目标词在中心视野中被呈现时，会引发LPC，而旁视视野中则没有。值得注意的是，这一效应仅在读者进行主动理解，通过明确的语义可接受性判断时出现，而非被动阅读，这与先前研究中LPC对任务目标的敏感性一致（例如，Kolk等，2003）。这一依赖中心视野的LPC最近被Milligan等（2023）复制，并且他们还发现，对不可接受词语的旁视呈现不会引发调节效应（进一步支持中心视野的起源），而Li等（2023）则扩展了这一发现，将其应用于句法违反和P600。这些研究共同表明，虽然语义检索可能在旁视视野中开始，但直接的中心视野呈现是引发LPC效应所必需的。前部正向反应对预测违反的旁视或中心视野呈现是否也能被引发，仍不清楚。

与ERP文献相比，眼动追踪研究在语境处理方面显示出一致和分歧的证据。一些研究显示，年轻人在阅读可预测的词语时，跳读率更高，阅读时间更短（Rayner等，2006, 2011；参见Staub，2015的综述）。尽管存在明显的可预测性优势，但关于意外但可接受词语的特定成本证据却并不一致，有时读者甚至会表现出处理优势。例如，Luke和Christianson（2016）发现，当存在词汇竞争者（即有更预期的高闭合率词语）时，意外词语会引发促进效应，而非抑制成本。为了评估预测成本，Frisson等（2017）比较了在中性语境（如“The widow thought that it was a lovely garden…”）和高度约束语境（如“The priest wondered how he could get more people to come to the garden…”）中，意外目标词的注视持续时间。他们发现预期目标词（如“church”）和语义相关的意外目标词（如“sermon”）表现出典型的可预测性优势，但未发现意外词语的预测成本（即在意外词语上阅读时间更慢）。眼动数据与一些ERP研究在前部正向反应上的分歧，使得Frisson等（2017）认为前部正向反应可能是ERP研究中典型的非自然RSVP呈现方式的伪影。然而，Wong、Veldre和Andrews（2024）最近发现，在眼动记录中确实存在预测成本的证据：当没有异常词时，与语义无关的意外目标词会干扰首次注视，并延长注视时间。他们解释为词汇预测对整体环境需求敏感，即当仅呈现可接受句子时，读者可能转向更主动的自上而下处理方式。这一发现与ERP证据相矛盾，后者显示在存在语义异常的其他试验中，可接受预测违反会引发额外的处理（DeLong等，2014；Quante等，2018；Federmeier等，2010；Ryskin等，2020）。最后，两项研究显示在自速阅读中遇到预测违反时存在行为成本（Payne和Federmeier，2017；Jongman等，2023）。

除了可预测性之外，读者对可接受性的敏感性也很迅速，这在旁视视野中的可接受性预览效应中表现出来，即在不可接受的预览词上，跳读率降低，注视时间增加，且不受词汇频率和长度的影响（Veldre等，2020）。当可接受性违反被注视时，读者会表现出早期且显著的干扰（Rayner等，2004；Warren和McConnell，2007；Warren等，2015）。例如，Rayner等（2004）发现，直接的语义异常目标词会在首次阅读中引发可接受性效应（即注视持续时间）。眼动数据表明，可接受性违反的干扰效应迅速出现，而脑电证据则进一步显示这些效应持续数百毫秒，某些整合效应可能直到中心视野处理才开始（Payne和Federmeier，2017；Payne等，2019；Milligan等，2022；C. Li等，2023）。这些研究共同表明，虽然语义检索可能在旁视视野中开始，但更高层次的语义处理可能需要对旁视和中心视野中的表征进行协调。

在自然阅读中，语义信息的处理是一个复杂且多层次的过程。它不仅涉及对当前词语的快速识别和理解，还要求读者整合之前的信息，预测接下来的内容，并根据语境调整自己的心理模型。这种整合过程通常伴随着行为上的表现，例如眼动的模式变化，以及神经上的反应，例如N400和LPC等成分的变化。N400的出现通常与语义信息的检索难度有关，当读者遇到预期之外但仍然可能的词语时，N400的幅度会增大，而遇到完全不符合语境的词语时，N400的幅度则会达到最大值。这一现象表明，N400不仅仅是对当前词语与预期之间的不匹配的反应，而是对整个语境中信息整合过程的反映。

此外，N400后的正向反应也显示了读者在处理语义异常或不一致信息时的额外努力。这些反应通常在中心视野中更为明显，且其幅度与回视眼动密切相关。这表明，当读者遇到不一致信息时，他们需要进行更多的重新处理，以调整自己的理解。这种重新处理行为可能与更高层次的认知控制机制有关，这些机制在自然阅读中可能被激活，以应对语义违反带来的认知挑战。然而，这些机制在不同研究中的解释存在差异，有些研究认为前部正向反应反映了对预测违反的修正处理，而另一些研究则认为它反映了对整体情境模型的更新。

值得注意的是，虽然ERP和眼动追踪数据在某些方面存在分歧，但它们共同揭示了读者在处理语义信息时的行为和神经反应。例如，眼动数据表明读者在遇到意外但可接受的词语时会表现出一定的处理优势，而非抑制成本，而ERP数据则显示这些效应在神经层面可能持续更长时间。这种差异可能源于实验条件的不同，例如RSVP呈现与自然阅读之间的区别。在RSVP实验中，读者无法自由控制注视时间或回视行为，这可能影响他们对语义违反的处理方式。而在自然阅读中，读者可以灵活地调整自己的注视策略，例如通过回视来重新审视先前的信息，从而更有效地整合语义信息。

因此，本研究采用联合记录的方法，将眼动和脑电数据同步分析，以探索在自然阅读中，语义信息的处理是否能够在旁视视野中开始，并且是否需要中心视野的进一步整合。我们选择高度约束性的句子作为实验材料，这些句子在语义上具有明确的预期，使得读者在阅读过程中能够快速识别和预测接下来的内容。通过这种方式，我们可以在不干扰自然阅读行为的前提下，分析读者在不同语境下对语义信息的处理方式。实验结果显示，旁视视野中的N400效应与目标词的预期性密切相关，而中心视野中的N400效应则表现出不同的特征。此外，LPC的出现则更多地与语义异常相关，且其幅度与回视行为密切相关。

这些发现表明，在自然阅读过程中，读者能够通过旁视视野获取语义信息，并在中心视野中进一步整合这些信息。然而，不同类型的语义信息（如预期、意外但可接受、语义异常）对读者的行为和神经反应的影响是不同的。预期词语通常能够引发较短的注视时间和较高的跳读率，而语义异常词语则会引发更长的注视时间和更多的回视行为。这种差异可能反映了读者在处理不同类型信息时所采用的不同策略。例如，预期词语的处理可能更加高效，而语义异常词语的处理则需要更多的认知资源。

此外，实验还发现，读者在遇到意外但可接受的词语时，其行为反应与神经反应之间存在一定的差异。眼动数据表明，这些词语的处理并没有引发明显的处理成本，而ERP数据则显示这些词语会引发前部正向反应。这种差异可能源于实验设计的不同，例如在RSVP实验中，读者无法自由控制注视时间，而在自然阅读中，他们可以根据需要调整注视策略。因此，本研究的结果可能更准确地反映了自然阅读中语义信息的处理过程。

总的来说，本研究的结果表明，在自然阅读过程中，读者能够通过旁视视野获取语义信息，并在中心视野中进一步整合这些信息。然而，不同类型的语义信息对读者的行为和神经反应的影响是不同的，这可能反映了读者在处理语义信息时所采用的不同策略。这些策略可能包括快速的预期激活、对意外信息的修正处理，以及对语义异常的重新整合。这些过程可能受到读者当前目标、语境约束性以及认知资源的影响。因此，理解这些过程在自然阅读中的具体表现，对于揭示语言处理的神经机制具有重要意义。