《Sage Open》：Looking while Listening: How Visual Attention Unmasks Cognitive Processes in L2 Comprehension
编辑推荐：
当人们注视屏幕并聆听第二语言（second language, L2）时，其双眼运动似乎能够反映其心智中认知过程如何运作的重要信息。尽管针对第二语言（L2）听力已开展了多年的眼动追踪（eye-tracking）研究，研究人员与学界仍不清楚这些眼动的实际含义。本
当人们注视屏幕并聆听第二语言（second language, L2）时，其双眼运动似乎能够反映其心智中认知过程如何运作的重要信息。尽管针对第二语言（L2）听力已开展了多年的眼动追踪（eye-tracking）研究，研究人员与学界仍不清楚这些眼动的实际含义。本文引入整合视听加工（Integrated Visual-Auditory Processing, IVAP）框架以填补这一空白。该框架认为，第二语言听力过程中的眼动可划分为三个不同层级：自动化加工（automatic processing）（快速的、无意识的反应）、引导式加工（guided processing）（习得的注视位置模式）以及策略性加工（strategic processing）（理解困难时审慎的视觉策略）。每个层级反映不同的认知过程——从基础注意（attention）到复杂的意义建构（meaning-making）。基于对近期眼动研究的目的性综述（purposive review），本文作为概念性论文提出这些层级如何依据语言水平（language proficiency）、任务难度（task difficulty）以及工作记忆（working memory）等个体差异而理论化地产生。该框架为领域内令人困惑的发现提供了具有理论基础的解释，例如为何眼动有时似乎能预测理解，有时则不能。除推进理论外，该研究旨在为听力测试设计和眼动数据解读提供实践指导。尽管该框架是面向第二语言情境开发的，但其三级层级体系可能适用于任何个体必须在认知负荷（cognitive strain）下协调视觉与听觉信息的场合。
当二语（second language, L2）学习者边听边看屏幕时，其眼动行为被认为能够映射内在认知过程。然而，尽管眼动追踪（eye-tracking）研究已有多年积累，学术界对眼动究竟反映何种认知机制仍缺乏统一解释，部分研究甚至发现眼动与理解结果之间无显著相关。这种理论碎片化阻碍了研究的深入与评估实践的发展，尤其在处理复杂听力情境时，研究者难以判断所测量的眼动究竟代表何种认知成分。
针对这一空白，研究人员Bhuvaneshwari Palanisamy和Rajasekaran V提出了整合视听加工（Integrated Visual-Auditory Processing, IVAP）框架。该框架将二语听力中的眼动行为理论化为三个层级——自动化加工、引导式加工和策略性加工，并将其映射至注意分配机制、认知负荷调节、意义建构过程和元认知监控四个认知成分。框架指出，眼动与理解结果的不一致关系，根源在于不同学习者依据语言水平、任务难度及工作记忆（working memory）等个体差异，在不同认知参与层级间动态转换。值得注意的是，IVAP框架在理论上独立于Tinius开发的整合视听持续操作测验（Integrated Visual and Auditory Continuous Performance Test, IVA CPT），前者是解释自然情境下听力理解中眼动反映认知过程的理论模型，后者则是测量注意与反应控制的神经心理评估工具。这一理论整合不仅为理解二语听力中的视觉-认知交互提供了系统解释，也为听力测试设计、眼动数据解读及后续实证研究奠定了概念基础。
研究人员采用目的性综述（purposive review）方法，系统检索Web of Science、Scopus和Google Scholar等数据库，以“eye-tracking”“L2 listening”“visual attention”“multimodal processing”及“second language comprehension”为关键词，纳入2014至2024年间发表于同行评审期刊的实证与理论文献，并选择性纳入早期经典文献。通过对跨研究的趋同证据进行综合，提炼出三级视觉-认知参与层级及四个核心认知成分，构建出IVAP框架的理论模型。作为概念性论文，该研究不直接涉及人类被试，因此无特定样本队列来源。
2.1 眼-心假说（Eye-Mind Hypothesis）及其多模态局限
研究人员指出，眼-心假说在纯阅读研究中假设注视与加工之间无明显时滞，但在多模态二语听力情境中，视觉世界范式（visual world paradigm）研究显示学习者的眼动具有延迟性和较低预测性，阅读-边听（reading-while-listening）任务也呈现出跨通道协调的额外处理需求。因此，传统假说必须扩展以解释视觉与听觉加工通道的复杂交互。
2.2 二语多模态听力中的认知负荷理论（Cognitive Load Theory）
基于认知负荷理论，研究人员归纳出内在负荷、外在负荷和相关负荷三类。低工作记忆容量学习者更多通过闭眼或转移视线等负荷降低行为管理认知资源；高级学习者则表现出更高效的负荷优化行为，如更短的注视持续时间和更具针对性的扫描模式。
2.3 多媒体学习原则与视听整合
借鉴Mayer的认知理论多媒体学习，研究人员强调双通道加工、容量有限和主动加工原则。学习者在观看字幕视频时表现出对字幕和视觉内容的协调注意，高工作记忆容量者更善于在听觉理解困难时选择性关注字幕。
2.4 理解个体差异的近期进展
工作记忆容量、注意控制、加工速度和焦虑等因素显著影响视觉注意分配。高工作记忆容量学习者表现出灵活的注意切换，而焦虑学习者则呈现更不规则的扫描模式。研究还指出，学习者忽视诱惑性细节（seductive details）的能力存在个体差异。
3.1 IVAP框架的核心成分
框架提出四个相互关联的认知过程：注意分配机制包括预测性视觉扫描、反应性视觉搜索和策略性视觉监控；认知负荷调节包括负荷降低、负荷平衡和负荷优化行为；意义建构过程涵盖指称加工、推断加工和整合加工；元认知监控包括验证行为、修复行为和评价行为。
3.2 动态交互
这些成分并非孤立运作，而是随语言水平、任务复杂度和个体差异动态交互。高水平学习者能够并行运作多个成分，而低水平学习者更倾向于序列加工。任务复杂度增加会触发各成分间更紧密的耦合，如验证与修复行为间更频繁的转换。
4.1 层级1：自动化视觉加工
该层级在意识控制之外运作，反应时短，通常在200至300毫秒内启动眼动，注视持续时间短于250毫秒，眼跳轨迹直接高速。即使未明确注意视觉信息，学习者也会自动定向于视觉变化，为高层级加工提供知觉基础。
4.2 层级2：引导式视觉加工
作为自动化与策略性加工的过渡，该层级通过自上而下期望与自下而上知觉输入的交互形成。注视持续时间通常为250至400毫秒，眼跳呈现系统性顺序，反映任务图式（task schemas）的引导作用，并随练习部分自动化。
4.3 层级3：策略性视觉加工
该层级涉及审慎、有意识的视觉策略，需要大量认知投入。注视持续时间常超过400毫秒，眼跳灵活且可预测性差，伴随频繁回视、比较行为和扩展搜索。学习者基于成本-效益分析在必要时部署此层级，但即使高水平学习者亦难以长期维持而不出现认知疲劳。
5. 可检验预测
基于层级理论，研究人员提出11项可检验预测，涵盖语言水平、任务特征、个体差异及跨语言因素。例如，低水平学习者以层级1行为为主，高水平者在复杂任务中增加层级3行为；推断任务比显性理解任务引发更多层级3行为；工作记忆容量调节层级与理解的关系；焦虑增加层级1并减少层级3行为。
6. 实践应用：多模态评估的启示
在测试设计方面，视觉复杂度应与听觉内容难度及目标认知过程校准；支架设计应提供适度支持但避免过度依赖，多模态信息需保持时间和语义一致。在眼动数据解读方面，框架强调层级依赖的解读方式：层级1中较长注视可能反映处理困难或惊讶，层级2中中等注视反映高效抽取，仅层级3中延长注视可靠指示策略性深度加工。效度方面，需警惕视觉处理是构念相关还是构念无关方差（construct-irrelevant variance），并考虑跨文化差异和非线性的视觉-表现关系。
7. 未来研究方向
未来需系统验证框架预测，开发捕捉过程交互的复合指标，结合脑电图（EEG）和功能磁共振成像（fMRI）等神经影像技术，并将情感因素与跨语言差异纳入理论扩展。
8. 局限与挑战
当前眼动追踪系统的时间与空间分辨率有限（通常30至120赫兹），可能遗漏微眼跳（microsaccades）等短暂眼动；网络摄像头追踪精度较低。作为概念性论文，框架尚未经过直接实证检验，三级层级可能简化了连续的视觉-认知参与谱系。文献采用目的性综述，存在选择偏差（selection bias）和发表偏差（publication bias）风险。此外，框架未充分考虑文化变异和隐性注意转移（covert attention shifts），其可推广性限于成年二语学习者在计算机化多模态听力任务中的情境。
9. 研究结论
IVAP框架通过整合认知负荷理论与多媒体学习原则，为二语听力眼动研究提供了统一的理论解释，阐明了眼动与理解结果不一致的根源在于认知参与层级的动态差异。研究结论指出，该框架并非终点，而是为后续系统实证验证、听力测试优化及自适应学习系统设计提供理论脚手架的起点。随着眼动追踪技术日益普及和远程测试扩展，稳健的理论框架对确保这些工具被有效用于理解二语听力过程和提升评估实践至关重要。
