阅读插图文本时的跨模态激活、整合与验证:来自阅读时间与眼动追踪的证据

《Applied Cognitive Psychology》:Cross-Modal Activation, Integration, and Validation When Reading Illustrated Texts: Evidence From Reading Times and Eye-Tracking

【字体: 大 中 小 】 时间:2026年08月29日 来源:Applied Cognitive Psychology 1.8

编辑推荐:

  这两项实验考察了阅读插图文本所涉及的认知过程,重点关注文本与图片之间的跨模态激活、整合与验证。两项研究均采用改编的矛盾范式,在单个插图叙事中操纵先前呈现的图片与后续目标句是否一致。实验1(N=285)采用逐句呈现和按键阅读时间,在概念上复制了先前发现。实验2(

  
这两项实验考察了阅读插图文本所涉及的认知过程,重点关注文本与图片之间的跨模态激活、整合与验证。两项研究均采用改编的矛盾范式,在单个插图叙事中操纵先前呈现的图片与后续目标句是否一致。实验1(N=285)采用逐句呈现和按键阅读时间,在概念上复制了先前发现。实验2(N=143)将该范式扩展到更自然的语境,每页呈现短段落并使用眼动追踪。在两项实验中,不一致均导致更长的加工时间:实验1显示溢出句的阅读时间延长;实验2显示目标句的加工时间更长。研究还观察到目标句与同页呈现图片之间的注视转换增加。这些结果为读者在阅读插图文本时进行跨模态激活、整合与验证过程提供了初步证据。
研究背景与问题:图文结合的文本广泛用于知识获取与学习。为优化多媒体学习材料,需理解阅读图文时的认知过程。研究者以文本理解的共振-整合-验证模型(Resonance-Integration-Validation, RI-Val)为框架,关注被动发生的激活、整合与验证过程。已有研究提示这些过程可跨文本与图片模态发生,但材料呈现的生态效度有限:有的采用孤立图文刺激和Stroop式反应时,有的虽使用叙事文本,但仍逐句呈现并通过按键测量阅读时间。Frick和Schüler(2023)的跨模态效应尚未被重复,且逐句呈现可能影响认知加工。因此本研究提出两个问题:该发现能否在相似条件下被概念重复?能否在更接近教育实践的自然呈现条件下被重复?

研究内容与意义:研究人员开展了两项实验。实验1旨在用新编制材料概念重复Frick和Schüler(2023)的发现,采用逐句呈现和按键阅读时间;实验2采用相同材料(德文版),以段落形式呈现并使用眼动追踪,以更接近自然阅读。两项实验均操纵先前图片与后续目标句的一致性。研究为跨模态激活、整合与验证过程的存在提供了初步证据,并发表在《Applied Cognitive Psychology》。

关键技术与方法:实验1通过Prolific招募在线被试(目标句分析N=288,溢出句分析N=285),使用改编的矛盾范式(contradiction paradigm),操纵第一页图片与后文目标句是否一致,测量目标句和溢出句的按键阅读时间,并设置注意检查题、不一致回溯报告和图片再认测验。实验2在德国实验室进行(N=143),使用SMI RED移动眼动仪(250 Hz)记录眼动,采用13点校准,不设下颌托以保持自然阅读;材料以7页图文呈现,每页含3至4个句子和一张图片;分析目标句和溢出句的兴趣区(area of interest, AOI)的平均注视时间、平均注视时长、注视次数,以及文本区与图片区之间的注视转换次数。

研究结果:

5 Results(实验1结果):与假设相反,目标句阅读时间在一致与不一致条件下无显著差异;溢出句阅读时间在不一致条件下显著长于一致条件。这表明不一致主要影响后续句的加工。

5.1 Additional Analysis:仅4.08%的不一致条件被试能正确描述不一致;图片再认测验中,一致条件91.49%正确,不一致条件46.24%正确。

9 Results(实验2结果):目标句兴趣区的平均注视时间和注视次数在不一致条件下显著更高;目标句与图片之间的注视转换次数也显著更高;平均注视时长无显著差异。溢出句兴趣区仅注视转换次数显著更高,但经Holm校正后不再显著;其余指标无显著差异。

9.1 Additional Analysis:按页面进行的混合方差分析未发现一致性×时间点的显著交互作用。不一致条件下27.4%的被试能正确回忆不一致;图片再认正确率在不一致条件为75.3%,一致条件为95.7%。

讨论总结:两项实验均提供了跨模态激活、整合与验证的初步证据,但效应出现位置不同:实验1效应出现在溢出句,实验2效应出现在目标句。研究者提出几种可能解释,包括在线与实验室情境导致的连贯性阈限(coherence threshold,指读者对当前文本达到满意连贯程度并继续阅读的临界点)差异、呈现方式不同、材料语言不同。不一致的自觉检出率较低,与以往研究一致,说明这些过程可能是被动、自动的,且不一定能进入回顾性报告。方法论上,眼动追踪能在更自然条件下测量这些过程,避免了按键对阅读流畅性的干扰。局限性包括仅使用单一叙事文本、未测量学习结果、未使用下颌托等。

研究结论:总体而言,所报告实验的结果进一步提供了初步证据,表明激活、整合与验证过程可能适用于插图文本,即跨模态的激活、整合与验证过程可能发生在图片与文本之间。实验1在概念上重复了先前工作(Frick和Schüler,2023),从而加强了跨模态激活、整合与验证的实证基础。实验2表明,这些过程也能在更接近教育情境的自然阅读环境中被观察到,且加工时间的增加很可能源于对关键句的再阅读。此外,在阅读更自然的文本时,读者可能将更多注意分配给文本与图片的协调,这可能反映了为解决所感知到的不一致而增加对可用信息的投入。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号