语言模型规模对神经与行为加工指标预测的分化效应:更大更好的模型为何能更准模拟N400却与阅读时间“失配”?

《Journal of Memory and Language》:Better language models better model the N400, but not reading time

【字体: 大 中 小 】 时间:2026年04月09日 来源:Journal of Memory and Language 3

编辑推荐:

  本文为解决大型语言模型在预测人类语言处理指标时表现出的矛盾现象——模型规模增大通常提升自然语言任务性能,却可能损害对阅读时间的预测——开展了系统研究。通过分析Pythia模型系列在4个阅读时间数据集和9个N400数据集上的表现,研究发现:模型参数量、训练数据量和下词预测能力(困惑度)的增加持续改善对N400波幅的预测,但对阅读时间的预测在训练约20亿token后出现下降。这表明N400与阅读时间可能反映了语言理解中语义预测与整合过程的不同方面,为理解人脑语言处理机制提供了新视角。

  
在过去的几十年里,计算语言模型已经成为研究人类语言理解神经机制的重要工具。一个直观的假设是,语言模型越好地预测下一个词,它就应该越好地模拟人类在理解语言时对可预测性的反应。然而,近年来关于阅读时间的研究却给出了一个令人困惑的发现:在某些情况下,更大、更“聪明”的语言模型——那些在自然语言处理任务中表现更出色的模型——在预测人类的阅读时间时,表现反而更差。这似乎暗示,当我们用模型来衡量语言的可预测性时,可能存在一个“甜蜜点”:模型不够好不行,但“太好”了也可能与人类的行为脱节。这是阅读时间测量独有的特例,还是反映了在线语言理解测量中更普遍的解耦现象?为了探究这个问题,研究人员将目光投向了另一个被广泛研究、稳健的在线加工指标——事件相关电位中的N400成分。
这项研究发表在《Journal of Memory and Language》上,由James A. Michaelov和Benjamin K. Bergen完成。他们系统地比较了语言模型的规模(参数量)、训练数据量以及在自然语言基准测试中的表现,如何影响其预测阅读时间和N400波幅的能力。基于对4个阅读时间数据集和9个N400数据集的深入分析,研究不仅复现了先前关于阅读时间的结果,更揭示了一个关于N400的崭新图景。
研究采用的关键技术方法
研究主要使用了基于Pythia套件的自回归变换器(autoregressive transformer)语言模型,该系列模型包含从1400万到120亿参数的不同规模版本,并在完全相同的文本语料库(The Pile)上训练,且提供了训练过程中大量检查点的模型参数,从而能有效分离模型参数量与训练数据量各自的影响。研究计算了目标词在语境中的惊异值(surprisal,即负对数概率),作为语言模型预测性的操作化指标。通过构建线性混合效应回归模型,将惊异值作为预测变量,分别对阅读时间(包括自定步速阅读时间和眼动追踪中的穿越前时间)和N400波幅进行建模,并使用AIC(Akaike Information Criterion)来评估模型预测与人类数据之间的拟合优度。研究分析了来自多个已发表研究的阅读时间和脑电数据,确保了结果的普适性。
研究结果
实验1:阅读时间的负向缩放效应
本研究首先复现并扩展了Oh and Schuler (2023a)的分析。结果显示,语言模型对阅读时间的预测能力随着训练数据的增加而提高,直到模型训练了大约0.5至20亿个词元(token)时达到峰值,此后预测能力开始下降。更大的模型在峰值后表现出更大幅度的性能下降。统计分析表明,在训练早期(第16至512步),更多的训练数据显著改善模型拟合;而在后期(第1000步及以后),更多的训练数据和更大的模型规模均会导致拟合效果显著变差。这表明,在超过一定训练量后,语言模型在“下词预测”上变得过于优秀,以至于其预测与人类的阅读加工过程不再完美匹配。
实验2:模型规模对N400的积极效应
与阅读时间的结果形成鲜明对比的是,语言模型对N400波幅的预测展现了完全不同的模式。模型性能在训练了大约0.5至20亿个词元后才开始显著提升,并随着训练的进行持续改善,直至训练结束。更大的模型以及训练了更多数据的模型能更好地预测N400数据,且模型规模越大,增加训练数据带来的改善效应越强。统计上,更多的训练数据和更大的模型规模均对N400预测能力有显著的积极影响。简言之,从实用角度看,训练了0.5-20亿词元的模型最能预测阅读时间数据,而更大、训练数据更多的模型则更能预测N400数据。
实验3:语言模型质量的作用
研究人员进一步探究了上述缩放效应在多大程度上是由语言模型的质量驱动的。他们将模型质量操作化为困惑度(perplexity, PPL),即模型在给定上下文中预测下一个词的能力。结果表明,困惑度更低(即质量更好)的模型,其预测与N400波幅的相关性也更高。对于阅读时间,模型质量(更低的困惑度)在达到某个点之前与更好的预测性能相关,但超过该点后,更好的模型质量反而与更差的拟合相关。这支持了“模型过于优秀”的假设对于阅读时间成立,但对于N400则不成立。
实验4:自然语言处理任务表现
为了更全面地理解“模型质量”,研究评估了相同的语言模型在多项自然语言处理(NLP)任务上的表现,以探究何种能力模式与成功预测N400相关。研究发现,在自然语言任务上表现更好的模型,也倾向于在预测N400上表现更好。这表明,预测N400的能力与模型更广泛的、超越简单词预测的语言理解能力相关联。
实验5:跨模型家族的泛化性
研究将分析扩展到Pythia之外的五个自回归变换器语言模型家族。结果发现,N400预测能力与模型规模、更低的困惑度以及更好的基准测试性能之间的正相关关系,在不同模型家族中普遍存在。这进一步证实了研究核心发现的稳健性和普适性。
结论与讨论
本研究的核心结论是:更好的语言模型确实能更好地模拟N400,但不能更好地模拟阅读时间。这一差异揭示了N400和阅读时间这两种测量指标所反映的神经认知过程存在重要区别。阅读时间可能更多地捕捉了语言理解中整合、歧义消解或注意资源分配等过程,这些过程不仅依赖于语义预测,还可能受到模型“过度预测”(例如对低频词或开放词类词的预测过于准确)的干扰。而N400则被认为与语义预测和整合更为直接相关,更大、更高质量的语言模型因其更丰富的语义表征和更精准的语境概率估算,从而能更好地模拟这一神经反应。
这一发现具有多重重要意义。首先,在方法论上,它提示计算建模研究需要谨慎选择用于与人类数据对比的语言模型,模型的“最佳”状态可能因所研究的认知或神经指标而异。其次,在理论上,它加深了我们对N400和阅读时间本质的理解,表明它们并非衡量同一认知过程的不同侧写,而是可能索引了语言理解流水线中不同的、甚至部分分离的阶段。N400对语境中语义预测的细微差异更为敏感,而阅读时间则可能反映了更后期或更复杂的加工难度。最后,该研究为利用先进计算模型探索人脑语言处理机制提供了新的框架和证据,表明虽然当前的大语言模型在诸多任务上接近或超越人类,但它们与人类认知的对应关系是复杂且分化的,这种分化为我们逆向工程人脑的语言智能提供了独特的窗口。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号