基于眼动追踪数据的预训练语言模型认知对齐研究：从表征学习到注意力机制解析

本研究通过整合多语言眼动追踪数据(MECO)，系统探究了预训练神经语言模型(NLMs)对人类阅读行为的编码能力。研究人员采用探测分类器框架和注意力分析技术，发现Transformer模型在预训练阶段已隐含眼动相关特征，而基于眼动数据的微调能显著提升模型注意力机制与人类认知的匹配度。该成果为可解释人工智能(XAI)领域提供了认知对齐新范式，对构建类人语言处理系统具有重要指导意义。

　　

在人工智能技术飞速发展的今天，以Transformer架构为核心的神经语言模型(NLMs)虽在各类自然语言处理(NLP)任务中表现卓越，其"黑箱"特性却始终制约着模型的可解释性。尤其当这些模型应用于医疗、法律等高风险领域时，缺乏对人类认知机制的模拟可能引发严重后果。与此同时，心理语言学领域积累的大量眼动追踪(eye-tracking)数据揭示：人类阅读时的眼球运动模式能精确反映词汇预测、句法复杂度等认知加工过程。这种认知信号与语言模型内部表征之间是否存在潜在关联？能否通过特定方法增强两者的对齐度？这些问题成为当前可解释人工智能(XAI)研究的核心挑战。

意大利国家研究委员会计算语言学研究所的Luca Dini团队在《Neurocomputing》发表的研究中，创新性地将多语言眼动追踪数据(MECO)与模型解释技术相结合。研究采用探测分类器(probing classifiers)分析预训练模型的表征空间，通过注意力权重可视化技术考察模型微调前后的认知对齐变化，并在句子复杂度评估和情感分析两类下游任务中验证模型性能。实验设计涵盖单语/多语模型对比、跨层注意力分析等维度，所有数据均来自真实读者的眼动记录。

分析预训练模型编码的表征
通过Spearman相关性分析发现，Transformer各隐藏层均能有效预测首次注视时间、总阅读时间等眼动指标，其中中间层(6-8层)表现最优。英语模型的预测能力(r=0.32)显著优于意大利语模型(r=0.27)，证实预训练过程已隐式学习人类阅读模式。

微调对注意力机制的影响
在眼动数据微调后，模型注意力头与人类注视热图的相关系数提升47%。特别值得注意的是，高层注意力头展现出对功能词(如冠词、介词)的显著抑制，这与人类"语义优先"的阅读策略高度吻合。

下游任务中的认知保持性
在句子复杂度评估任务中，经过眼动数据中间微调的模型F₁值提升3.2%，且注意力模式保持与人类85%的相关性。情感分析任务虽与阅读认知关联较弱，模型仍避免出现灾难性遗忘(catastrophic forgetting)，证实认知对齐具有任务泛化性。

跨语言与个体差异分析
多语言模型在英语-意大利语间表现出稳定的注意力迁移特性，但个体读者的眼动模式差异导致模型对齐度存在±15%波动，提示未来研究需考虑个性化适配。

这项研究首次系统论证了神经语言模型通过预训练和针对性微调可实现与人类阅读认知的多层次对齐。其创新价值体现在三方面：方法学上创建了"表征探测-注意力优化-任务验证"的认知评估框架；技术上证实眼动数据能有效引导Transformer注意力机制；应用层面为开发符合医疗伦理要求的AI系统提供了可行路径。正如作者Felice Dell’Orletta强调的，这项成果标志着NLP研究从"性能驱动"向"认知驱动"的重要转向，为构建真正理解人类语言的智能系统奠定了理论基础。未来工作可延伸至脑神经信号融合、多模态认知建模等方向，进一步缩小机器与人类语言处理的本质差距。