低维度的GPT-2特征能够提升对共享功能性磁共振成像（fMRI）反应结果的跨叙事预测能力

《Journal of Neurolinguistics》：Low-dimensional GPT-2 features improve cross-narrative prediction of shared fMRI responses

　　

摘要

口语叙事理解贯穿于单词、句子和事件之中，但目前尚不清楚简洁的语言模型特征是否能够预测不同叙事和听众之间的共同脑部反应。本研究在公开的 "Narratives" fMRI 数据集中测试了低维的累积上下文 GPT-2 预测器，该数据集包含了来自 277 名参与者的 567 个经过运动质量控制的受试者故事扫描，涵盖了 13 个完整的叙事。通过温和的对齐处理获得了单词的时间信息，主成分分析将 GPT-2 的最后一层特征简化为五个组成部分。编码模型测试了这些组成部分是否能够改进对 17 个双侧大脑皮层感兴趣区域（ROIs）中听众共同反应的预测能力，这些区域超出了传统的词汇、语音时序、波形、频谱、音高和发声基线。在每次留一故事不参与训练的折叠（fold）中，特征转换和神经系数被应用于 12 个权重相同的叙事，并在完整的被省略叙事上进行评估。GPT-2 组成的特征使保留的故事的预测相关性平均提高了 $\Delta r=0.0174$（95% 置信区间 [0.0055, 0.0293]，$p=0.0078$）；13 个故事中有 10 个为阳性结果。这种改进效果超过了所有 1000 次时间位移实验的零均值（$\Delta r=0.0045$，$p=0.034）。独立嵌入的文本块并未提供可靠的跨叙事改进效果（$$\Delta r=0.0043$，$p=0.293），而累积特征产生了更大的提升效果（配对比较：$$\Delta r=0.0131$，$p=0.0366$）。对局部文本块的单独分析显示结果为零。因此，简洁的累积上下文 GPT-2 特征在跨叙事和听众的共同刺激反应中提供了小但可重复的提升效果。

引言

口语叙事理解要求听众将传入的单词与句子和事件中积累的信息联系起来。自然的故事会激活时间和前额语言区域，以及涉及记忆和事件处理的系统（Baldassano 等人，2017；Lerner 等人，2011；Simony 等人，2016）。神经编码模型提供了一种方法，通过将叙事的属性与其在大脑中的活动联系起来来研究这些反应。确定这些关系是否可以扩展到不同的故事中，对于区分普遍适用的可预测信息与特定刺激相关的关系非常重要。

语言模型表示为此目的提供了时间分辨的预测器。先前的研究表明，通过语言建模学到的表示能够预测人类对语言的神经反应（Goldstein 等人，2022；Hosseini 等人，2024；Schrimpf 等人，2021）。在自然主义的 fMRI 研究中，相对于与上下文无关的单词嵌入，基于上下文的表示 verbessert 了预测能力。Jain 和 Huth（2018）将这种改进归因于学到的单词表示以及来自前文的信息。Caucheteux 等人（2022）进一步表明，基于 GPT-2 的对口语故事的预测与听众的理解相关，其中上下文表示对叙事较长部分的贡献起到了作用。这些发现支持了上下文敏感的语言模型特征在理解过程中的相关性。

一个未解决的问题是，这些特征的简洁简洁摘要（不依赖于特定反应）在应用于完全不同的叙事时是否仍具有预测价值。使用高维表示的预测性能并不能确保其主要维度保留了进行这种转移所需的信息。故事在词汇内容、语音时序和声学结构上也存在差异。因此，通过评估简洁表示与这些测量属性在完整被省略故事中的关系，可以测试其与神经活动的关联是否超出了用于拟合的叙事范围。

GPT-2 提供了自回归表示，其中当前令牌的状态取决于之前的语言输入（Radford 等人，2019）。其隐藏状态结合了词汇、句法、位置和其他分布信息。主成分分析（PCA）可以在不使用神经反应的情况下总结这些状态中的主要变化。这提供了一种直接的方法来检查是否存在实质性的压缩仍然保留了有用的预测信息。由于 PCA 优先考虑语言模型特征的变化而不是它们与大脑活动的对应关系，因此必须通过实证来评估保留组分的神经预测价值。仅将转换应用于训练叙事也允许在同一特征空间上测试未见过的叙事。

神经目标对于这个问题同样重要。共同的反应强调了在不同听者听到相同叙事时活动的可重复性，为检验可能在故事之间泛化的刺激相关关系提供了目标。对听众的标准化反应进行平均可以减少非共同变化的影响，尽管共同活动可以反映声学和语言属性。因此在评估 GPT-2 特征的额外预测价值时，需要一个词汇和声学基线。将从每个被测试的听众中排除的听众从训练反应中剔除，还可以回答另一个问题：从其他听众那里学到的关系是否也能预测该个体对未见过的叙事的反应。

本研究测试了这样一个假设：累积上下文 GPT-2 的 PC1–PC5 组件能够在超出丰富的词汇、语音时序和声学基线的情况下，提高对未见叙事中共同 fMRI 反应的预测能力。所有符合公开 "Narratives" 数据集纳入标准的 13 个完整叙事都被包括在内（Nastase 等人，2021）。在每次留一故事不参与训练的折叠中，特征转换和神经编码系数被应用于 12 个权重相同的叙事，并在完整的第十三个叙事上进行评估。另一项分析将每个被测试的听众从所有训练叙事反应中排除。与独立嵌入的文本块的匹配比较评估了这两种表示方法的相对预测价值。图 1 总结了这项分析。

章节片段

数据集和故事纳入标准

分析使用了公开的 "Narratives" fMRI 数据集（Nastase 等人，2021），该数据集可通过 OpenNeuro/DataLad 以 ds002345 版本 1.1.4 获取。数据集包含 19 个 fMRI 任务标签。由于分析关注的是完整的叙事，因此排除了两个时间顺序被打乱的 "notthefall" 控制组。故事纳入标准要求单次运行任务、至少 20 名可用参与者以及至少 5 分钟的中位持续时间。pieman 和 schema 不符合运行或持续时间标准，而 slumlordreach 和

GPT-2 特征在叙事间的迁移

丰富的基线在 13 个叙事折叠中的平均相关性为 0.1128。添加累积上下文 GPT-2 的 PC1–PC5 后，这一相关性提高到了 0.1302。故事级别的平均提升量为 $\Delta r=0.0174$（95% 置信区间 [0.0055, 0.0293]，中位数 0.0236；(12)=3.19，p=0.0078）。13 个故事中有 10 个为阳性结果（单侧 Wilcoxon 检验 ）；符号检验 $p=0.046$；图 2；补充表 S1）。

对齐效应超过了所有的时间位移零均值。在 1000 次迭代中，零均值

讨论

跨叙事分析表明，从一组故事中学习到的简洁 GPT-2 表示可以改善对另一组叙事中共同 fMRI 反应的预测。在 12 个叙事上应用特征转换和神经系数后，添加 GPT-2 组件在 13 个折叠中的 10 个情况下改善了对完整被省略叙事的预测。这种效应超过了时间位移分布，并且在不同 ridge 约束和组件数量下仍然保持正值。平等的故事权重允许

结论

五个累积上下文 GPT-2 组件在超出详细的词汇和声学基线的基础上，提高了对完整未见叙事的预测能力，表现优于独立嵌入的局部文本块，并且能够在排除在神经模型拟合之外的听众之间迁移。这些发现支持了简洁特征集在叙事间和听众间的迁移能力，并促使人们控制性地测试哪些词汇、上下文和预测属性驱动了这种提升。

软件和可重复性

分析使用 Python 和以下工具进行：Nilearn 0.11.1、Nibabel 5.3.2、scikit-learn 1.6.1、PyTorch 2.6.0、Transformers 4.51.3、pandas 2.2.3、NumPy 2.2.5、SciPy 1.15.2 和 statsmodels 0.14.5（Abraham 等人，2014；Pedregosa 等人，2011；Wolf 等人，2020）。分析脚本、跨叙事和个别分析的规范、结果表、固定的直接依赖关系以及分析记录均可在项目仓库中找到：//github.com/bayazitkaraman/SemanticComplexityBrainActivity

伦理声明

本研究使用了公开可用的、去标识化的 "Narratives" 数据集的 fMRI 数据。所有原始数据集的参与者都根据普林斯顿大学机构审查委员会批准的程序提供了书面知情同意（Nastase 等人，2021 年报告）。本次二次分析没有招募新的参与者，也没有收集新的受试者数据。

资金来源

本研究没有收到来自公共、商业或非营利部门的任何特定资助。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。