评估大型语言模型与大脑神经预测性研究中伪相关性的来源:非稳健方法与易混淆因素的分析

《Nature Communications》:Spurious alignment between large language models and brains can emerge from non-robust methods and overlooked confounds

【字体: 大 中 小 】 时间:2026年04月28日 来源:Nature Communications 15.7

编辑推荐:

  在探究大型语言模型(LLM)与大脑神经活动对齐的研究领域,当前方法学上的非稳健性与潜在混淆变量可能导致伪相关性结论。为此,研究人员对广泛使用的三个神经数据集及多种LLMs和方法进行了大规模评估。研究发现,打乱的训练-测试分割、激活提取方式以及位置信号、词率等混淆变量,均能显著影响结果,甚至完全解释未经训练LLMs的神经预测性能。该研究警示了该领域现有研究的潜在风险,强调了严谨方法学的重要性,为未来建立稳健的脑科学人工智能模型评估标准提供了关键依据。

  
在人工智能与神经科学交叉的前沿领域,一个激动人心的研究方向是探索大型语言模型(LLM)与人类大脑处理语言时神经活动的对应关系。科学家们试图通过评估不同LLM对大脑活动信号的“神经预测性”(Neural Predictivity),来洞察大脑的语言处理机制,甚至反过来指导更“类脑”的人工智能模型设计。随着相关研究成果迅速涌现,一个关键问题浮出水面:我们观察到的模型与大脑之间的“对齐”(Alignment)是真实且有意义的,还是由研究方法本身的漏洞或未被察觉的干扰因素所制造的假象?这种担忧并非空穴来风,因为不严谨的方法可能导致“伪相关性”(Spurious Alignment)的结论,这不仅会误导科学认知,还可能将整个领域引入歧途。为了回应这一挑战,一项旨在对现有研究方法进行大规模、系统性稳健性评估的研究应运而生,其成果最终发表于《Nature Communications》。
为了全面评估该领域研究发现的可靠性,本研究采用了多维度、系统性的分析策略。核心技术方法包括:1)多模型评估:涵盖了从经典词向量模型到最先进的大规模语言模型在内的广泛LLMs,以及随机模型和基于混淆变量的基准模型。2)多数据集验证:在三个被广泛引用的公开神经数据集(包括Pereira等和Blank等的fMRI数据集)上进行分析,确保了结论的普适性。3)方法学扰动分析:系统地检验了关键方法学选择的影响,例如使用“打乱的分割”(Shuffled Splits)进行模型训练与评估,以及从LLM中提取“激活”(Activations)的不同方式(如最后一层与特定层的选择)。4)混淆变量控制:量化了“位置信号”(Positional Signals,如单词在句子中的序列位置)和“词率”(Word Rate,如单词长度、频率等表面语言学特征)等潜在混淆变量对神经预测性能的贡献,并将其与LLMs的性能进行对比。5)预测建模与相关性分析:采用标准化的“编码模型”(Encoding Models)框架,将模型特征与大脑体素(Voxel)活动进行关联,并通过交叉验证计算预测神经活动的性能指标。
结果一:打乱的训练-测试分割会导致过于乐观且不可靠的性能评估
研究人员首先关注了模型评估中的一个基本步骤:如何将数据分割用于训练和测试。他们发现,一种常见的做法——在创建训练集和测试集时,随机打乱所有试次(Trials)而忽略其属于不同叙述段落或实验区块(Block)的固有结构——会带来严重问题。在这种“打乱的分割”下,由于测试数据可能包含与训练数据来自同一叙述语境的内容,模型会无意中学习到与特定故事内容相关的、而非普适的语言-神经映射,导致其预测性能被高估。分析显示,使用这种非稳健分割方法得到的结果,其性能评估过于乐观,并且在不同类型的模型(如基于Transformer的模型与循环神经网络)之间制造了虚假的性能差异排名。相比之下,采用尊重数据自然区块结构的“非打乱分割”(Unshuffled Splits)或“留出故事分割”(Leave-Stories-Out Splits)时,许多原本“显著”的模型间差异消失了,这表明先前部分有影响力的结论可能建立在有缺陷的评估方法之上。
结果二:从LLMs中提取激活的方式存在偏差,可能倾斜结论
研究的第二个焦点是如何从LLM中提取用于预测大脑活动的特征表示(即“激活”)。通常,研究者需要选择从模型的哪一层网络提取激活。本研究发现,这一看似技术性的选择实际上能显著影响研究结论。具体而言,当选择从模型的最后层(Final Layer)提取激活时,那些在语言建模任务上表现更优的、参数量更大的LLMs(如GPT-2系列中更大的版本)显示出更高的神经预测性,这似乎支持“模型越强,越像大脑”的直观假设。然而,如果改为从模型的中间层(例如,对于某些架构,倒数第二层)提取激活,这种优势模式就发生了改变,甚至可能逆转。这表明,单纯比较不同模型“最后层”的神经预测性,其结果可能并非反映了模型与大脑对齐的本质差异,而仅仅是对特定激活提取方式的敏感反应。这种“提取偏差”(Extraction Bias)若不加以控制,会不公正地偏向或贬低某一类模型架构。
结果三:潜在的混淆变量具有强大的预测能力,可解释“对齐”现象
研究最引人深思的发现关乎潜在的“混淆变量”(Confounds)。研究人员考察了两种简单且与具体语言语义内容无关的变量:1)位置信号:单词在句子中的顺序位置(如第几个词);2)词率:包括单词的长度、频率、词性等表面语言学属性。令人惊讶的是,仅使用这些简单的混淆变量构建的基准模型,在预测大脑活动方面表现出了与经过完整训练的大型语言模型相竞争的强大能力。更重要的是,对于那些未经任何语料训练、仅随机初始化的“未经训练的LLMs”(Untrained LLMs),其先前观察到的、看似非零的神经预测性,可以完全被这些混淆变量所解释。也就是说,一个随机初始化的模型之所以能预测部分大脑活动,并非因为它捕获了任何有意义的语言表示,而仅仅是因为其随机产生的特征向量偶然与位置或词率等简单变量相关。这一发现强烈提示,在评估LLM(特别是未经训练或较弱的模型)的神经预测性时,必须严格排除这些混淆变量的影响,否则很可能将虚假的相关性误读为有意义的神经科学洞见。
综合上述发现,本研究得出了明确而审慎的结论:当前关于大型语言模型与大脑神经活动对齐的研究领域中,部分看似显著的发现可能源于非稳健的研究方法和被忽视的混淆变量。具体而言,使用打乱的数据分割会导致不可靠的性能评估;从模型中提取激活的方式可能引入系统性偏差,倾斜对不同模型类的比较;而位置信号和词率等简单混淆变量则拥有不容忽视的预测力,足以解释未经训练模型的预测性能,甚至与训练有素的大型模型一较高下。这些结果并非否定整个研究方向的价値,事实上许多严谨的研究已经避免了这些陷阱。然而,它们如同一声响亮的警钟,强调了在追求人工智能与神经科学交叉的深刻见解时,方法论上的严谨性与对潜在干扰因素的控制具有至关重要的意义。这项研究为未来建立更可靠、更稳健的评估标准提供了关键的实证基础和清晰的改进方向,确保我们朝着真正理解大脑与智能模型关系的目标坚实迈进,而非被统计假象或方法瑕疵引入歧途。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号