编辑推荐：
研究人员为解决从非侵入性大脑记录重建语言的难题，开展 BrainLLM 研究，其性能优异，助力脑机语言研究。
在科技飞速发展的今天，脑机接口（BCI）技术成为了众多科研人员竞相探索的前沿领域。想象一下，如果能直接从大脑记录中获取信息，重建出人们内心所想的语言，那将为医疗、通信等多个领域带来革命性的变化。然而，从非侵入性大脑记录中重建语言，一直是科学界面临的一大挑战。
以往的研究大多采用分类设置来应对这一挑战，即预先构建一组语言候选，再将其与从大脑记录中解码的表征进行匹配。但这种方法存在明显的局限性，比如构建的候选可能无法涵盖所有情况，而且大脑解码和语言生成是分开进行的，导致生成的语言不一定能准确反映大脑记录的语义。与此同时，大语言模型（LLM）在计算语言建模领域取得了巨大进展，它能根据大量文本学习到的统计语义知识，生成连贯的文本。但现有的将 LLM 与大脑信号解码相结合的方法，依然没有很好地解决将大脑记录直接融入语言生成过程的问题。
为了攻克这些难题，来自清华大学、阿姆斯特丹大学、哥本哈根大学、拉彭兰塔 - 拉赫蒂理工大学的研究人员开展了一项名为 BrainLLM 的研究，相关成果发表在《Communications Biology》上。
研究人员为开展此项研究，主要运用了以下关键技术方法：首先，收集了三个公开的功能磁共振成像（fMRI）数据集，包括 Pereira’s 数据集、Huth’s 数据集和 Narratives 数据集，这些数据集均来自健康参与者在感知视觉或听觉语言刺激时的大脑记录。然后，采用了一种名为 “prompt tuning” 的协议和基于生成的损失函数来训练大脑适配器，使大脑记录的表征能与 LLM 的文本嵌入空间相匹配，进而实现将大脑信号直接融入语言生成过程。
研究结果如下：
- 模型性能评估：通过与控制模型 PerBrainLLM 以及其他方法对比，BrainLLM 在生成与感知延续更匹配的语言方面表现出色。在 Pereira’s 数据集、Huth’s 数据集和 Narratives 数据集上，BrainLLM 相对于 PerBrainLLM 的平均胜率分别达到 64.9%、78.9%、66.5%，且在语言相似性指标上也有显著优势。此外，在人工评估实验中，48.4% 的注释者更倾向于 BrainLLM 生成的内容。
- 不同任务和条件下的表现：在语言生成任务和全文重建任务中，BrainLLM 都展现出了良好的性能。在语言生成任务中，它在所有语言相似性指标上均优于 Tang et al. 的方法；在全文重建任务中，虽然与 Tang et al. 的方法性能相当，但 BrainLLM 采用的是非分类设置，且能获取任何语言片段的生成可能性。研究还发现，随着文本提示长度增加，BrainLLM 的胜率会降低；在无文本提示时，BrainLLM 虽能显著优于 PerBrainLLM，但生成语言的难度依然较大。另外，LLM 参数数量增加时，BrainLLM 和 PerBrainLLM 的语言相似性指标都有所提高，且 BrainLLM 相对于 PerBrainLLM 的胜率也会增加；训练数据量越大，BrainLLM 的语言生成性能越好。
- 基于不同大脑区域的语言生成：研究人员探索了利用不同大脑皮质区域的记录进行语言生成的情况。以 Huth’s 数据集中一名参与者为例，BrainLLM 在所有语言处理区域的表现均显著优于 PerBrainLLM，在布罗卡区（Broca’s area）得分最高，达到 0.8012。
研究结论和讨论部分指出，BrainLLM 证明了可以直接用大脑记录作为输入生成语言，而无需依赖预构建的语言候选。它的成功得益于人类大脑编码的信息包含丰富的上下文和情境语义，以及 LLM 在 “少样本学习” 或 “上下文学习” 方面的强大能力。与以往研究相比，BrainLLM 具有诸多优势，如能突破预定义候选集的限制，量化任何语义内容的生成可能性等。这一研究成果为神经语言学分析、脑机接口（BCI）应用等提供了新的途径。不过，目前开放词汇解码仍面临挑战，未来可将 BrainLLM 与外部模块集成，进一步提升其性能。同时，BrainLLM 也为研究大脑语言的表征和感知提供了新的范式，有望助力训练出更符合人类期望的语言模型。总之，这项研究为大脑与语言之间关系的探索开辟了新方向，在生命科学和健康医学领域具有重要的理论和实践意义。
