大规模功能磁共振数据集CSD:揭示视觉-语言语义关联的神经基础

《Scientific Data》:A large-scale fMRI dataset for vision-language semantic association

【字体: 大 中 小 】 时间:2026年04月19日 来源:Scientific Data 6.9

编辑推荐:

  本研究针对视觉与语言跨模态语义关联神经机制研究缺乏大规模、生态效度高的fMRI数据集的问题,开展了基于自然场景与字幕匹配任务的大规模脑成像研究,构建了包含4400对中文Caption-Scene刺激的fMRI数据集(CSD),验证了深度神经编码模型在跨模态神经响应预测中的有效性,为视觉神经科学与人工智能的交叉研究提供了重要平台。

  

论文解读

研究背景:视觉与语言的“神经对话”难题

在我们的大脑中,视觉和语言系统并非孤立运行。当你看到一张“夕阳西下”的图片,并同时读到这段文字时,你的大脑正在飞速地进行跨模态的语义整合。这种将视觉信息与语言信息关联起来的高级认知功能,是人工智能与神经科学共同关注的核心问题。
然而,长期以来,该领域的研究面临两大瓶颈:
  1. 1.
    数据模态单一:大多数功能磁共振成像(fMRI)数据集仅关注单一模态(要么是图片,要么是文字),缺乏在同一实验范式中同时记录大脑对两种模态反应的数据,难以直接研究跨模态的神经关联。
  2. 2.
    生态效度不足:许多实验使用高度控制的简单刺激(如孤立的单词或线条图),这与我们日常生活中处理复杂自然场景的真实脑活动存在差距。
为了解决这些问题,并推动更具可重复性的研究,构建大规模、自然istic(生态效度更高)的fMRI数据集变得至关重要。这正是CSD(Caption Scene Dataset)诞生的背景。

研究方法概要

本研究在《Scientific Data》上发布了Caption Scene Dataset (CSD) 数据集。研究团队让8名健康参与者观看4400对“中文Caption(字幕/描述)-自然场景Image”的刺激对,并判断其语义是否一致,同时利用fMRI记录其全脑神经活动。基于该数据,作者构建了深度神经编码模型(Deep Neural Encoding Models),以预测大脑对不同刺激的反应,并评估了其跨模态预测的有效性。

研究结果

数据集构建与验证

研究成功采集了8名参与者观看4400对刺激的高质量fMRI数据,覆盖了广泛的视觉和语义空间。通过深度神经编码模型的训练与测试,证实了该数据集在预测视觉与语言刺激诱发的大脑活动方面具有高度可靠性,为后续分析提供了坚实的数据基础。

跨模态神经响应预测

利用构建的CSD数据集,研究人员证明了深度神经编码模型能够有效预测大脑对“Caption”和“Image”两种不同模态刺激的神经响应。这一结果不仅验证了模型的鲁棒性,更揭示了大脑在处理不同模态但语义一致的信息时,可能存在共享的神经表征机制。

研究结论与意义

本研究的核心贡献在于发布了首个大规模、针对视觉-语言语义关联的fMRI数据集CSD。该数据集突破了传统单一模态数据的限制,提供了更接近真实认知过程的实验条件。
  • •
    对神经科学的意义:CSD为研究跨模态语义整合的神经基础(如语义一致性判断的神经回路)提供了前所未有的平台,有助于揭示大脑如何编码和关联来自不同感官的信息。
  • •
    对人工智能的意义:该数据集及验证的编码模型,为训练和测试多模态人工智能模型(如视觉-语言预训练模型)提供了生物学的约束和灵感,推动类脑智能的发展。
总之,CSD数据集架起了一座连接“视觉神经科学”与“人工智能”的桥梁,将显著促进我们对大脑如何理解这个多模态世界的认识。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号