编辑推荐:
现有神经影像数据集多聚焦单说话者场景,难以反映真实多说话者环境复杂性。为此,研究人员构建 "Le Petit Prince (LPP) Multi-talker Dataset",采集 26 名母语为中文者的 7T fMRI 及 EEG 数据。验证显示数据高质量,该数据集为认知神经科学研究提供重要资源。
在日常交流中,人们常置身于多说话者的动态环境,如 “鸡尾酒会” 场景,需选择性关注目标语音流,从背景对话中提取信息并适应快速变化的声学和语言线索。然而,此前采用自然主义听觉范式的神经影像数据集主要聚焦单说话者场景。这类研究虽推动了对大脑言语和语言处理的理解,但未能捕捉真实多说话者环境的复杂性,限制了对选择性注意、听觉流分离、工作记忆等更广泛神经过程的研究。为填补这一空白,复旦大学附属眼耳鼻喉科医院、上海交通大学医学院附属第九人民医院、香港城市大学等机构的研究人员开展了相关研究,成果发表在《Scientific Data》。
研究人员构建了 “Le Petit Prince (LPP) Multi-talker Dataset”,这是一个高质量的多模态神经影像数据集,采集了 26 名右利手、无神经系统疾病病史的中国普通话母语者在聆听单说话者和多说话者语音流时的 40 分钟脑电图(EEG)和 7T 功能磁共振成像(fMRI)数据。其中,EEG 提供毫秒级时间分辨率,可研究与实时语音处理相关的快速神经振荡和事件相关电位;7T fMRI 相比 3T fMRI 具有更高的信噪比(SNR)和空间分辨率,能以精细的解剖细节精确追踪语言处理的神经动态。
研究主要采用以下关键技术方法:
- 数据采集:EEG 使用 64 通道 actiCAP 按国际 10–20 系统记录,采样率 500 Hz;7T fMRI 在西门子 7.0T Terra MRI 扫描仪上进行,采集解剖扫描和功能扫描数据。
- 实验设计:参与者聆听《小王子》中文译本的两个片段,单说话者条件下男女语音单独呈现,多说话者条件下男女同时讲述,通过屏幕指示参与者关注特定说话者,fMRI 实验中每次运行后设置四个问答以确认理解。
- 数据预处理:EEG 进行坏通道识别插值、带通滤波、独立成分分析(ICA)去除眼动伪影等处理;fMRI 数据转换为 BIDS 和 NIfTI 格式,使用 fMRIPrep 进行预处理,包括强度非均匀性校正、颅骨剥离、组织分割等。
- 数据注释:利用自然语言处理(NLP)工具对语音刺激进行注释,包括韵律信息(音高、强度)、时间对齐的词语分割和从词汇到句法层面的语言预测因子。
数据质量验证
- EEG 数据质量:通过坏通道比例、ICA 成分去除数量评估,13 名参与者无坏通道,显示整体信号质量良好;计算跨参与者的平均组间相关(ISC),识别出 ISC 值显著超过机会水平的电极和时间点簇,表明神经响应的一致性。
- fMRI 数据质量:使用 MRI 质量控制工具(MRIQC)评估,解剖和功能 MRI 数据的图像质量指标(IQMs)显示数据质量高,如灰白质联合变异系数(CJV)低、对比噪声比(CNR)高;计算 fMRI 数据的 ISC,颞叶和左额叶区域相关性最高。
神经响应分析
- 广义线性模型(GLM)分析:构建三个 GLM 分析 fMRI 数据对音高、强度和语速的响应,结果显示在单说话者和关注语音条件下,听觉和语速回归器在双侧颞叶有显著活动,与先前研究及 Neurosynth 元分析结果一致;未关注语音在颞叶的簇较小,表明关注和未关注语音的神经响应不同。
数据集构成与可用性
该数据集具有较高的生态效度,模拟了真实世界的多说话者聆听条件,为研究选择性注意、听觉流分离和适应性聆听的神经机制提供了强大资源,支持跨学科研究,如测试脑机接口(BCI)在复杂多说话者环境中神经语音解码的应用。尽管存在注释和分析瓶颈,如参与者可能采用不同注意策略、个体认知能力差异可能引入噪声等,但该数据集仍为认知神经科学领域提供了宝贵的开放资源,推动对大脑在自然 istic 聆听环境中处理语音的深入理解。