从非侵入性脑电记录中分层解码感知到的语音

《IEEE Transactions on Neural Systems and Rehabilitation Engineering》:Hierarchical Decoding of Perceived Speech from Non-Invasive Brain Recordings

【字体: 大 中 小 】 时间:2026年04月29日 来源:IEEE Transactions on Neural Systems and Rehabilitation Engineering 5.2

编辑推荐:

   摘要: 非侵入式语音感知解码旨在利用受试者在听语音时记录的脑磁图/脑电图(M/EEG)信号来识别语音片段。尽管语音感知被广泛认为是一个从听觉外周到听觉皮层,再到整个大脑的层次化过程,但现有的解码方法很少考虑这一层次结构。在这项研究中,我们提出了一种新的层次化解

  

摘要:



非侵入式语音感知解码旨在利用受试者在听语音时记录的脑磁图/脑电图(M/EEG)信号来识别语音片段。尽管语音感知被广泛认为是一个从听觉外周到听觉皮层,再到整个大脑的层次化过程,但现有的解码方法很少考虑这一层次结构。在这项研究中,我们提出了一种新的层次化解码框架,该框架利用了三种不同的语音表示方法:梅尔频谱(mel-spectrogram)、Wav2vec 2.0和GPT-2。这些表示方法涵盖了从低级声学特性到高级语言信息的广泛语音特征。我们提出的解码器ConvConcatNet利用迭代卷积和连接操作来提取和整合层次化神经响应的模式。随后,通过对比学习将这些神经特征与语音表示对齐。解码性能在中国脑磁图数据集(SMN4Lang)和荷兰脑电图数据集(SparrKULee)上进行了评估。结果表明,虽然Wav2vec 2.0表示方法在三种方法中取得了最高的解码性能,但将这三种表示方法结合起来显著提高了解码效果,突显了结合它们对于提升性能的关键作用。值得注意的是,GPT-2表示方法特别提高了具有较强上下文依赖性的单词的解码准确性。此外,我们的ConvConcatNet解码器的性能优于现有方法,展示了其在神经特征提取和整合方面的优越能力。该方法在脑磁图数据集上的Top-1准确率为35.6%,在脑电图数据集上的Top-1准确率为20.0%,显著优于相同实验条件下的现有最先进方法。源代码可在以下链接获取:https://github.com/bobwangPKU/HDPS。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号