EEG-SPELL：用于基于脑电的隐蔽语音解码的频谱-音素-词汇对齐网络

《Artificial Life》：EEG-SPELL: Spectral-PhonEtic-Lexical aLignment network for EEG-based Covert Speech Decoding

　　

摘要：

隐蔽语音解码，即在没有可听输出的情况下解读想象的发音，有望帮助言语障碍个体恢复交流，并实现静默、隐私保护的人机交互。皮层脑电图（ECoG）等侵入式脑机接口（BCI）技术已取得了显著的准确性。作为这些进展的补充，非侵入式脑电图（EEG）提供了一种可扩展的替代方案，但受限于低信噪比和缺乏外显发音信息，这使得隐蔽语音解码极具挑战性。我们提出了 EEG-SPELL（频谱 - 语音 - 词汇对齐网络），这是一个用于闭集隐蔽语音命令解码的两阶段预训练框架。EEG-SPELL 将丰富的与语音相关的先验知识从外显脑电图转移到隐蔽脑电图解码中。在第一阶段，EEG-SPELL 执行完整的外显知情重建，将外显脑电图与同步的梅尔频谱图、Whisper 词汇嵌入以及脑电图频谱特征进行对齐。这一步使模型基于外显语音产生背后的完整声学 - 语言结构奠定基础。在第二阶段，EEG-SPELL 应用掩码重建，通过语音、词汇和频谱投影头来预测随机掩码的脑电图词元。这训练模型从上下文中推断缺失的神经成分，模拟隐蔽语音特有的不完整神经模式。然后，预训练的编码器被转移到受试者无关的隐蔽脑电图解码器中，并通过轻量级的受试者特定微调进一步优化。在包含 54 名受试者的大规模外显 - 隐蔽语音数据集上的实验表明，EEG-SPELL 达到了 36.6% 的平均准确率，显著优于最先进的脑电图解码基线。我们进一步表明，EEG-SPELL 可作为下游闭集隐蔽语音解码的强大初始化，与 o... 相比，在公开数据集上实现了最先进的性能。

显示更多