《Pattern Recognition》：Quantization and disentanglement for cross-modal alignment in neural speech reconstruction from brain activity
编辑推荐：
•我们提出了一种基于量化与解耦的神经语音重建框架。•我们的方法将脑磁图与预训练的神经音频编解码器的离散代码本对齐。•我们引入了离散对比损失来平衡容量与复杂度之间的关系。•语音被分解为韵律、内容与音色，从而提升解码质量。•在我们的方法下，基于脑磁图的数据集能够实现最先进的语音重建效
• 我们提出了一种基于量化与解耦的神经语音重建框架。
• 我们的方法将脑磁图与预训练的神经音频编解码器的离散代码本对齐。
• 我们引入了离散对比损失来平衡容量与复杂度之间的关系。
• 语音被分解为韵律、内容与音色，从而提升解码质量。
• 在我们的方法下，基于脑磁图的数据集能够实现最先进的语音重建效果。
引言 了解人脑如何处理和表征语音一直是神经科学与脑机接口研究的核心目标。本研究聚焦于脑语音转换任务，即从神经记录中重建出可感知的语音。通过解码大脑对听觉刺激的反应，脑语音转换技术能够在复杂的声学环境中实现精准的语音解码[1]、[2]，为助听器及人工耳蜗等听力辅助设备提供支持[3]、[4]，同时为将想象中的语音转化为可听输出开辟了新可能[5]、[6]。在临床应用方面，它为有语言障碍的人士提供了潜在的交流途径[7]、[8]，作为一种非肌肉式的交流方式，填补了意图表达之间的空白。这些应用展现了脑语音转换技术在提升 accessibility与神经通信系统方面的巨大潜力。
典型的脑语音转换流程包括选择中间语音表示形式、将脑信号解码为该形式，再通过语音合成器重建原始刺激。其中最大的挑战在于选择有效的中间特征以及相应的解码方法[9]、[10]、[11]。许多研究[12]、[13]、[14]、[15]以频谱图作为目标，而杨等人[16]则通过加入Whisper[17]编码器来实现更高层级的对齐。为提升准确性，一些研究[15]、[18]、[19]采用了来自自动语音识别模型（如Wav2vec2[20]）的特征。然而，基于ASR的表示方式不可避免地会丢失原始刺激的细微声学特征。为解决这一问题，近期研究越来越多地使用语音自编码器产生的隐式嵌入向量。例如，陈等人[21]与李等人[22]训练语音自编码器，将脑信号解码到隐空间中；而刘等人[23]则直接使用预训练的AudioMAE[24]的隐空间作为解码目标。
尽管取得了不少进展，目前的脑语音转换方法仍面临若干关键挑战。首先，神经信号不仅编码了与语音相关的信息，如音色、内容与韵律（如节奏、音高、重音与音量），还包含个体特有的特征。这些成分在脑活动中高度纠缠，使得分离并解码与语音相关的特征变得十分困难，进而限制了整体重建的精度。其次，大多数现有方法采用精细的高维时间特征（如频谱图或帧级嵌入）作为解码目标。准确对齐并重建如此复杂的时序序列难度极大，且会增加建模复杂性，提高对噪声的敏感性，从而降低解码性能。第三，由于神经特征的纠缠特性以及时间目标的过度精确性，解码模型极易过拟合，导致其在不同个体间的泛化能力较差，在未见过的个体上的表现也会大幅下降。
为应对这些挑战，我们提出了一个基于量化 与解耦 的新型脑语音转换框架，如图1所示。与以往需要学习特定个体相关离散表示的方法不同，我们的方法利用预训练的神经音频编解码器的代码本，直接对脑部表示进行监督与量化。这一策略限制了解码空间，同时在量化过程中隐式减少了个体特异性干扰，从而提升了模型的泛化能力。此外，语音还被分解为韵律、内容与音色三部分，分别进行解码。这种解耦方式通过将任务拆分为多个模块化子任务，简化了解码过程，提升了解码精度与重建质量。
为实现这一目标，我们采用了FACodec[25]，这是一种专为韵律、内容与音色设计显式分解隐空间的神经编解码模型。我们的方法分为两个阶段：首先，我们将FACodec的隐表示投影到预训练的AudioLDM2[26]的条件空间中，从而得到一个高保真度的语音合成器。接着，以脑磁图信号作为神经输入，并行解码FACodec的韵律、内容与音色表示，最终实现语音重建。在解码过程中，我们引入了离散对比损失 ，利用FACodec的代码本对脑部表示进行监督与量化。通过结合代码本聚类与时序池化技术，我们在表示能力与解码复杂度之间实现了平衡，进而提升了脑语音转换的重建效果。
我们的主要贡献如下：（1）我们提出了一种融合量化与解耦机制的新型脑语音转换框架，提升了神经解码的准确性与泛化能力。（2）我们引入了离散对比损失，有效将脑部表示与预训练神经音频编解码器的代码本对齐，实现了表示能力与解码复杂度之间的最佳平衡。（3）在两个公开的脑磁图数据集上，我们的方法在相同个体内及不同个体间的重建质量均优于现有方法，尤其在与韵律相关的指标及感知指标上表现突出。代码已发布在
https://github.com/cheee2000/QuantDisBrain 。
章节摘录 神经音频编解码器 神经音频编解码器借助深度学习技术实现音频的压缩与重建，通常由编码器、量化器与解码器组成。编码器将音频信号转换为隐式表示，随后由量化器对其进行量化，最后由解码器将其还原为波形。这类模型具有较高的压缩率、较低的重建失真度以及较强的鲁棒性。在此基础之上，Zeghidour等人[27]提出了残差向量
方法 我们的脑语音转换方法分为两个阶段。在第一阶段 ，我们训练一个投影器，将FACodec[25]的隐表示映射到预训练的AudioLDM2[26]的条件空间中，从而得到一个可控的语音合成器，称为FACodecLDM。所有预训练组件（FACodec编码器、AudioLDM2）均保持不变，仅优化投影器。在第二阶段 ，我们从头开始训练脑部模块与音色编码器，用于将脑磁图信号解码为韵律、内容与音色
数据集 我们使用两个公开可用的脑磁图数据集来评估我们的方法。Gwilliams等人[42]提供了27名受试者在聆听2小时语音时的208通道脑磁图记录。1 我们使用了22名受试者的数据，每人完成两次测试，排除了仅完成一次测试的5名受试者。数据集中包含四个故事：用于训练的《轻松赚钱》与《黑柳树》，用于验证的《LW1》，以及用于测试的《电缆卷轴堡垒》。通过使用4秒滑动窗口、1秒的步长，我们共获得了5468
上限重建结果 首先，我们评估了在第一阶段中使用不同中间音频特征所重建语音的质量，以此作为脑语音转换重建结果的上限。这一上限同时也反映了各特征表示方式中固有的信息损失程度。Gwilliams等人数据集的语音测试集的定量结果如表1所示，而采用与AudioLDM2相同配置的64级Mel频谱图重建结果则展示在图4中。
结论 我们提出了一种基于量化与解耦的新型脑语音转换重建框架。通过将语音分解为韵律、内容与音色三类成分，并引入离散对比损失用于脑部表示的量化，我们的方法解决了现有方法的诸多局限性。实验结果表明，无论是在相同个体间还是不同个体间，我们的方法都在与韵律相关的指标及感知指标上优于现有方法，
CRediT作者贡献说明 Che Liu： 撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、研究分析、正式分析、数据整理、概念构思。Changde Du： 撰写——审阅与编辑、验证、指导。Xiaoyu Chen： 撰写——审阅与编辑、验证。Huiguang He： 撰写——审阅与编辑、验证、指导、资源协调、项目管理、资金获取。
利益冲突声明 作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢 本研究部分得到了科技创新 2030重大专项（项目编号2021ZD0201503）的支持；部分得到了国家自然科学基金 （项目编号62576336与U2441253）的资助；部分得到了中国科学院战略性先导科技专项 （项目编号XDB1010202）的支持；还有部分得益于临港实验室 （项目编号LGL-1987-07）的援助。作者们还要感谢L. Gwilliams、K. Armeni以及G. Chen分享了脑磁图数据
Che Liu|Changde Du|Xiaoyu Chen|Huiguang He
