《Speech Communication》：MaTSE: A hybrid Mamba-Transformer model for monaural speech enhancement
编辑推荐：
语音增强领域提出基于Mamba-Transformer的混合架构MaTSE，通过Conv-Mamba和Conv-Transformer异构双路径实现时间-频率建模，提升噪声抑制效果。
周浩|周毅|赵宇|刘寅
重庆邮电大学通信与信息工程学院，中国重庆，400065
摘要
由于现实世界声学环境的复杂性，语音交互系统经常受到噪声和干扰的影响。因此，语音增强对于确保高质量的通信至关重要。大多数现有模型采用Transformer或状态空间模型作为去噪的核心，并展现了前沿的性能。然而，当前的方法通常使用相同的模块（例如LSTM-LSTM或Transformer-Transformer）在时间和频率维度上处理信息。这种同质的双路径设计忽视了每个维度的不同建模需求，限制了效率和表示能力。在本文中，我们提出了一种新的混合骨干网络，称为MaTSE（基于Mamba的语音增强）。Mamba和Transformer在Macaron风格框架下集成，构建了非对称路径，从而产生了两个新模块：Conv-Mamba和Conv-Transformer。在这种结构中，第一个前馈网络使用卷积来增强局部建模能力。Mamba和多头注意力分别用于捕捉时间和频率维度上的长期和全局依赖性。这使得在时频域中对语音进行高效和协调的建模成为可能。我们在多个公共数据集上进行了全面实验来评估所提出的方法。结果表明，MaTSE在标准的语音质量指标上优于基线架构和最先进的模型。这些发现证实了MaTSE在细粒度噪声语音恢复方面的有效性和竞争力。
引言
在现代通信和人机交互系统中，语音是主要的信息传递方式，其质量直接影响用户体验（Zheng等人，2023年）。然而，不可预测和复杂的声学环境往往导致目标语音不可避免地受到背景噪声和干扰的污染，这显著降低了下游应用（如自动语音识别（ASR）的性能（Moore等人，2017年；Kawase等人，2020年）。语音增强技术旨在从噪声波形中恢复清晰的语音信号，从而提高可懂度和感知质量。其中，基于深度神经网络（DNN）的语音增强模型在各种噪声和失真条件下表现出优越的恢复性能，使其对于鲁棒的语音驱动应用至关重要（Ochieng，2023年）。
近年来，许多研究采用了递归双路径架构来建模语音的时间和频谱依赖性（Luo等人，2020年；Nguyen和Nguyen，2025年；Xu和Zhang，2025年）。例如，时域模型如DPCRN（Le等人，2021年）、DPTNet（Chen等人，2020年）和TSTNN（Wang等人，2021年）将建模过程分解为两个连续的时间相关和频谱相关阶段，每个阶段使用相同的模块（如Bi-RNN或Transformer）。这些双路径架构在时频域也展示了强大的性能。值得注意的是，CMGAN（Abdulatif等人，2024年）和MP-SENet（Lu等人，2023年）采用了两阶段Conformer（Gulati等人，2020年）骨干进行语音增强，并取得了最先进（SOTA）的性能。此外，异构双路径架构，如TAANet（Wang等人，2023a）和THLNet（Dang等人，2023年），通过分离局部和全局建模阶段进一步增强了表示能力。然而，这增加了模型的复杂性和参数数量。尽管这些方法有效，但现有设计往往忽视了时间和频谱维度之间在建模要求上的本质差异。特别是基于Transformer及其变体的两阶段建模策略带来了较大的计算开销，限制了它们在实时或资源受限场景中的适用性（Y. Zhang等人，2024年）。
最近，选择性状态空间模型（SSM）（Gu等人，2022a；Gu等人，2022b），以Mamba为代表（Gu和Dao，2023年），在长序列建模任务中显示出巨大潜力（Z. Zhang等人，2024年；Xu等人，2025年）。通过结合硬件高效的选择性机制，Mamba实现了与Transformer相当的长距离上下文建模能力，同时提供了更优的线性计算效率。它已被广泛用作计算机视觉和自然语言处理中Transformer的替代骨干，表现出令人印象深刻的性能（Wang等人，2024年；Hatamizadeh和Kautz，2025年）。一些最近的研究将Mamba应用于语音建模任务，并取得了有竞争力的结果（Masuyama等人，2024年；X. Zhang等人，2025年）。这些工作表明，Mamba能够在语音前端任务中实现更快的训练和推理，同时减少计算资源需求。然而，在语音增强任务中，大多数现有方法仅将Mamba作为Transformer的直接替代品，遵循传统的同质双路径设计（Hu等人，2024年；X. Zhang等人，2025年；Z. Zhang等人，2025年）。这限制了SSM特定结构优势和建模能力的发挥。相比之下，在计算机视觉领域，新兴研究开始探索结合SSM和多头自注意力（MHSA）的混合架构，并取得了初步成功（Hatamizadeh和Kautz，2025年）。然而，在语音增强任务中，结合SSM和MHSA进行高质量语音估计的潜力尚未得到充分探索，值得进一步研究。
为此，在本文中，我们提出了一种用于语音增强的混合Mamba-Transformer架构，称为MaTSE。具体来说，我们设计了Macaron风格的骨干网络，分别使用Mamba和Transformer作为时间和频谱建模的核心组件。在MaTSE中，第一个前馈网络（FFN）结合了具有通道感知和门控机制的增强卷积块，以改善每个单路径内的局部特征表示。这种结构能够有效捕捉时频维度上的细粒度局部模式和长距离上下文依赖性，从而实现更准确的语音重建。我们在多个公共语音增强数据集上进行了广泛的实验，以全面评估所提出方法的有效性。
简而言之，本研究的主要贡献总结如下：
所提出的双路径架构通过集成Conv-Mamba和Conv-Transformer模块引入了异构设计，打破了传统循环结构的对称性，增强了模型的结构灵活性和表示能力。
Conv-Mamba模块专为高效建模长期时间依赖性而设计，而Conv-Transformer模块专注于捕捉细粒度频谱特征。它们互补的建模目标增强了时频特征的联合表示。
MaTSE在长期依赖性捕获和解耦的时频表示之间实现了良好的平衡。在多个公共语音增强数据集上的实验结果表明，MaTSE显著优于各种基线和最先进方法。
本文的其余部分组织如下。第2节简要回顾了基于Transformer和Mamba的语音增强相关工作。第3节详细介绍了所提出的MaTSE模型。第4节描述了实验设置。第5节报告并分析了实验结果。最后，第6节总结了本文。
章节片段
基于Transformer的语音增强模型
基于Transformer的语音增强方法在时域和时频域都得到了广泛研究（Saleem等人，2024年；Zhang等人，2022年）。利用Transformer在建模长期依赖性方面的优势，早期研究将Transformer引入时域语音增强模型（Wang等人，2021年）。这些方法直接对噪声波形进行建模，用编码器-解码器框架替换了传统的STFT-ISTFT流程
整体架构
本节描述了所提出的单声道语音增强模型MaTSE，该模型在多个公共基准数据集上取得了有竞争力的性能。如图1所示，MaTSE包括三个主要组件：编码器、去噪器和解码器。编码器和解码器改编自MP-SENet（Lu等人，2023年），其中编码器将输入特征投影到更高维的空间以增强表示能力，解码器重建时频掩码
数据集
在模型验证实验中，使用了多种公开可用的清晰语音和噪声样本进行训练。训练集中的清晰语音来自LibriSpeech语料库的train-clean-100子集（Panayotov等人，2015年），其中包含28,539个话语（约100小时），由125名女性和126名男性说话者录制。验证集和测试集分别来自LibriSpeech的dev-clean和test-clean子集，共计1953个
LibriSpeech+noise上的结果
在LibriSpeech+Noise数据集上，我们系统地分析了所提出的Mamba-Transformer混合骨干网络在噪声抑制方面的性能，并将其与基于单一架构范式构建的主流骨干网络进行了比较。所有骨干模型都使用相同的训练配置进行训练和评估，包括损失函数、优化器和训练周期数，并在相同的训练和测试数据集上进行评估。基线包括三个广泛
结论
本文提出了MaTSE，这是一种异构混合模型，用于单通道语音增强，它结合了Mamba和Transformer的建模机制。具体来说，MaTSE沿时间和频率维度分别采用Conv-Mamba和Conv-Transformer的串行建模路径。两个分支都采用了macaron风格的结构，在第一阶段共享卷积前馈层以增强局部细节建模，随后是Mamba和Transformer层
CRediT作者贡献声明
周浩：撰写——原始草稿、可视化、方法论、调查、形式分析、数据整理、概念化。周毅：撰写——审阅与编辑、概念化。赵宇：撰写——审阅与编辑。刘寅：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究部分得到了中国国家重点研发计划（2024QY2630）、国家自然科学基金（项目编号62301096）以及重庆市自然科学基金（项目编号CSTB2023NSCQ-MSX0659）的支持。
