噪声环境下的轻量级语音增强引导目标语音提取

《Computer Speech & Language》:Lightweight speech enhancement guided target speech extraction in noisy scenarios

【字体: 大 中 小 】 时间:2026年07月23日 来源:Computer Speech & Language 3.4

编辑推荐:

  摘要目标语音提取技术在相对简单的声学条件下,如单说话人加噪声或双说话人混合语境下,已展现出优异的性能。然而,在存在干扰说话人和背景噪声的更复杂场景中,其性能会显著下降,尤其是对于无需嵌入的目标语音提取方法,这是因为注册语音与混合语音的交互会导致噪声污染目标引导信号,同时语音失真也

  摘要目标语音提取技术在相对简单的声学条件下,如单说话人加噪声或双说话人混合语境下,已展现出优异的性能。然而,在存在干扰说话人和背景噪声的更复杂场景中,其性能会显著下降,尤其是对于无需嵌入的目标语音提取方法,这是因为注册语音与混合语音的交互会导致噪声污染目标引导信号,同时语音失真也会加剧这一问题。为解决这一难题,我们引入了一种轻量级的语音增强模型GTCRN,为此类复杂声学条件下的目标语音提取提供更可靠的引导。在之前提出的优秀无需嵌入框架SEF-PNet基础上,我们进一步提出了LGTSE和D-LGTSE两种改进系统。LGTSE通过先对含噪声的混合语音进行去噪处理,再与干净的注册语音进行上下文交互,从而降低噪声在引导信号构建过程中的负面影响。D-LGTSE则通过将去噪后的语音作为额外的失真训练数据,进一步提升模型对语音失真的抵抗能力,这样的处理方式增加了声学多样性,使模型能更好地处理失真输入。此外,该方案采用了多阶段训练策略:首先预训练增强模块,接着训练目标语音提取核心网络,最后对整个系统进行联合微调,以充分发挥各组件的互补优势。在Libri2Mix和WHAM!数据集上的实验表明,这些方法能够在几乎不增加计算成本的情况下带来持续的性能提升。在Libri2Mix数据集上,D-LGTSE在SI-SDR指标上相比基准模型提升了0.89分贝,在PESQ指标上提升了0.16分,在STOI指标上提升了1.97%;在WHAM!数据集上,其提升幅度分别为0.50分贝、0.03以及0.59%。当进一步采用更强大的CIE-mDPTNet核心网络时,D-LGTSE-mDPTNet在WHAM!数据集上的提升幅度更是达到了1.30分贝、0.12以及1.68%,这证明了该方法的通用性,可适配不同的核心网络和噪声环境。我们的代码已公开发布在https://github.com/isHuangZiling/D-LGTSE地址上。

引言目标语音提取技术的目标是利用注册语音,从包含干扰说话人和背景噪声的混合语音中提取出目标说话人的语音,该技术广泛应用于自动语音识别、助听器以及语音通信领域。尽管目前的target语音提取方法在相对简单的声学条件下,如单说话人加噪声混合语境或双说话人混合语境下,已能取得令人满意的效果,但在存在干扰说话人和背景噪声的更复杂的噪声环境中,其性能会明显下降。在许多现有的目标语音提取系统中,注册引导信号是通过注册语音来编码目标说话人特征,并通过混合语音与注册语音之间的时频级交互来生成的。在双说话人混合语境下,现有的无需嵌入的目标语音提取系统通常能实现较强的提取性能。然而,当引入背景噪声后,即面临同时存在干扰说话人和噪声的更复杂场景时,系统性能会显著下降。这种性能下降的主要原因是背景噪声会干扰跨语音交互过程中目标引导信号的估算。即便注册语音本身是干净的,混合语音中的背景噪声仍可能破坏时频级的跨语音相似度计算,从而导致引导信号被噪声成分部分污染。当这类受噪声影响的引导信号与混合语音特征结合时,提取出的说话人特征的可信度就会降低,进而导致提取的目标语音出现失真,且在复杂声学条件下的性能也会下降。目前关于基于注册引导的目标语音提取的研究大致可分为三类:(1)基于说话人嵌入的方法(Yu等人,2023年;Liu等人,2023年;Han等人,2022年;Xu等人,2020年;Ge等人,2020年;Delcroix等人,2020年;You等人,2025年);(2)无需嵌入的方法(Zeng等人,2023年;Huang等人,2025年;Yang等人,2024b年;Hu等人,2024年;P?rnamaa和Saabas,2024年);(3)结合这两种方法的混合技术(Zhang等人,2025年)。基于嵌入的方法可以通过利用其他任务领域的预训练模型,比如说话人验证领域的模型(Desplanques等人,2020年;He等人,2016年),或者通过使用自设计的说话人编码器与分离核心网络共同学习说话人表征(Han等人,2022年;Chen等人,2023年;Ju等人,2022年;Ju等人,2023b年;Ju等人,2023a年),又或者结合这两种策略(He等人,2024b年)来获取目标说话人嵌入。相比之下,无需嵌入的方法则不使用任何预训练或自设计的说话人编码器,而是直接对注册语音与混合语音的交互关系进行建模,例如通过迭代注意力机制(Zeng等人,2023年)、RNN状态总结方法(Yang等人,2023年)或STFT域注意力机制(Yang等人,2024b年)来实现。混合方法(Zhang等人,2025年)则将说话人嵌入与直接的交互机制相结合,从而提供更丰富的注册引导信号。虽然基于嵌入和混合的方法在各种目标语音提取任务中都取得了不错的成果,但由于使用了预训练的说话人模型,这些方法往往具有较大的模型规模和较慢的推理速度,限制了其实际应用。此外,用单一的全局嵌入来表示目标说话人,可能会压缩并丢失注册语音中包含的细粒度说话人信息。正因如此,近年来的研究越来越倾向于无需嵌入的架构,比如CIE-mDPTNet(Yang等人,2024b年)、SEF-Net(Zeng等人,2023年)以及SEF-PNet(Huang等人,2025年),这些方法已经展现了出色的性能。尽管取得了这些进展,但在存在干扰说话人和背景噪声的噪声环境中,无需嵌入的目标语音提取方法仍然十分脆弱。在这种环境下,背景噪声不仅会增加分离的难度,更会严重破坏用于生成目标引导信号的注册语音与混合语音的交互关系。这种由噪声引起的引导信号污染往往会导致说话人特征不准确,进而使得提取的目标语音出现失真。为解决这一问题,Yang等人(2024a年)提出了一种联合训练的增强模块,用于降低注册语音与噪声之间的相似度。然而,注册语音仍然会与含噪声的混合语音直接交互,因此生成的引导信号仍然会部分受到噪声污染。其他一些研究(Ju等人,2022年;Zhang等人,2024年;Liu等人,2024年;Schr?ter等人,2023年;He等人,2024a年)则采用多阶段从粗到精的提取策略来减轻失真,但这样的做法会大幅增加模型的复杂性,参数数量往往几乎翻倍。这些局限性凸显出迫切需要开发在无需嵌入的框架下具备抗噪声能力的目标语音提取解决方案,这类方案应在几乎不增加模型复杂度的情况下提升性能,有效减少注册语音与混合语音交互过程中的噪声影响,减轻提取目标语音时的失真问题,并在存在背景噪声和干扰说话人的复杂场景中提升性能。在本文中,我们在之前表现优异的无需嵌入核心框架SEF-PNet(Huang等人,2025年)的基础上,通过整合轻量级的去噪模型GTCRN(Rong等人,2024年),提出了两种适用于存在干扰说话人和背景噪声的复杂场景的改进框架。虽然语音增强技术已被用于提升低质量输入下的语音识别精度,作为鲁棒自动语音识别系统的前端处理技术(Fujimoto和Kawai,2019年;Wang和Wang,2016年;Pandey等人,2021年;Kinoshita等人,2020年),但无需嵌入的目标语音提取面临着截然不同的挑战:噪声会直接破坏注册语音与混合语音的交互关系,而我们的目标就是净化这种交互关系,为目标语音提取核心网络生成经过噪声抑制的引导信号。此外,我们还利用去噪模型生成的失真语音作为额外的训练数据,进一步提升模型的鲁棒性。我们的主要贡献如下:•LGTSE:我们提出了一种轻量级的引导方案,该方案以端到端的方式,让经过GTCRN去噪处理的含噪声语音与干净的注册语音之间进行上下文交互。由于避免了与含噪声混合语音的直接交互,该方案有效减少了噪声对引导信号的污染,显著提升了目标语音提取在噪声环境下的性能。•D-LGTSE:我们在LGTSE的基础上进一步拓展,将去噪后的语音作为额外的失真训练数据。这种数据增强策略增加了噪声输入的声学多样性,让模型能够适应语音失真情况,从而进一步提升模型的鲁棒性。•多阶段训练:我们采用了逐步训练策略,首先预训练去噪模型,然后训练目标语音提取核心网络,最后对整个系统进行联合微调。这种分阶段的优化方式进一步降低了失真现象,带来了稳定的性能提升。

架构如图1所示,上部展示了我们提出的LGTSE和D-LGTSE的架构,下部则为简化版的无需嵌入说话人嵌入模型SEF-PNet的架构。在所有框架中,含噪声语音和注册语音首先会被送入核心网络的前端上下文交互模块,该模块会生成与目标相关的引导特征。随后,这个引导特征会与对应的含噪声或已去噪的语音特征相拼接,再传递到后续处理环节。

数据集我们在Libri2Mix和WHAM!数据集上评估了我们的方法,这两个数据集使用的是相同的噪声语料库。因此,跨数据集评估主要是通过改变语音语料库、说话人集合以及信噪比分布来进行。Libri2Mix(Cosentino等人,2020年)提供了包含背景噪声的双说话人混合语音,这些背景噪声是从真实录音中模拟而来的。我们使用的是“mix_both”测试条件,该条件下包含一个目标说话人、一个干扰说话人以及附加噪声。为便于表述,我们将这种条件称为“双说话人+背景噪声”条件。

整体结果表1展示了LGTSE和D-LGTSE与两种性能较强的基准模型相比的整体性能。从E1到E5可以看出,无论在哪个评估指标上,LGTSE和D-LGTSE相比基准模型SEF-PNet都实现了持续的性能提升。具体而言,LGTSE在SI-SDR指标上的表现优于SEF-PNet,提升了0.45分贝,同时PESQ和STOI指标也分别从2.14/80.31提升到了2.21/81.27,充分体现了噪声抑制型目标引导信号的有效性。在三种考虑语音失真的数据使用机制中,

结论在本文中,我们提出了适用于噪声环境下的无需嵌入目标语音提取方法LGTSE及其考虑语音失真的改进版本D-LGTSE。通过引入噪声抑制型的目标引导信号,所提出的框架有效降低了噪声对注册语音与混合语音交互关系的负面影响。此外,考虑语音失真的训练方式还能减轻增强处理带来的语音失真问题,进而提升提取性能和语音质量。同时,我们所采用的多阶段训练策略也起到了重要作用。

CRediT作者贡献说明Ziling Huang:撰写——原始稿件、可视化、验证、软件实现、方法设计、研究分析、数据整理、概念构思。Junnan Wu:撰写——审阅与编辑、资源获取、研究分析、概念构思。Lichun Fan:撰写——审阅与编辑、资源获取、概念构思。Haixin Guan:撰写——审阅与编辑、概念构思。Yanhua Long:撰写——审阅与编辑、项目监督、项目管理、资金筹集。

利益冲突声明作者声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Ziling Huang|Junnan Wu|Lichun Fan|Haixin Guan|Yanhua Long
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号