在编码器-解码器网络中集成高分辨率双路建模以实现实时语音增强
《Computer Speech & Language》:Integrating high-resolution dual-path modeling within encoder–decoder networks for real-time speech enhancement
【字体:
大
中
小
】
时间:2026年10月24日
来源:Computer Speech & Language 3.4
编辑推荐:
• 提出EiDPM:一种具有双路径建模的实时编码器-解码器架构;
• 引入Pre-DPM和Post-DPM以保持语音保真度;
• 开发基于T-ResBlock和T-Dilated ResBlock的亚带建模以捕捉动态特征;
• 采用F-Dilated ResBlock进行全带
• 提出EiDPM:一种具有双路径建模的实时编码器-解码器架构;
• 引入Pre-DPM和Post-DPM以保持语音保真度;
• 开发基于T-ResBlock和T-Dilated ResBlock的亚带建模以捕捉动态特征;
• 采用F-Dilated ResBlock进行全带频谱建模;
• 设计纯卷积双路径框架以降低成本实现实时处理。
**引言**
实时通信(RTC)系统在日常生活的各个方面发挥着重要作用。在实际应用中,语音信号往往会因噪声、混响和回声等因素而退化,从而显著降低其整体质量。近年来,深度神经网络(DNN)在语音处理领域取得了令人瞩目的成果(Chau等人,2024,Abdulatif等人,2024,Hoang等人,2024,Lu等人,2025,Wang等人,2023,Zhang等人,2025),这是因为它们比传统方法更有效地建模非平稳因素并提取潜在信息。因此,DNN已成为该研究领域的主流方法。此前,语音处理任务被视为孤立的个体问题,基于退化的具体原因分别处理,如噪声(Reddy等人,2020,Reddy等人,2021a,Reddy等人,2021b,Dubey等人,2024)、不连续性(Diener等人,2022,Diener等人,2025)、混响(Kinoshita等人,2016)和回声(Cutler等人,2021,Cutler等人,2024b,Sridhar等人,2021)。然而,在真实环境中,语音往往同时受到多种畸变的叠加影响,导致质量出现复合下降,在高度复杂的条件下尤为明显。为解决这些多方面挑战,紧急挑战赛(Zhang等人,2024,Saijo等人,2025)旨在解决不同采样率下多种类型的语音畸变,同时研究大规模数据集对模型性能的影响。类似地,ICASSP语音信号改进(SSI)挑战赛(Cutler等人,2024a,Ristea等人,2025)旨在通过解决各种畸变类型来提高语音质量。
为应对这一难题,多项研究(Liu等人,2023,Yu等人,2024,Liu等人,2024b,Liu等人,2024a,Hao等人,2024b)提出了基于生成对抗网络(GAN)的恢复模块,以从严重退化的信号中恢复干净语音。GAN在许多语音处理任务中表现出优越的性能,如丢包隐藏(Guan等人,2022,Aironi等人,2023,Zhao等人,2024,Aironi等人,2024)、语音超分辨率(Zhao等人,2025,Lee和Kim,2025)以及语音增强(SE)(Fu等人,2019,Lu等人,2025)。为处理多种类型的畸变,GAN(Yu等人,2024,Zhu等人,2023,Hao等人,2024b,Liu等人,2024b,Liu等人,2023,Le等人,2025)常作为恢复模块使用,因为它们能够通过生成器和判别器之间的对抗学习来生成语音成分。最初的判别器被设计用于区分生成语音与干净语音信号(Pascual等人,2017,Yamamoto等人,2020,Kong等人,2020,Su等人,2021),通常基于频谱图表示。在此基础上,MetricGAN(Fu等人,2019)将判别器重新解释为对抗训练期间需要优化的评价指标。通过直接优化客观度量指标,MetricGAN在噪声抑制(NS)任务中取得了令人印象深刻的成绩。受MetricGAN启发,CMGAN(Abdulatif等人,2024)和MP-SENet(Lu等人,2025)利用判别器来近似语音质量感知评估(PESQ)分数,并将其纳入损失函数以优化PESQ及其他评价指标。类似地,Yuan等人(2025)利用判别器来估计语音信号(SIG)、背景噪声(BAK)和整体质量(OVRL)的质量分数。
大量工作已在SE方面取得进展。当计算复杂度不是约束条件时,最先进的网络通常采用双路径机制进行迭代的亚带和全带处理(Abdulatif等人,2024,Lu等人,2025,Le等人,2021,Dang等人,2022,Pandey和Wang,2020,Zhang等人,2021,Saleem等人,2024,Bae等人,2023),如图1(a)所示。首先,下采样层将频率维度从F压缩至F′(F′
鉴于主流通信和助听器等系统对实时处理的需求,se模型必须满足严格的延迟和复杂度要求。为此方向已做出大量努力,如深度噪声抑制(dubey等人,2022,dubey等人,2024)和ssi挑战赛(cutler等人,2024a,ristea等人,2025)。在这些严格约束下,最先进的方法通常采用编码器-解码器架构(chau等人,2024,hu等人,2020,li和li,2022,zhao和gan,2022),如图1(c)所示。在此设计中,编码器将频率维度从b×2×f×t缩减至b×h×t(其中h表示隐藏层大小),解码器则将特征重建回原始分辨率。此处,编码器和解码器分层建模频率表示,而瓶颈层处理时序依赖关系。值得注意的是,由于这些瓶颈层将频谱信息嵌入到通道轴中,因此它们执行频率依赖的时序建模——功能上类似于tf-gridnet的跨帧注意力(图2(c))。尽管高效,但与图1(a)和图1(b)所示的双路径建模相比,实时se模型缺乏几项关键能力。具体而言,它们无法建模高分辨率特征或执行亚带时序建模,因此无法模拟wpe等传统滤波器——后者为每个频率计算逆滤波器。这引出了我们工作的核心问题:如何设计高效的实时se模型来整合这些高分辨率双路径能力?
我们提出了一种集成双路径建模的实时编码器-解码器架构,即eidpm,它弥合了高效频率压缩建模与高分辨率特征提取之间的鸿沟。与现有的实时自编码器模型不同——后者在压缩的潜在特征上执行时序和频谱建模——我们的eidpm引入了专用的双路径模块:预处理阶段的初始双路径建模(pre-dpm)和后处理阶段的残差双路径建模(post-dpm)。它们允许在原始t-f分辨率下提取特征,确保语音信号的结构保真度在编码器下采样阶段之前和解码器上采样阶段之后得以保留。我们的亚带建模分别在pre-dpm和post-dpm中通过t-resblock和t-dilated resblock捕捉短期和长期时序相关性。t-resblock利用最高分辨率下的局部卷积层堆栈来捕捉局部时序一致性,这对于跟踪非平稳语音动态至关重要,并与短期自适应逐频率滤波处理复杂输入特征的原则相一致;而t-dilated resblock则使用膨胀卷积层堆栈来从解码器重建的特征中精炼每个频率bin内的长程时序依赖关系。同时,通过f-dilated resblock实现全带建模,该模块使用膨胀频率卷积来有效捕捉跨广泛频谱范围的时间无关谐波结构,这些结构在先前编码器-解码器设计中的步幅操作中通常会被模糊。通过使用简单的步幅卷积核进行下采样和上采样,我们的自编码器架构消除了压缩阶段的计算冗余,确保编码器和解码器阶段纯粹执行时间无关的频谱建模。与依赖rnn或transformer的高复杂度双路径模型(如tf-gridnet或mp-senet)不同,我们的架构利用纯卷积双路径模块来借助权重共享作为强归纳偏置。这种设计有助于学习鲁棒的通用特征,同时显著减少计算开销和内存占用,使其适用于实时部署。我们对集成于编码器-解码器架构中的高分辨率双路径建模与压缩表示上的多尺度特征提取进行了全面评估,结果表明eidpm实现了更优越的语音恢复质量。在icassp 2024 ssi挑战赛和voicebank+demand数据集上的结果显示,eidpm与近期实时系统相比具有竞争力,同时保持了良好的性能-计算效率平衡。此外,所提出的架构设计为框架无关的,可作为高级语音处理和生成式se任务(如基于扩散或流匹配的得分模型)的骨干网络,以提升其推理效率。
本文其余部分结构如下:第2节描述信号模型并回顾相关工作。第3节介绍所提出的方法。第4节详细介绍实验,包括消融研究及与其他最先进模型的比较。最后,第5节对全文进行总结。
**各章节摘要**
**信号模型**
由麦克风采集的单声道语音信号受到多种畸变类型的退化影响,可表示为:
x(t) = d(y(t)) + n(t)
其中x(t)表示退化语音信号,y(t)表示干净语音信号,n(t)是时间索引t下真实环境中的加性噪声。函数d(·)对语音信号施加的畸变进行建模,如房间脉冲响应(rir)、削波、丢包、低通滤波及其他伪像。
**生成对抗网络在语音处理中的应用**
gan已展示出……
**所提方法**
本节介绍eidpm的架构,该框架在对抗学习范式下集成了高效的频率压缩建模与高分辨率特征提取。为增强特征表示,我们引入了两个双路径建模模块:位于预处理阶段的初始双路径建模模块(pre-dpm)和位于后处理阶段的残差双路径建模模块(post-dpm),它们分别在输入和输出阶段进行……
**实验**
所提eidpm的性能在两个基准上进行了评估:一般语音恢复任务和专门的噪声抑制(ns)任务。本节全面描述了数据集、实验配置和客观评价指标。此外,我们进行了实验结果的比较分析,以验证模型在通过……桥接频率压缩建模与高分辨率特征提取之间的鸿沟方面的有效性。
**结论**
在本研究中,我们提出了eidpm——一种旨在弥合高效频率压缩建模与高分辨率特征提取之间鸿沟的实时编码器-解码器架构。通过在对抗训练范式中集成pre-dpm和post-dpm模块进行双路径建模,所提架构在语音质量与计算效率之间实现了稳健的平衡。pre-dpm捕捉细粒度频谱谐波和局部时序一致性……
**作者贡献声明**
thi nhat linh nguyen:初稿撰写、可视化、验证、软件、方法学、形式化分析、数据整理、概念构思。ngoc chau hoang:审阅与编辑、软件、方法学、形式化分析、概念构思。 鉴于主流通信和助听器等系统对实时处理的需求,se模型必须满足严格的延迟和复杂度要求。为此方向已做出大量努力,如深度噪声抑制(dubey等人,2022,dubey等人,2024)和ssi挑战赛(cutler等人,2024a,ristea等人,2025)。在这些严格约束下,最先进的方法通常采用编码器-解码器架构(chau等人,2024,hu等人,2020,li和li,2022,zhao和gan,2022),如图1(c)所示。在此设计中,编码器将频率维度从b×2×f×t缩减至b×h×t(其中h表示隐藏层大小),解码器则将特征重建回原始分辨率。此处,编码器和解码器分层建模频率表示,而瓶颈层处理时序依赖关系。值得注意的是,由于这些瓶颈层将频谱信息嵌入到通道轴中,因此它们执行频率依赖的时序建模——功能上类似于tf-gridnet的跨帧注意力(图2(c))。尽管高效,但与图1(a)和图1(b)所示的双路径建模相比,实时se模型缺乏几项关键能力。具体而言,它们无法建模高分辨率特征或执行亚带时序建模,因此无法模拟wpe等传统滤波器——后者为每个频率计算逆滤波器。这引出了我们工作的核心问题:如何设计高效的实时se模型来整合这些高分辨率双路径能力? 我们提出了一种集成双路径建模的实时编码器-解码器架构,即eidpm,它弥合了高效频率压缩建模与高分辨率特征提取之间的鸿沟。与现有的实时自编码器模型不同——后者在压缩的潜在特征上执行时序和频谱建模——我们的eidpm引入了专用的双路径模块:预处理阶段的初始双路径建模(pre-dpm)和后处理阶段的残差双路径建模(post-dpm)。它们允许在原始t-f分辨率下提取特征,确保语音信号的结构保真度在编码器下采样阶段之前和解码器上采样阶段之后得以保留。我们的亚带建模分别在pre-dpm和post-dpm中通过t-resblock和t-dilated resblock捕捉短期和长期时序相关性。t-resblock利用最高分辨率下的局部卷积层堆栈来捕捉局部时序一致性,这对于跟踪非平稳语音动态至关重要,并与短期自适应逐频率滤波处理复杂输入特征的原则相一致;而t-dilated resblock则使用膨胀卷积层堆栈来从解码器重建的特征中精炼每个频率bin内的长程时序依赖关系。同时,通过f-dilated resblock实现全带建模,该模块使用膨胀频率卷积来有效捕捉跨广泛频谱范围的时间无关谐波结构,这些结构在先前编码器-解码器设计中的步幅操作中通常会被模糊。通过使用简单的步幅卷积核进行下采样和上采样,我们的自编码器架构消除了压缩阶段的计算冗余,确保编码器和解码器阶段纯粹执行时间无关的频谱建模。与依赖rnn或transformer的高复杂度双路径模型(如tf-gridnet或mp-senet)不同,我们的架构利用纯卷积双路径模块来借助权重共享作为强归纳偏置。这种设计有助于学习鲁棒的通用特征,同时显著减少计算开销和内存占用,使其适用于实时部署。我们对集成于编码器-解码器架构中的高分辨率双路径建模与压缩表示上的多尺度特征提取进行了全面评估,结果表明eidpm实现了更优越的语音恢复质量。在icassp 2024 ssi挑战赛和voicebank+demand数据集上的结果显示,eidpm与近期实时系统相比具有竞争力,同时保持了良好的性能-计算效率平衡。此外,所提出的架构设计为框架无关的,可作为高级语音处理和生成式se任务(如基于扩散或流匹配的得分模型)的骨干网络,以提升其推理效率。 本文其余部分结构如下:第2节描述信号模型并回顾相关工作。第3节介绍所提出的方法。第4节详细介绍实验,包括消融研究及与其他最先进模型的比较。最后,第5节对全文进行总结。 **各章节摘要** **信号模型** 由麦克风采集的单声道语音信号受到多种畸变类型的退化影响,可表示为: x(t)=d(y(t)) + n(t) 其中x(t)表示退化语音信号,y(t)表示干净语音信号,n(t)是时间索引t下真实环境中的加性噪声。函数d(·)对语音信号施加的畸变进行建模,如房间脉冲响应(rir)、削波、丢包、低通滤波及其他伪像。 **生成对抗网络在语音处理中的应用** gan已展示出…… **所提方法** 本节介绍eidpm的架构,该框架在对抗学习范式下集成了高效的频率压缩建模与高分辨率特征提取。为增强特征表示,我们引入了两个双路径建模模块:位于预处理阶段的初始双路径建模模块(pre-dpm)和位于后处理阶段的残差双路径建模模块(post-dpm),它们分别在输入和输出阶段进行…… **实验** 所提eidpm的性能在两个基准上进行了评估:一般语音恢复任务和专门的噪声抑制(ns)任务。本节全面描述了数据集、实验配置和客观评价指标。此外,我们进行了实验结果的比较分析,以验证模型在通过……桥接频率压缩建模与高分辨率特征提取之间的鸿沟方面的有效性。 **结论** 在本研究中,我们提出了eidpm——一种旨在弥合高效频率压缩建模与高分辨率特征提取之间鸿沟的实时编码器-解码器架构。通过在对抗训练范式中集成pre-dpm和post-dpm模块进行双路径建模,所提架构在语音质量与计算效率之间实现了稳健的平衡。pre-dpm捕捉细粒度频谱谐波和局部时序一致性…… **作者贡献声明** thi nhat linh nguyen:初稿撰写、可视化、验证、软件、方法学、形式化分析、数据整理、概念构思。ngoc chau>
鉴于主流通信和助听器等系统对实时处理的需求,se模型必须满足严格的延迟和复杂度要求。为此方向已做出大量努力,如深度噪声抑制(dubey等人,2022,dubey等人,2024)和ssi挑战赛(cutler等人,2024a,ristea等人,2025)。在这些严格约束下,最先进的方法通常采用编码器-解码器架构(chau等人,2024,hu等人,2020,li和li,2022,zhao和gan,2022),如图1(c)所示。在此设计中,编码器将频率维度从b×2×f×t缩减至b×h×t(其中h表示隐藏层大小),解码器则将特征重建回原始分辨率。此处,编码器和解码器分层建模频率表示,而瓶颈层处理时序依赖关系。值得注意的是,由于这些瓶颈层将频谱信息嵌入到通道轴中,因此它们执行频率依赖的时序建模——功能上类似于tf-gridnet的跨帧注意力(图2(c))。尽管高效,但与图1(a)和图1(b)所示的双路径建模相比,实时se模型缺乏几项关键能力。具体而言,它们无法建模高分辨率特征或执行亚带时序建模,因此无法模拟wpe等传统滤波器——后者为每个频率计算逆滤波器。这引出了我们工作的核心问题:如何设计高效的实时se模型来整合这些高分辨率双路径能力?
我们提出了一种集成双路径建模的实时编码器-解码器架构,即eidpm,它弥合了高效频率压缩建模与高分辨率特征提取之间的鸿沟。与现有的实时自编码器模型不同——后者在压缩的潜在特征上执行时序和频谱建模——我们的eidpm引入了专用的双路径模块:预处理阶段的初始双路径建模(pre-dpm)和后处理阶段的残差双路径建模(post-dpm)。它们允许在原始t-f分辨率下提取特征,确保语音信号的结构保真度在编码器下采样阶段之前和解码器上采样阶段之后得以保留。我们的亚带建模分别在pre-dpm和post-dpm中通过t-resblock和t-dilated resblock捕捉短期和长期时序相关性。t-resblock利用最高分辨率下的局部卷积层堆栈来捕捉局部时序一致性,这对于跟踪非平稳语音动态至关重要,并与短期自适应逐频率滤波处理复杂输入特征的原则相一致;而t-dilated resblock则使用膨胀卷积层堆栈来从解码器重建的特征中精炼每个频率bin内的长程时序依赖关系。同时,通过f-dilated resblock实现全带建模,该模块使用膨胀频率卷积来有效捕捉跨广泛频谱范围的时间无关谐波结构,这些结构在先前编码器-解码器设计中的步幅操作中通常会被模糊。通过使用简单的步幅卷积核进行下采样和上采样,我们的自编码器架构消除了压缩阶段的计算冗余,确保编码器和解码器阶段纯粹执行时间无关的频谱建模。与依赖rnn或transformer的高复杂度双路径模型(如tf-gridnet或mp-senet)不同,我们的架构利用纯卷积双路径模块来借助权重共享作为强归纳偏置。这种设计有助于学习鲁棒的通用特征,同时显著减少计算开销和内存占用,使其适用于实时部署。我们对集成于编码器-解码器架构中的高分辨率双路径建模与压缩表示上的多尺度特征提取进行了全面评估,结果表明eidpm实现了更优越的语音恢复质量。在icassp 2024 ssi挑战赛和voicebank+demand数据集上的结果显示,eidpm与近期实时系统相比具有竞争力,同时保持了良好的性能-计算效率平衡。此外,所提出的架构设计为框架无关的,可作为高级语音处理和生成式se任务(如基于扩散或流匹配的得分模型)的骨干网络,以提升其推理效率。
本文其余部分结构如下:第2节描述信号模型并回顾相关工作。第3节介绍所提出的方法。第4节详细介绍实验,包括消融研究及与其他最先进模型的比较。最后,第5节对全文进行总结。
**各章节摘要**
**信号模型**
由麦克风采集的单声道语音信号受到多种畸变类型的退化影响,可表示为:
x(t) = d(y(t)) + n(t)
其中x(t)表示退化语音信号,y(t)表示干净语音信号,n(t)是时间索引t下真实环境中的加性噪声。函数d(·)对语音信号施加的畸变进行建模,如房间脉冲响应(rir)、削波、丢包、低通滤波及其他伪像。
**生成对抗网络在语音处理中的应用**
gan已展示出……
**所提方法**
本节介绍eidpm的架构,该框架在对抗学习范式下集成了高效的频率压缩建模与高分辨率特征提取。为增强特征表示,我们引入了两个双路径建模模块:位于预处理阶段的初始双路径建模模块(pre-dpm)和位于后处理阶段的残差双路径建模模块(post-dpm),它们分别在输入和输出阶段进行……
**实验**
所提eidpm的性能在两个基准上进行了评估:一般语音恢复任务和专门的噪声抑制(ns)任务。本节全面描述了数据集、实验配置和客观评价指标。此外,我们进行了实验结果的比较分析,以验证模型在通过……桥接频率压缩建模与高分辨率特征提取之间的鸿沟方面的有效性。
**结论**
在本研究中,我们提出了eidpm——一种旨在弥合高效频率压缩建模与高分辨率特征提取之间鸿沟的实时编码器-解码器架构。通过在对抗训练范式中集成pre-dpm和post-dpm模块进行双路径建模,所提架构在语音质量与计算效率之间实现了稳健的平衡。pre-dpm捕捉细粒度频谱谐波和局部时序一致性……
**作者贡献声明**
thi nhat linh nguyen:初稿撰写、可视化、验证、软件、方法学、形式化分析、数据整理、概念构思。ngoc chau hoang:审阅与编辑、软件、方法学、形式化分析、概念构思。>
阮国强:撰写 – 审阅与编辑,监督指导,资源,项目管理,方法学,调查研究,资金获取,形式分析,概念构思。
**利益冲突声明**
作者声明,他们不存在任何可能影响本文所报告工作的已知竞争性财务利益或个人关系。
**致谢**
本研究由河内科技大学(HUST)资助,项目编号为 T2026-T?-010。
阮氏日灵 | 黄玉娇 | 阮国强
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号