FRSE：基于残差解耦学习的流匹配语音增强技术

《Speech Communication》：FRSE: Flow-matching with residual-decoupled learning for speech enhancement

　　摘要
流匹配方法已成为高效语音增强领域的核心技术，它通过常微分方程来建模连续的概率路径。现有的基于流匹配的语音增强方法大多采用统一的条件向量场，在单一框架下同时实现确定性语音恢复与随机扰动泛化处理。这种建模方式增加了模型优化的难度，使得难以同时提升语音的保真度与泛化能力。为解决这一问题，我们提出了FRSE模型——一种通过残差解耦学习实现语音增强的流匹配新框架，该框架明确将这两个目标分开处理。具体而言，FRSE将传统流匹配中的单一速度场分解为两个独立的平行场：一个用于引导概率路径从含噪语音向清晰语音转换的残差速度场，旨在精细恢复语音结构；另一个则专注于减弱高斯扰动并提升模型的泛化能力。实验结果表明，所提出的残差解耦流匹配框架能够实现高效采样与高质量语音增强效果，且双速度场的性能显著优于传统的单场建模方法。在VoiceBank-DEMAND和WSJ0-REVERB数据集上的测试显示，FRSE在关键指标上表现出色，仅需三步采样即可超越主流流匹配模型及大多数扩散模型，其性能在PESQ、ESTOI和SI-SDR等指标上均表现优异。

引言
作为语音与音频信号处理中的基础任务，语音增强旨在从被环境噪声污染的观测信号中恢复出清晰的语音信号。它对于提升语音通信的清晰度、增强自动语音识别系统的稳定性以及优化助听设备的实用性具有重要意义（Benesty等人，2006；Jannu和Vanambathina，2025）。传统的语音增强方法主要基于信号处理理论，如频谱减法（Boll，2003）和维纳滤波（Lim和Oppenheim，2005）。尽管这些方法在实时处理方面表现良好，但在面对非平稳噪声或信噪比较低的情境时，其增强效果却十分有限（Loizou，2005）。近年来，深度学习的快速发展使得基于数据驱动的方法大幅提升了增强后语音的质量与可懂度（Wang和Chen，2018；Narayanan和Wang，2014；Fan等人，2025b、2025a、2025c）。这类方法大致可分为两类：判别模型与生成模型。判别模型包括时域卷积分离网络（如Conv-TasNet，Luo和Mesgarani，2019）、端到端波形域增强模型（Défossez等人，2020）以及如MetricGAN+这样的感知优化模型（Fu等人，2021），它们直接学习从含噪语音到清晰语音的映射关系。这类方法在训练数据匹配的条件下表现良好，但泛化能力较差，一旦应用于未知噪声环境往往会出现感知失真（Reddy等人，2020；Hu等人，2020）。相比之下，生成模型如生成对抗网络（Pascual等人，2017）、扩散模型（Ho等人，2020；J. Song等人，2021）以及流匹配方法（Lipman等人，2023；Liu等人，2023）则通过学习清晰语音的先验分布，从而具备更强的鲁棒性。这一特性在处理意外声学场景时尤为有用（Shen等人，2025）。现有研究表明，生成式语音增强模型在多种客观指标上的表现可与判别模型相媲美，而在主观听觉评估指标上则优于后者（Fan等人，2025d；Saijo等人，2025）。

在各类生成式语音增强方法中，扩散模型显得尤为具有前景（Ho等人，2020；J. Song等人，2021）。扩散模型的基本原理包括一个逐步向数据中注入噪声的向前扰动过程，以及一个用于学习恢复目标清晰数据的向后去噪过程。在语音增强应用中，扩散模型能够学习清晰语音的条件分布，从而显著提升增强后语音的感知质量（Welker等人，2022；Y. Song等人，2021；Lay等人，2023）。例如，SGMSE+（Richter等人，2023）通过随机微分方程在复杂的短时傅里叶变换域中对语音分布进行建模，实现了高质量的语音增强与混响消除效果。然而，SGMSE+需要30至60步的采样过程，导致计算成本较高。为提升推理效率，后续研究提出了多种优化策略。StoRM（Lemercier等人，2023）结合了预测模型与生成模型，通过随机再生机制减少了采样步骤。虽然这类混合模型提升了质量，但依赖于前置的判别预测模型，并引入了额外的参数。VPIDM（Guo等人，2024）通过建立状态变量方差与缩放系数之间的约束关系，将计算成本降低到25步。该方法虽提升了训练稳定性，但由于依赖严格预定义的方差保持系数，可能限制其在复杂声学环境中的适应性。

近期，基于流匹配的语音增强方法（FlowSE，Lee等人，2025）作为一种高效的替代方案被提出。该方法利用条件流匹配损失函数直接学习从含噪语音到清晰语音的连续概率路径，从而避免了迭代去噪带来的高计算成本。FlowSE仅需5步采样即可达到与SGMSE+（60步）相当的性能，且无需微调即可适应不同的采样步数。不过，FlowSE至少需要5次神经函数评估才能实现稳定的增强效果。最近又有研究进一步优化了流匹配框架的效率与性能：MeanFlowSE（Li等人，2025）通过学习有限时间间隔内的平均速度场，实现一步生成，大幅降低了计算成本；COSE（Yang等人，2025a）利用速度组合恒等式避免了雅可比-向量积运算，降低了训练开销；VPVID（Yang等人，2025b）则将速度引导与保持方差的插值扩散相结合，仅需10步采样即可实现高效增强。尽管如此，尽管这些方法在效率与性能上有所提升，但所有现有的基于流匹配的语音增强方法仍依赖于单一向量场建模思路。这种建模方式增加了模型优化的难度，使得难以同时提升语音的保真度与泛化能力。

更为近期，残差去噪扩散模型（RDDM，Liu等人，2024）为扩散模型带来了新的思路。RDDM将传统的单一去噪扩散路径分解为两个独立的过程：残差扩散与噪声扩散，分别处理确定性语音恢复与随机扰动泛化问题。RDDM最初成功应用于图像修复领域，后来被我们之前的工作（Rao等人，2025）扩展到语音增强领域，称为RDSE。通过明确建模含噪语音与清晰语音之间的残差，RDSE仅需少量采样步骤（如3步）即可取得优异性能，并且在多种环境中都具有很强的鲁棒性。不过，RDSE仍受限于扩散框架的固有特性，需要在后期处理中进行复杂的一致性微调才能达到最佳性能。

受RDDM的分解机制以及语音增强中解耦学习思路的启发，本文提出了FRSE模型——一种融合了流匹配的高效性与残差扩散分解优势的模型。FRSE的核心创新在于将FlowSE中的单一条件向量场分解为两个独立的速度场：残差速度场负责精细恢复语音结构并引导概率路径的方向演化；噪声速度场则致力于减弱高斯路径扰动，提升模型对复杂声学失真的泛化能力。实验结果表明，FRSE既可实现高效采样，又能带来高质量的语音增强效果，其双速度场的性能显著优于传统的单场建模方法。本研究的主要贡献如下：
（1）我们提出了一种包含残差-噪声双速度场分解机制的流匹配框架。从理论上证明，流匹配向量场可以纳入线性组合框架中，进而进一步分解为残差向量场与噪声向量场。双场解耦降低了向量场求解的复杂性以及模型学习的难度，从而提升了语音增强任务的准确性与泛化能力。
（2）在VoiceBank-DEMAND和WSJ0-REVERB数据集上的实验表明，FRSE仅需3步采样即可超越现有方法，包括FlowSE以及最新的均值流匹配模型，在多项指标上均表现出更好的性能，实现了高效推理与高质量语音增强之间的平衡。
（3）FRSE在各种噪声条件下的跨场景鲁棒性优异，能够在不同类型的噪声及不同的信噪比环境下保持稳定性能，为复杂声学环境中的语音增强提供了有力的解决方案。

段落摘录
**使用扩散模型进行语音增强**
语音增强的目标是从被环境噪声污染的观测信号中恢复出清晰的语音信号（Loizou，2007）。具体而言，给定一个含噪语音信号y=s+n，其中s表示清晰语音，n代表附加噪声，语音增强的目标就是通过抑制噪声来估计出s。基于扩散模型的方法通过生成式建模来学习清晰语音的条件分布，近年来已展现出显著优势（Welker等人，2022；Y. Song等人，2021；Lemercier等人……）

**方法**
本研究旨在通过引入残差去噪扩散模型（RDDM，Liu等人，2024）的核心理念，来提升基于流匹配的语音增强方法（FlowSE，Lee等人，2025）的性能。该理念将传统的单一条件向量场分解为独立的残差场与噪声场。所提出的解耦设计具有坚实的理论基础。这两种方法都通过线性组合来建模信号的中间演化过程，而RDDM则能实现更精确的建模……

**数据集**
VoiceBank-DEMAND是一种经典的语音增强基准数据集，它是由VoiceBank语料库中的清晰语音（Veaux等人，2013）与DEMAND数据库中的真实环境噪声（Thiemann等人，2013）结合而成的。训练集包含来自28名说话者（14名女性，14名男性）的11,572条合成语音，这些语音是通过将清晰语音与10种不同的噪声类型混合生成的：8种来自DEMAND的真实噪声（如办公室噪声和街道噪声），以及2种……

**结论**
为克服现有基于流匹配的语音增强方法的局限性，本研究提出了FRSE模型。该模型融合了流匹配框架的高效采样特性与残差分解的优势。实证结果表明，FRSE在多种场景下均优于主流的流匹配模型以及大多数基于扩散模型的方法。仅需三步采样，它就能实现高效推理与高质量的语音增强效果……

**CRediT作者贡献说明**
Zhisheng Cai：撰写——初稿、方法论、研究设计、形式分析、数据整理、概念构思。
Jiayi Sun：可视化、验证、监督、软件开发。
Feilong Chen：验证、监督、软件开发、资源管理、项目统筹。
Yan Leng：验证、监督、软件开发、资源管理、项目统筹。
Miao Sun：验证、监督、软件开发、资源管理、项目统筹。
Biyun Ding：可视化、验证、监督、软件开发、资源管理。

**关于 manuscript 准备过程中使用生成式AI及AI辅助技术的声明**
在准备本文档时，作者使用了Doubao工具（由北京春天智云科技有限公司提供的最新版本），对该文本的英文版本进行了润色，包括语法修正、用词优化以及提升文本清晰度。使用该工具后，作者对内容进行了仔细审查和必要修改，确保文本的准确性及其与研究结果的一致性，同时检查了可能存在的偏见及事实错误……

**资金支持**
本研究部分得到了广东省普通高等学校重点领域专项计划的支持，项目编号为2025ZDZX1023；部分得到了赣州市揭榜挂帅项目的支持，项目编号为2023ULGX0004；部分得到了江西省科技厅的支持，项目编号包括20232BCJ22050、CK202404510以及20252BAC200175；部分得到了广州市教育局的支持，项目编号为2024312000和2024312430；还有部分得到了广州市科学……的支持。

**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Zhisheng Cai | Jiayi Sun | Feilong Chen | Yan Leng | Miao Sun | Biyun Ding | Chengli Sun
南昌航空大学信息工程学院，中国江西南昌市330063