用于回归的扩散模型：一种模型不可知的生成式方法，用于可控语音增强

《Pattern Recognition Letters》：Diffusion for Regression: A Model-Agnostic Generative Approach to Controllable Speech Enhancement

本文提出三种模型无关策略解决扩散模型在语音增强中的条件坍塌和误差累积问题，显著提升性能并支持高效单步生成。

　　

Fang Liu|Siqi Yang|Gang Yang|Wenxin Tai|Yue Lei|Ting Zhong|Fan Zhou

中国民用航空飞行大学计算机科学与人工智能学院，四川省广汉市，618307

摘要

扩散模型在图像合成和音频处理等生成任务中表现出色，但人们通常认为它们不如专门的回归模型适合用于回归问题。在这项工作中，我们通过互信息的视角揭示了扩散模型在可控语音增强方面的潜力，挑战了这一观点。我们展示了在特定条件下，扩散模型可以超越传统的回归方法，并指出了限制其性能的两个关键障碍：条件崩溃和误差累积。我们提出了三种与模型无关的新策略来应对这些挑战：（1）条件优先化（Condition Prioritization），在训练过程中强调条件信号；（2）展开训练（Unfolded Training），提高对误差累积的鲁棒性；（3）衰减学习（Attenuated Learning），通过减少中间生成样本的影响来稳定推理。在语音增强方面的实验表明，这些策略即使在一步生成过程中也能持续提升性能，为实用且高效的基于扩散的语音增强系统铺平了道路。

引言

近年来，扩散模型在各种生成任务中引起了广泛关注，包括图像合成[1]、文本生成[2]和音频处理[3]。它们在生成高质量输出方面的出色表现促使研究人员探索其在回归任务中的应用，特别是在建模不确定性[4]和增强泛化能力[5]、[6]方面。然而，普遍的看法认为扩散模型在性能上不如专门的回归模型[5]、[7]。 本研究通过互信息的视角来挑战这一观点。我们认为，通过利用两种不同的信息源，扩散模型本质上结合了回归和生成方法的优点。在这里，“可控语音增强”指的是生成过程能够有效地受到噪声语音的指导，确保输出在噪声观测中仍然忠实于清晰语音的分布。尽管具有这种理论潜力，但两个实际挑战阻碍了它们的回归性能：条件崩溃和误差累积。条件崩溃发生在模型低估条件信号时，限制了反向扩散过程受到噪声条件的指导能力[8]。误差累积源于扩散模型的迭代马尔可夫链特性，其中估计误差在多个步骤中累积[9]。 许多努力试图通过各种可控性策略来解决扩散模型中的条件崩溃和误差累积问题，这些策略主要分为两类：（1）通过专门的网络架构调整进行隐式条件指导[5]、[10]；（2）通过梯度后处理进行显式条件指导[1]、[11]。前者需要较高的架构专业知识，提高了扩散模型应用的门槛，而后者往往对任务有特定的要求[12]。 本研究探讨了一个关键研究问题：“是否可以在不使用专门网络架构的情况下实现可控扩散模型？”我们通过引入三种与模型无关的策略给出了肯定的答案：（1）修改训练目标以优先考虑条件信号；（2）展开训练以提高模型对误差累积的抵抗力；（3）采用衰减技术来提高推理稳定性。我们使用时域和时频模型对语音增强任务进行了验证，证明这些策略使扩散模型即使在具有挑战性的未见条件下也能持续超越传统回归方法，并实现高效的一步生成。 我们的贡献有四方面。首先，我们从回归的角度重新审视了扩散模型，为其在可控语音增强方面的潜力提供了新的见解。其次，我们的与模型无关的策略消除了对架构修改的需求，拓宽了扩散模型的应用范围。第三，广泛的实验证明了它们在多样化和具有挑战性的场景中的强大泛化能力。最后，证明的推理迭代稳定性使其能够与快速采样技术无缝集成，从而大幅提高了效率。

语音增强

在单通道监督语音增强任务中，观测信号 y 通常被建模为清晰语音 x 和加性噪声 n 的混合：$y=x+n。$ 目标是从噪声观测 y 中恢复清晰语音 $\hat{x}$ 在本文中，我们将噪声语音 y 视为语音增强的条件信号 c。

扩散模型

离散时间扩散模型[13]可以被视为保持方差的随机微分方程（VP-SDE）[14]的离散实现：$\begin{array}{c}\text{d}\end{array}$

无模型证据

尽管扩散模型在生成任务中表现出色，但它们在回归任务中的应用仍然很大程度上未被探索。我们首先研究了利用扩散模型进行回归任务的可行性和潜力，揭示了它们在哪些条件下可以超越回归模型。

与以往工作的关系

基于扩散的语音增强性能主要受到两个障碍的阻碍：条件崩溃和误差累积。 条件崩溃。现有方法难以保持条件信号 c 的主导地位。DR-DiffuSE[25] 依赖于辅助指导网络，增加了计算量和架构复杂性，而 DOSE[8] 在训练过程中删除了 x_t 以强制条件作用，但引入了训练-推理不匹配的问题。与这些策略不同，我们提出了一种新的训练方法

数据集、指标和框架

数据集：对于语音增强，我们使用 VoiceBank-DEMAND 数据集[34] 进行性能评估。该数据集包含 11,752 个训练语音样本和 824 个测试语音样本。训练混合样本的信噪比为 0、5、10 和 15 分贝，而测试混合样本的信噪比为 2.5、7.5、12.5 和 17.5 分贝。为了评估模型在训练分布之外的泛化能力，我们通过将 VB 数据集中的清晰语音与 NOISEX-92[35] 中的噪声混合来构建一个分布外数据集。

结论

在这项工作中，我们从回归的角度重新审视了扩散模型，揭示了它们在可控语音增强方面的理论优势。我们确定了限制其实际性能的两个关键障碍——条件崩溃和误差累积，并提出了三种与模型无关的策略来解决这些问题：条件优先化、展开训练和衰减学习。广泛的实验证明了这些策略在控制这些问题方面的有效性。

CRediT 作者贡献声明

Fang Liu：撰写——原始草稿。 Siqi Yang：撰写——审阅与编辑，可视化。 Gang Yang：软件，方法论。 Wenxin Tai：项目管理，概念化。 Yue Lei：撰写——审阅与编辑，软件，项目管理。 Ting Zhong：监督。 Fan Zhou：验证，项目管理。