基于模型的语音增强技术，结合频谱包络校正和堆叠自编码器

《Engineering Applications of Artificial Intelligence》：Model-based speech enhancement with spectral envelope correction using stacked autoencoders

语音增强系统融合谐波噪声模型与频谱包络校正，通过聚类策略优化训练过程，有效恢复不同噪声条件下的语音谐波结构和增益特性，提升感知质量。

　　

卢文豪|臧振雅|秦峰|董霞|韩杰|潘佐洲|柯一平

南洋理工大学计算与数据科学学院，南洋大道50号，639798，新加坡

摘要

语音增强旨在提高噪声语音信号的可懂度和感知质量。在过去十年中，已经开发了许多基于深度学习的去噪方法。这些方法的训练目标是通过各种数学指标最小化预测信号与目标信号之间的总体误差。然而，提高感知质量更多地依赖于保留语音的固有特征，而不仅仅是信号的整体匹配。忽视这一方面可能会限制改进的效果。因此，我们提出了一种语音增强系统，该系统结合了谐波噪声模型（HNM）和基于堆叠自编码器（SAE）的频谱包络校正。HNM框架重建了谐波结构，这是影响音色和感知响度的关键频谱特征。由于用于HNM重建的参数会受到背景噪声的干扰，我们设计了频谱包络校正模块来进行恢复。这些模块采用了特定于簇的训练策略。首先将具有相似特征的输入数据分组，以指导神经网络学习特定的特征表示。然后，在每个簇内，相关的SAE通过减少数据中的冗余和随机扰动来建立干净信号和噪声信号之间的稳健映射。实验结果验证了我们的方案在各种噪声类型和输入信噪比下的有效性。

引言

语音增强是一种信号处理任务，旨在提高语音信号的可懂度和感知质量。它减少了背景噪声的影响，使失真的语音更加清晰易懂。在环境噪声较大的情况下，如拥挤场所或工业环境中，语音增强尤为重要。其典型应用包括电信（Hsu等人，2022年；Tan等人，2021年）、助听器（Green等人，2022年；Kirton-Wingate等人，2023年）和语音识别（Trinh和Braun，2022年；Chen和Zhang，2024年）。

在过去十年中，由于深度学习在模拟噪声语音和干净语音之间的高度非线性关系方面的出色能力，端到端学习方法已成为语音增强的主流。其中一项开创性工作（Xu等人，2014年）设计了一个基于深度神经网络的回归器，该回归器使用大规模的多噪声类型训练数据集将噪声对数功率谱映射到干净谱。它应用了dropout技术来降低过拟合的风险，并通过全局方差均衡作为后处理步骤来减少增强阶段观察到的过度平滑伪影。Samui等人（2019年）提出了一个语音增强框架，该框架堆叠了模糊受限玻尔兹曼机（FRBMs）。通过将FRBM的权重和偏置建模为模糊数，该框架使网络在噪声训练条件下获得了更强大的表达能力。Cui等人（2023年）引入了一种有效的训练策略，该策略在时域中对噪声语音信号进行操作。他们应用了一个估计器来测量噪声话语的语音纯度。在训练阶段，他们结合了干净信号和恢复信号之间的监督学习过程以及对噪声信号的无监督学习过程，以增强网络的泛化能力。Chen等人（2023年）的工作提供了一种替代方法，以提高增强系统对不同噪声条件的适应性。给定干净语音，他们使用生成对抗网络来模拟真实的噪声语音。利用人工生成的噪声-干净语音对，训练一个去噪模型以最小化尺度不变的信号失真比。Wang和Wang（2023年）提出了一个跨域语音增强框架，该框架将时域监督增强模块与基于复杂域的生成模块集成在一起。第一个模块产生一个粗略增强的信号。这个信号与扩散的噪声语音、掩码和噪声级别嵌入一起被输入到第二个模块。基于扩散概率模型，第二个模块细化了复杂频谱图中的掩蔽噪声区域，进一步提高了语音质量。Welker等人（2022年）通过制定一个任务感知的随机微分方程（SDE）开发了一个基于扩散的去噪网络，在该方程中，前向过程逐渐将干净语音转换为噪声语音，反向SDE通过分数匹配来重建干净的复杂频谱图。在Richter等人（2023年）的工作中，他们通过使用多分辨率U-Net骨干并在收缩和扩展路径中引入渐进式生长来进一步加强网络架构。请注意，所有上述方法都侧重于使用各种映射标准（如L1、L2和交叉熵损失）最小化预测信号与干净信号之间的总体差异。然而，恢复语音的良好感知质量更多地依赖于保持原始语音信号的固有特征，而不仅仅是基于数学指标的整体信号匹配。忽视这一方面可能会限制感知质量的改进。

事实上，人类发声机制与听觉感知密切相关。当人们说话时，他们的声带以特定的频率振动。这种振动产生了一系列频率为该频率倍数的谐波。这在频域中被称为“谐波结构”。由于这种结构直接贡献于声音的音色，并间接影响感知的响度，一些先前的研究尝试通过恢复谐波来增强噪声语音。为了恢复谐波幅度，Huang等人（2017年）首先应用了一种代码本驱动的贝叶斯方法来估计干净语音和噪声的线性预测（LP）系数和激励方差。然后，使用估计的参数构建了一个去噪谱。最后从该谱中采样谐波频率处的谐波幅度。这种方法的缺点是Wiener滤波基于平稳随机过程的假设，不适用于许多实际场景中的非平稳噪声。Huang等人（2020年）训练了一个深度前馈网络，将噪声损坏的对数功率谐波幅度映射到干净幅度。为了解决由于不同音高周期导致的谐波数量的变化，他们使用线性插值来填充缺失的谐波幅度，基于相邻谐波值。线性插值方法假设频谱上谐波幅度的变化是平滑且可预测的。然而，在非平稳噪声存在的情况下，这种方法并不成立，导致估计的和谐波幅度与目标谐波幅度之间存在差异。与上述专注于谐波幅度恢复的方法不同，Ping和Yafeng（2022年）的工作通过用掩码对噪声谱进行加权来估计谐波谱。这个初步估计随后通过帧间平滑操作和与谐波相关的增益函数进行了细化。得到的谱有助于在噪声语音中恢复自然的谐波结构。然而，在低信噪比（SNR）环境下，语音信号的频谱成分与背景噪声的频谱成分高度重叠，使得掩码难以区分语音信号和噪声。因此，找到一种能够从噪声语音中精确恢复谐波结构的方法，并同时抑制该结构中的背景噪声成分是非常重要的，而无需对噪声特性做出任何明确的假设。

本文提出了一种语音增强系统，该系统结合了谐波噪声模型（HNM）分析-合成框架（Griffin和Lim，1988年）和基于堆叠自编码器（SAE）的频谱包络校正。其目的是通过恢复频谱中的谐波结构来提高噪声语音的感知质量。HNM框架在重建具有感知相关声学参数的干净谐波方面起着重要作用。由于从噪声损坏的语音帧中提取的这些参数严重失真，频谱包络校正模块有效地从退化的对应参数中恢复了它们。主要贡献可以总结如下：

• $•$
  我们采用HNM分析-合成框架来重建干净语音，而不是直接尝试去噪给定的噪声语音。由于该模型仅依赖于估计的声学线索来再生语音信号，因此在此过程中任何与谐波结构重叠的背景噪声成分都会被自然排除。
• $•$
  我们设计了一种结合网络校正过程的聚类方法来恢复频谱包络。与训练单个网络使用输入数据不同，聚类策略将具有相似特征的输入分组，减少了网络同时学习多个输入特征的需求，并使每个子网络专注于其分配簇的特定特征。
• $•$
  考虑到每个输入模式包含来自连续帧的缓慢变化的包络信息，我们选择SAE来建立噪声损坏的包络和干净包络之间的高度非线性关系。其编码器-解码器结构有效地减少了输入数据中的冗余，使网络能够学习必要的特征表示。
• $•$
  为了提高恢复语音的感知质量，我们训练网络分别校正频谱形状（与音色相关）和频谱增益（与响度相关）。特别是，鉴于频谱增益对语音信号的短时变化敏感，我们设计了一个额外的汉明加权损失函数，在训练SAE进行增益校正时，对中心帧施加更高的权重，同时逐渐减少边缘的权重。

本文的其余部分组织如下。第2节介绍了HNM的背景。第3节介绍了基于HNM的语音增强和频谱包络校正过程。第4节中的实验用于评估所提出增强方案在各种噪声条件下的性能。第5节讨论了训练所提出系统的时间复杂性并测量了其推理时间。第6节提出了结论性意见。

部分摘录

背景

HNM是一种信号表示框架，旨在将语音分解为有声（周期性）和无声（非周期性）成分。它非常适合分析和合成受到随机干扰的具有明显周期性结构的语音信号。由于HNM合成的语音质量很高，我们采用HNM分析-合成作为所提出语音增强系统的框架。图1展示了HNM的框图。在分析阶段，

提出的语音增强系统

第2节告诉我们，由于HNM中的许多声学线索与人类听觉感知密切相关，因此从干净语音信号重建的话语具有较高的感知质量。假设语音信号中有时变加性噪声。一个主要问题是，从噪声信号重建的话语是否仍然保持良好的质量。图2展示了在不同粉红噪声水平下LP包络的变化。

实验结果

我们设计了一个基于HNM的语音增强系统，通过SAE进行频谱包络恢复。本节将展示其实用性。SAE被配置为处理LP参数校正任务。TIMIT语料库中的总共两百个干净话语被用作训练集，而每个测试选择了另外三十个话语作为所提出增强系统的输入。

讨论

本节首先讨论了所提出语音增强系统的训练时间复杂性。然后，对其推理时间进行了评估，并与现有工作进行了比较。

结论

本文提出了一种结合HNM分析-合成框架和基于SAE的频谱包络校正的语音增强系统。我们应用HNM根据声学参数重建谐波结构，并去除与结构重叠的背景噪声成分。由于从噪声损坏的频谱中提取的声学参数（LP包络和增益）严重失真，因此提出了结合SAE校正过程的聚类方法。

CRediT作者贡献声明

卢文豪：撰写 – 原始草稿、软件、方法论、概念化。臧振雅：软件、调查。秦峰：撰写 – 审阅与编辑、方法论。董霞：验证。韩杰：撰写 – 审阅与编辑、软件。潘佐洲：撰写 – 审阅与编辑、验证、调查。柯一平：撰写 – 审阅与编辑。

资金信息

这项研究/项目得到了新加坡国家研究基金会在其产业对齐基金 – 前期定位（IAF-PP）资助计划的支持。本材料中表达的任何观点、发现、结论或建议均为作者的观点，并不代表新加坡国家研究基金会的观点。阿尔伯塔大学的工作得到了加拿大自然科学与工程研究委员会（NSERC）在项目RES0048688下的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。