用于低比特率语音压缩的双频段神经编码解码器

《Digital Signal Processing》：A Dual-Band Neural Codec for Low-Bitrate Speech Compression

　　塔希尔·贝基里亚兹奇|古尔坎·阿伊德米尔|哈坎·古尔坎
土耳其布尔萨16130，布尔萨技术大学电气与电子工程系

摘要
低比特率宽带语音压缩在经过量化与时域下采样后，通常会出现频谱保真度下降的问题，而这些损失在高频区域尤为明显。我们提出了双带神经编解码器（DBNC），这是一种端到端架构，它利用线性相位FIR滤波器将输入信号分为低频段和高频段，然后分别用核大小与对应频段时域特性相匹配的ConvNeXt-1D子网络对每个频段进行处理。各频段共享的残差向量量化器使得同一个训练好的模型能够在多种比特率下工作。训练过程中结合了多分辨率STFT目标函数、轻量级的MS-STFT对抗性鉴别器以及特征匹配项。在LibriSpeech数据集上的测试表明，DBNC在3.2 kbps时的PESQ值为2.84，STOI值为0.93，而在0.8–4.0 kbps范围内的MOS评分则在1.93到3.82之间。在未见过的数据集LJSpeech 1.1和VOA土耳其语语料上的交叉测试，以及基于自监督学习的表现分析，进一步证明了该模型的泛化能力。

引言
语音压缩方法是数字通信基础设施的核心组成部分之一，它在平衡带宽限制与高感知质量要求方面起着关键作用[1]。基于VoIP的实时语音通信应用、电话会议系统、卫星通信链路以及大规模媒体流服务都需要减少需要传输的数据量[2]。此外，在当今数据量巨大的背景下，高效存储大规模原始语音数据集也成为一个重要挑战。因此，有必要在保留信号信息的同时尽量减少传输或存储的数据量，也就是有效地压缩语音信号。其根本目标是确保以尽可能低的比特率压缩后的语音信号能够在保持高感知质量、清晰度和自然度的同时以最小误差被重建。在低于3 kbps的比特率下实现令人满意的语音感知质量，以及在低于6 kbps的比特率下实现通用语音的优质压缩，仍然是重要的研究课题[3]。

历史上，人们已经开发出了多种语音编码技术，如LPC、CELP、MELP和Speex[4]–[14]。近年来，图形处理单元（GPU）的进步推动了基于深度学习的方法的发展，从而带来了语音处理领域的重大变革。最初，像WaveNet这样的自回归模型在文本转语音（TTS）合成领域实现了高保真波形生成[15]。要将这些模型应用于语音编码，则需要新的架构设计。在[16]中，人们发现可以利用WaveNet作为解码器来实现低比特率的语音编码。类似地，LPCNet[17]将神经网络合成与线性预测相结合，而WaveRNN[18]则通过优化计算负载来获得高质量合成效果。这些知识的积累为现代神经编解码器的发展奠定了基础，例如可在工业规模上实时运行的Lyra[19]。

近期的端到端神经编解码器逐渐转向离散表示学习，以便生成紧凑且稳健的潜在代码用于传输。在VQ-VAE框架的基础上[20]–[21]，诸如SoundStream[1]和EnCodec[22]之类的现代系统将卷积编码器-解码器与残差向量量化（RVQ）以及基于GAN的感知损失功能相结合，从而使单个模型无需重新训练即可在多种比特率下工作。此外，也有研究提出了不使用GAN损失、而是采用轻量级模型的语音压缩方法，这类方法将因果一维卷积自编码器与RVQ相结合[23]–[24]。由于能够利用基于RVQ的多代码本对来自同一编码器结构的代码进行量化，这些研究使得无需重新训练即可在多种压缩率下实现语音传输。

文献中的架构模型种类日益丰富，出现了许多专为解决特定问题而设计的专用模型。例如，DeepVoCoder凭借其基于CNN的架构以及嵌套的（Inception-1D）卷积块，展示了深度学习在窄带语音波形压缩方面的有效性；而APCodec则将幅度和相位谱分别编码在不同的频段中，旨在为高采样率音频保留高频细节[3]–[25]。

尽管取得了这些进展，但在高采样率下在降低比特率至极低水平的同时仍保留并重建高频成分仍然是一个重大挑战[1]。目前的神经编解码器通常采用时域下采样和基于量化的编码方式。这些操作可能导致解码器处的高频表示不足，从而引发混叠、频谱模糊以及纹理丢失等问题。事实上，文献中也明确指出，现代神经编解码器中会出现与音调/频率周期性相关的伪影，同时高频部分的建模也存在缺陷[26]。

这类伪影的出现不仅与架构选择有关，还与控制学习过程的损失函数定义密切相关。有研究表明，损失函数的选择对于保留高频细节具有决定性作用，为此目的，基于短时傅里叶变换（STFT）的频谱损失函数可能更为合适[2]。为了减少高频伪影并提升语音的自然度，一些研究在解码器中采用了抗混叠机制和周期性激活函数[27]。

虽然基于深度学习的方法相比传统编解码器在低比特率场景下表现出更优异的性能，但如何保留高频频谱细节以及提高计算效率仍是尚未解决的研究问题。大多数端到端模型都在单一频段内处理信号，因此无法体现低频音调结构与高频瞬态在感知上的差异。

在本研究中，我们旨在通过显式建模语音中与频率相关的感知差异，从而同时提升高频细节的质量和计算效率。为此，我们借鉴人类听觉系统的频率选择性，提出了一种名为双带神经编解码器（DBNC）的神经语音压缩架构，该架构将语音分为低频成分和高频成分，并通过专用的卷积分支对它们进行处理。这种设计使得模型能够通过针对不同频段的表示学习，同时保留信号的结构性完整性与精细的频谱细节。本研究的主要贡献如下：
• 为充分利用低频和高频语音在感知和频谱特性上的显著差异，我们提出了一种双带架构，该架构以800 Hz为截止频率对输入信号进行分割。这种分割方式避免了使用单一参数集同时建模变化缓慢的谐波和快速变化的瞬态所带来的难题，同时使得每个频段都能由具有适当核大小的编解码器进行处理。
• 为实现高效的特征建模、在低比特率下保持感知上的高保真度以及实现高效的数据学习，我们对现代ConvNeXt模块进行了改造，使其适用于一维语音信号。
• 所提出的编解码器采用了轻量级的多尺度STFT鉴别器（MS-STFT），以此在训练过程中保持计算效率。通过在每个STFT分支中使用浅层2D CNN，该方法相比文献中常见的深层、分层的多尺度鉴别器架构，能够降低模型复杂度与计算成本。
• 为满足传统的客观评估标准，我们还利用基于自监督学习的模型（WavLM和wav2vec 2.0）对重建语音的感知质量进行了评估。

架构简介
DBNC基于一种编解码器架构，其中包含双带ConvNeXt-1D模块，这些模块以800 Hz的截止频率将输入的语音信号分为低频（LF）成分和高频（HF）成分。图1展示了DBNC的整体工作流程及基本组成模块。每路信号都由独立的子网络处理，这样低频路径就可以利用较大的卷积核来强调较长的谐波和音调结构，而高频路径则负责处理高频信息。

数据集与预处理
本研究使用了LibriSpeech数据集[39]来训练和评估所提出的语音压缩模型。在训练阶段，使用了LibriSpeech中专门用于开发的最小纯净子集来进行模型训练和超参数调整，而用于评估的纯净子集则用于实际测试。该数据集包含独立的开发子集和测试子集，分别用于模型训练、超参数调整以及性能评估。

客观性能评估
DBNC模型中RVQ模块所提供的层次化结构，使得该模型在经过一次训练后便能在广泛的比特率范围内正常工作。表3展示了活跃量化器数量（Nq）与相应质量指标之间的关系。当代码本大小固定为8位（M=256）时，每增加一个活跃量化器，比特率就会上升0.4 kbps。表3的结果显示，随着活跃量化器数量的增加，PESQ值和STOI值都有显著提升。

结论与未来工作
我们提出了双带神经编解码器（DBNC），旨在缓解低比特率宽带语音压缩过程中的感知质量下降问题。DBNC将语音信号分为高低两个子带，并通过独立的ConvNeXt-1D分支学习各自频段的特定表示形式。借助RVQ技术，该模型能够在同一个架构下支持多种比特率的运行。在LibriSpeech测试集上的结果表明，当比特率高于1.6 kbps时，模型性能呈现明显的上升趋势，其信噪比可达6.18 ± CRe。

作者贡献声明
塔希尔·贝基里亚兹奇：概念设计、方法论、软件实现、验证、形式化分析、研究工作、资源协调、数据整理、初稿撰写、审稿与编辑、可视化处理、项目监督。
古尔坎·阿伊德米尔：概念设计、方法论、验证、形式化分析、资源协调、审稿与编辑、项目监督、项目管理。
哈坎·古尔坎：概念设计、方法论、验证、形式化分析、研究工作、资源协调、数据整理、初稿撰写。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。