LiteSwitchCodec：基于令牌空间量化与因果U-Net的神经语音编码技术，用于个性化实时通信

《Neural Networks》：LiteSwitchCodec: Neural Speech Coding with Token Space Quantization and Causal U-Net for Personalized Real-time Communications

　　摘要：随着在线会议和直播技术的快速发展，个性化实时通信已成为下一代通信系统的重要功能，这对延迟、复杂度及安全性提出了更高要求。本文介绍了LiteSwitchCodec，这是一种专为运营商管理平台上的个性化实时通信服务设计的轻量级神经网络语音编码器。它通过集成声音适配模块，在实现高质量语音压缩的同时保障实时通信，从而避免语音版权和安全风险。在语音压缩方面，我们首先设计了LiteSpeechCodec，该编码器和解码器均采用全因果卷积层结构，并通过镜像结构降低解码器的复杂度。我们还采用了标量量化技术替代残差向量量化，从而在保持高语音质量的同时降低模型复杂度。这种方法有助于构建高质量压缩域，进而简化量化符号的生成过程。在符号空间中，我们引入了轻量级因果U-Net模型，用于提取全局信息以实现个性化声音适配，支持目标说话人的动态切换。具体而言，我们采用了两阶段训练策略：首先在公共数据集上训练LiteSpeechCodec以进行语音压缩，然后构建语音转换数据集来训练基于符号级的因果U-Net声音适配网络。实验表明，与现有最先进编码器相比，LiteSwitchCodec在参数量减少38倍的情况下仍能保持与实时通话相当的质量，7.2 kbps速率下的ViSQOL客观质量评分可达4.32分。此外，它还能实现40毫秒的低延迟实时声音适配。与实时通话中的语音转换模型相比，我们的方法在主观和客观指标上均表现更优，客观相似度达92.61%，主观说话人相似度评分则为4.67分，远高于3.59分，充分体现了其在个性化实时通信中的应用优势。更重要的是，LiteSwitchCodec能够有效保护语音版权，防止未经授权的模仿行为，满足商业实时通话系统的安全需求。

引言：神经网络语音编码技术可实现高质量语音压缩，已成为实时通信服务领域的有力支撑。这类系统在发送端将语音波形转换为离散表示，再在接收端解码以还原原始语音信号。尤其是主流的端到端神经网络语音编码技术，通过编码器-量化器-解码器架构，在网络条件较差的情况下仍能保持较高通信质量。与此同时，直播技术的普及催生了对个性化实时通信服务的迫切需求。用户希望在智能手机等个人设备上实时改变语音的特定特征，同时保持自然的语音质量；在虚拟平台上，用户则希望将自己的声音转化为喜欢的虚拟角色声音。这需要高效传输技术与个性化声音适配功能的无缝结合。我们将这种模式称为个性化实时通信，它要求高效的压缩能力以及低延迟的动态声音适配功能。虽然神经网络编码器能在低比特率下实现高质量语音传输，但在个性化实时通信应用中仍存在复杂度高、延迟大的问题。因此，开发专为个性化实时通信设计的神经网络语音编码器成为一项重要研究课题，其核心目标是降低比特率、减少延迟和计算复杂度，同时保留高质量的个性化语音特性。

对于端到端神经网络语音编码器，通常由三个关键部分组成：将音频信号转换为潜在表示的编码器、为高效传输而对这些表示进行离散化的量化器，以及用于还原原始信号的解码器，如图1(a)所示。SoundStream（Zeghidour等人，2021年）率先采用了全卷积结构的编码器和解码器，实现了3 - 18 kbps速率下的语音编码。研究表明，降低解码器性能会对语音质量产生更大影响，ViSQOL评分从3.96降至3.84。EnCodec（Défossez等人，2022年）进一步改进了这一架构，加入了多尺度频谱鉴别器，以加快低比特率压缩下的训练速度，但其延迟仍高于SoundStream。随后，Descript Audio Codec（DAC）（Kumar等人，2024年）采用了拥有7600万个参数的高复杂度模型，通过改进的对抗损失和重建损失功能，实现了44.1 kHz音频在8 kbps速率下的最先进压缩效果。尽管有这些进展，要实现如此高的压缩效率，关键在于从语音信号中提取出低维且离散的信号表示。向量量化已成为神经网络语音编码中用于离散表示学习的主要技术，被广泛应用于各类编码器架构中。为了满足特定的比特率要求，这些编码器采用了各种受限向量量化技术，如图1(a)中的残差向量量化。不过，向量量化的各种变体仍存在一些缺陷，比如代码本利用效率不高、需要额外的训练损失函数以及较高的内存需求。为了解决基于代码本设计的复杂性问题，近期研究开始采用标量量化技术，展现出巨大潜力。Shin等人（2022年）的研究采用了感知损失与标量量化相结合的方法，Kim等人（2023年）则开发了一种能够在多个采样率下处理信号的渐进式方法。Xiao等人（2023年）也在他们的神经网络语音编码器中采用了标量量化技术，但相关实现细节较少。Brendel等人（2024年）探讨了标量量化技术在实时通信中的应用原理。然而，专为实时通信设计的、需在移动设备上实现低延迟和低复杂度的神经网络语音编码器仍不够成熟，尤其是在个性化实时通信应用领域。

除了压缩之外，个性化语音交互服务还依赖于语音转换技术，该技术可在保留语言内容的同时改变语音的音色和情感特征。近期在流式语音转换技术方面的进展为实时应用带来了希望。AC-VC系统（Ronssin和Cernak，2021年）利用音素后验图实现了任意到多数的语音转换，并具备未来预测功能。此后，ALO-VC（Wang等人，2023a年）提出了一种非并行的低延迟一次性语音转换框架，仅具有47.5毫秒的未来预测时间。后来，Chen等人（2023年）针对流式语音转换的挑战提出了一种新方案，但其推理延迟高达270毫秒。如图1(c)所示，个性化通信架构将语音转换作为实时通信流程中的预处理模块，转换后的语音需要通过单独的语音编码器从A站点传输到B站点。这种级联架构不可避免地会带来较大延迟。例如，最轻量的AC-VC模型（Ronssin和Cernak，2021年）的算法延迟约为70毫秒，再加上语音编码器的40毫秒延迟以及不可避免的传输延迟（通常超过100毫秒），总延迟就会超过200毫秒，超过了ITU-T（2003年）规定的150毫秒端到端延迟阈值。由于网络传输本身就会占用大量时间（数百毫秒），因此减少源端的算法延迟至关重要。鉴于这些限制，我们的研究重点在于降低源端的算法延迟，对于实际的个性化实时通信应用而言，将延迟控制在数十毫秒以内是最理想的。

从全链优化角度分析，在资源有限的移动设备部署场景中实现个性化实时通信面临三大关键挑战：第一，低复杂度且高质量的端到端神经网络编码器设计。现有的端到端神经网络语音编码器模型依赖大量的参数和较高的延迟才能维持语音质量，难以在移动设备上部署。此外，向量量化的固有复杂性和内存开销也增加了训练难度。第二，个性化编码器传输策略。目前常见的个性化语音转换方法主要侧重于本地语音转换，本质上属于离线音效处理。当与语音编码器传输结合时，这种级联方式会导致显著的累积延迟和额外参数。第三，安全和版权风险。将语音转换模型直接部署在用户端，会使用户能够自由使用音色修改工具，这种缺乏集中控制的情况会增加版权保护的难度，同时在实时通信场景中大幅提升未经授权模仿的风险。

这些挑战凸显出亟需一种能够同时降低延迟、实现无缝高质量个性化实时通信且不影响安全的统一解决方案。为解决这一问题，我们推出了LiteSwitchCodec，这是一种集成框架，如图1(d)所示，它将声音适配功能直接整合到压缩流程中。与那些会产生累积延迟的现有级联架构不同，我们的方法从整体实时性角度出发，解决了压缩效率与个性化需求之间的矛盾。LiteSwitchCodec专为移动运营商平台设计，预定义了固定的目标音色，用户无法随意修改。该框架建立了安全的信任机制：用户只能访问经过授权的音色，从而大大降低了隐私风险。LiteSwitchCodec的目标应用场景是实时通信系统中的运营商管理的音色切换，典型应用包括虚拟客服、数字助手、在线教育以及企业通信平台，这些场景中的语音传输都使用预定义的目标声音。与传统级联式语音转换-编码器系统相比，LiteSwitchCodec在编码器内部直接实现声音适配，无需额外的波形域转换步骤。虽然这种设计可能限制其对任意说话人的适配能力，但它能确保为特定目标音色输出更高质量的声音。在实际传输网络中，我们能够即时将某位说话人的语音转换为另一位说话人的声音，以实现个性化声音适配。该系统的运行流程如下：编码端的用户可以动态开启切换模式，生成具有目标音色的语音符号进行传输；接收端的解码器则能还原出具有所需音色特征的语音。每种目标音色都需要对应的专用声音适配模型，例如用户选择音色A时，就会加载相应的模型A，音色B也是如此。在任何给定的时间窗口内，用户可以选择三种模式：原始声音、音色A或音色B。值得注意的是，用户可以随时开启或关闭切换模式，从而控制是否向接收方发送个性化转换后的语音。

我们系统的基础是图1(b)中的LiteSpeechCodec，该编码器采用镜像结构，由全因果卷积层构成，其编码器和解码器的参数分布较为均衡，能够满足实时通信的需求。通过采用有限标量量化技术，我们将潜在特征映射到紧凑的离散空间，从而使参数量减少到167万，同时仍能保持高质量的语音还原效果。为融入声音适配功能，我们首先使用开源的语音转换工具包构建了一个平行数据集，然后设计了一种基于符号级的因果U-Net模型，该模型能够从离散符号域中提取全局信息、音色特征以及说话人身份。在这一阶段，我们保持编码器和解码器的参数不变。这一设计的关键优势在于，只需训练轻量级的适配模块，系统就能支持新的目标音色，无需重新训练或部署整个核心编码器。此外，我们还引入了轻量级的符号整形网络，用于优化高频谐波结构，从而实现精细的频谱还原。实验表明，LiteSpeechCodec在参数量仅为最先进非流式DAC编码器38倍的情况下，仍能实现相当的质量。而LiteSwitchCodec在仅增加422万参数的情况下即可实现实时语音转换，总延迟为40毫秒。与实时通信中的语音转换模型相比，我们的方法表现更为出色，相似度得分达到92.61%，主观MOS评分也显著更高，为4.67分，而现有方法的评分仅为3.59分。我们的主要贡献如下：首先，我们提出了LiteSwitchCodec，这是一种专为资源受限的个性化实时通信设计的新型集成框架。通过将声音适配功能直接嵌入压缩流程，我们克服了传统级联架构存在的延迟和高复杂度问题。LiteSwitchCodec的总延迟仅为40毫秒，且主观质量优于现有解决方案，MOS评分高达4.67分。其次，我们设计了高效的核心编码器LiteSpeechCodec，通过采用有限标量量化技术，它在保持与最先进编码器相当的质量的同时，使参数量减少了38倍。第三，我们设计了基于符号级的因果U-Net网络，该网络能够实现流畅的帧级音色切换，而且只需训练轻量级的适配模块，无需重新训练核心编码器，即可支持新目标音色的添加。最后，我们提出了一种以运营商为中心的解决方案，即在一个解码器中实现语音转换功能；平台管理的音色控制机制能够防止未经授权的音色使用，从而保护版权并降低模仿风险。近期，向量量化变分自编码器（VQ-VAEs）（Van Den Oord等人，2017年）已成为训练神经语音编解码器的主流方法（Garbacea等人，2019年）。该技术采用卷积编码器高效地将输入语音压缩为潜在表示，再结合自回归WaveNet结构。为满足PRTC场景中移动设备的资源限制和低延迟需求，所提出的LiteSwitchCodec框架重构了传统的“语音转换后再进行波形编码”的级联架构。图2展示了LiteSwitchCodec及个性化语音适配的整体流程。该方法论分为三个部分，以便清晰呈现技术发展脉络。首先，我们介绍相关背景知识。

数据集与预处理：语音编解码器的训练数据包括两类：纯净语音和混合语音。在语音重建方面，我们使用了LibriTTS（585小时的英语语音数据）（Zen等人，2019年）以及DNS挑战数据集（500小时的英语和普通话语音数据）（Reddy等人，2020年）。为提升系统在现实应用中的稳定性，我们还加入了通过将纯净语音与背景干扰音（如办公室噪音或音乐声）混合而生成的混合语音片段。

语音编解码器的性能评估：我们通过多项客观指标来评估语音编解码器的性能，这些指标涵盖了音频质量的多个方面，包括幅度频谱保真度、整体客观质量以及语音可懂度。具体评估指标为POLQA、ViSQOL和STOI。其中，作为ITU-T标准化指标的POLQA（ITU-T，2011年）被用作主要评估标准，它通过分析参考信号与劣化信号之间的频谱差异来预测平均意见得分（MOS）。POLQA还能生成……

与先进语音编解码器的对比：我们首先通过将LiteSpeechCodec与常见的传统及神经网络语音编解码器进行比较，来评估其重建质量。我们定义了“低/中/高”三种比特率等级：i）低比特率（≤6 kbps）；ii）中比特率（6-12 kbps）；iii）高比特率（12-24 kbps）。LiteSpeechCodec专为在实时通信场景下以16 kHz采样率及低至中比特率运行而设计。对比结果见表1。我们还开发了两种不同配置的LiteSpeechCodec。

结论：本文提出了LiteSwitchCodec，这是一种用于个性化实时通信的集成框架。借助标量量化技术，LiteSpeechCodec能够在较低至中比特率下实现高质量的语音传输，且结构相对简单。该编解码器仅包含167万个参数，这些参数均匀分布在编码器和解码器组件中，展现出极高的效率。此外，我们还通过引入轻量级的因果U-Net架构，进一步提升了其语音适配能力。

CRediT作者贡献说明：杨旭升：撰写——审阅与编辑、撰写——初稿、验证、方法论、研究、数据整理、概念设计。肖伟：撰写——审阅与编辑、验证、监督、资源协调、项目管理、方法论、研究、概念设计。万子翔：撰写——审阅与编辑、撰写——初稿、形式化分析。葛蒙：撰写——审阅与编辑、撰写——初稿、形式化分析。尚世东：撰写——审阅与编辑。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究得到了广东省超高清沉浸式媒体技术重点实验室的支持（项目编号：2024B1212010006）。

杨旭升|肖伟|万子翔|葛蒙|尚世东|邹学贤