PRISM：一种渐进式表示压缩方法，结合内容自适应信息密度引导的分割技术和量化器调制机制

《Speech Communication》：PRISM: Progressive representation compression with content-adaptive information-density-guided segmentation and quantizer modulation

　　摘要
将连续语音信号离散化为令牌序列的神经语音编解码器已成为学习紧凑语音表示和支持广泛下游应用的广泛使用范式。然而，现有方法通常难以在保持高保真重建的同时显著减少令牌数量，这反过来限制了下游模型在实际部署中的效率。为了解决这一挑战，我们提出了PRISM，一种具有内容自适应信息密度引导的分割和量化器调制的渐进式表示压缩方法，能够在用户指定的帧率下进行压缩，并根据内容自适应选择用于量化的活动码本数量，从而降低输出令牌率。PRISM包括两个关键阶段：（i）它利用潜在变化分数来量化帧级信息密度，并据此将帧合并成段；（ii）它估计每个段的平均信息密度，并据此动态确定激活的码本数量，以实现更高效的编码。我们将PRISM集成到神经语音编解码器中并进行了广泛的实验。综合评估表明，PRISM能够在外部指定的帧率下实现压缩，同时仅使用少量的活动码本就保持高重建质量，验证了其在提供可变率神经语音编码中的卓越质量-效率权衡。音频样本可在以下链接获取：https://ethuil.github.io/PRISMdemo/

引言
近年来，由于对语音语言模型中离散表示需求的增加，语音分词的广泛采用继续推动了神经音频编解码器的发展（Ye等人，2025年；Li等人，2024年；Huang等人，2024年；Guo等人，2025年）。神经音频编解码器通常包括一个将连续波形压缩为紧凑潜在表示的编码器、一个对此表示进行离散化的量化器，以及一个从量化向量重建波形的解码器。这一流程弥合了原始波形和基于令牌的语言建模架构之间的差距，使大型语言模型（LLMs）能够在统一的序列建模范式中处理语音。此外，这种离散表示为跨任务泛化和组合性提供了基础，从而为下游应用打开了更广阔的机会，包括文本到语音（TTS）（Xie等人，2025年；X. Wang等人，2025年；Borsos等人，2023年）、语音理解（S. Chen等人，2025年）、口语对话系统（Xu等人，2025年；Zeng等人，2024年；W. Chen等人，2025年；Défossez等人，2024年）等。尽管现有的神经语音编解码器（Défossez等人，2023年；Kumar等人，2023年）已经展示了令人印象深刻的重建质量，但它们通常以恒定比特率（CBR）编码不同的语音内容，均匀分配编码资源。这种策略通常适用于具有复杂时频结构和高信息密度的语音片段。然而，对于信息内容有限的区域，如静默、弱激发片段或变化缓慢的部分，分配相同的编码能力会导致资源分配与内容复杂度之间的不匹配，引入不必要的冗余并降低压缩效率。为了提高比特率的可伸缩性，Zeghidour等人引入了“量化器丢弃”（Zeghidour等人，2022年），使得单个模型可以通过可变比特率（VBR）控制在不同目标比特率下运行。然而，这种机制主要是通过根据目标比特率预定义活动码本的数量来调整编码能力，难以根据本地内容复杂性动态分配编码资源。相比之下，索尼的方法在降采样潜在帧级别动态选择活动码本的数量，实现内容自适应的编码能力分配，并在压缩资源和重建保真度之间获得更好的权衡（Chae等人，2025年）。虽然VBR方法通过调整分配给每个时间单位的编码能力来提高压缩效率，但它们并没有明确解决由固定速率采样引起的时域冗余问题。语音中的低信息区域，如静默、弱激发片段或变化缓慢的部分，仍然可能在结果序列表示中占据大量的时间跨度（Keshishian等人，2021年；Van Kuyk等人，2017年；Dieleman等人，2021年）。因此，即使这些区域包含有限的有效信息，由于固定的时间采样，它们仍可能生成冗余的编解码器帧，导致序列表示效率低下。为了解决这个问题，Zhang等人提出通过动态组合多种预定义的帧率配置来自适应压缩语音序列，允许不同的编码帧根据内容重要性覆盖不同的时间跨度。这种设计改变了生成的编解码器帧的数量，从而影响有效比特率，实现了可变帧率（VFR）策略（Zhang等人，2025年）。现有的自适应神经语音编解码器主要探索两种互补的适应策略：编码能力适应和时间分辨率适应。这些策略优化了压缩过程的不同方面，同时影响了最终的有效比特率。VBR方法通常在固定的时间格子上操作，并适应分配给每个帧的编码能力，而由均匀采样表示引起的时域冗余基本保持不变。相比之下，VFR方法通过根据语音动态调整语音表示的时间分辨率来减少时域冗余，从而改变编解码器帧的数量和结果令牌率。然而，现有的VFR方法主要集中在时间分辨率适应上，而保留表示之间的编码能力分配通常没有与帧率决策共同优化。由于语音信号在时间动态和信息密度方面表现出异质性，独立优化编码能力或时间分辨率可能导致资源分配不佳。这激发了一个统一框架，该框架共同优化时间分辨率和编码强度，实现内容感知的压缩资源分配。在本文中，我们提出了PRISM，一种具有内容自适应、信息密度引导的分割和量化器调制的渐进式表示压缩框架，它同时进行时间分辨率和速率分配的动态调度，从而实现时间分辨率和编码强度的同步适应。基于RVQ-GAN框架，我们设计了一个帧合并模块来指导帧聚合和编码强度的自适应选择。为了重建原始音频波形，我们进一步引入了一个相应的帧解合并模块 for 细粒度恢复。广泛的实验表明，所提出的方法可以在不同的帧率设置下动态调整激活的码本数量，同时保持竞争力强的性能。我们的主要贡献总结如下：
• 我们提出了PRISM，一种内容自适应的可变率编码方法，它将帧率作为明确的、用户可控的超参数，并在指定的帧率设置下动态选择活动码本的数量。这种设计使得编码延迟、带宽和感知质量之间可以进行灵活的权衡，使PRISM适用于一系列离线神经语音编码应用。
• 在编码器方面，我们基于段级平均信息密度进行非均匀分割，确保显著的语音单元得到充分表示，同时优先合并低信息帧以减少时域冗余并最小化保留的编码帧数量。同时，我们根据需求内容自适应地调整激活的码本数量，从而最大化编码资源效率。
• 在解码器方面，我们应用基于插值的平滑处理来减弱分割和压缩引入的边界不连续性，并采用一种重建机制，该机制共同捕获全局上下文依赖性并强制局部时间一致性，从而在压缩表示下实现高保真波形恢复。

本文的其余部分组织如下。第2节回顾相关工作。第3节介绍初步概念并提供编解码器架构的概述，包括其整体框架和关键组件。第4节详细描述所提出的信号模型及其各个模块。第5节提供实验中使用的数据集的详细信息，并总结实验设置和实现细节。第6节展示实验结果并进行深入分析。第7节讨论所提出方法的局限性，并概述未来改进的潜在方向。最后，第8节总结本文并总结我们的主要发现。

神经音频编解码器
神经语音编解码器将连续语音信号离散化为令牌序列，实现高效压缩并促进基于LLM的语音生成（Défossez等人，2023年；Kumar等人，2023年；Yang等人，2025年；Ji等人，2025年；Y. Wang等人，2025年）。早期系统如EnCodec（Défossez等人，2023年）和DAC（Kumar等人，2023年）实现了令人印象深刻的重建保真度，但它们通常以固定且相对较高的帧率运行，这可能成为瓶颈。

初步研究
在现有的神经语音编解码器框架中，残差向量量化生成对抗网络（RVQ-GANs）已成为学习离散语音表示的广泛采用的范式（Kumar等人，2023年）。基于RVQ-GAN的编解码器通常由三个组件组成：编码器、一系列残差向量量化器和解码器。给定输入音频波形??，编码器?????(?)首先将其映射为连续潜在表示????=?????(??)∈???×??，其中??表示数量...

概述
我们提出了PRISM，一种由信息密度感知的帧合并策略驱动的完全自适应神经编解码器。与之前以固定时间分辨率和编码强度运行的编解码器不同，PRISM在冗余区域进行更积极的帧合并，在高度动态的区域进行较少的合并。此外，它还自适应地确定每个区域的活动量化器数量，从而实现更高效的编码能力分配。因此，PRISM实现了更好的...

架构和设置
PRISM基于DAC架构（Kumar等人，2023年）构建，其中降采样比率设置为320。在密度感知合并模块中，PRISM使用单层SegEncoder，合并期间的分割强度??设置为0.5。该值是基于初步实验 heuristic地确定的，在此设置下可以获得稳定性能。所有实验中迭代次数??设置为2。在帧解合并模块中，采用了双层TransformerEncoder。

语音重建
我们将PRISM集成到DAC框架中，并将得到的DAC+PRISM系统与DAC、VRVQ3（Chae等人，2025年）、TFC（Zhang等人，2025年）和FlexiCodec4（Li等人，2026年）在匹配比特率和匹配帧率设置下进行了比较。具体来说，PRISM在DAC的潜在表示和基于RVQ的量化过程上运行，以实现自适应帧率和...

局限性
尽管PRISM实现了灵活的帧率控制和高质量的语音重建，但当前实现主要用于离线神经语音编码。与其他内容感知的VFR策略类似，帧率决策过程依赖于上下文信息来估计时域冗余并确定自适应压缩率，这对于严格的因果流式场景来说是一个挑战。正在开发一个具有有限延迟的因果VFR框架，例如通过...

结论
在本文中，我们提出了PRISM，一种具有内容自适应信息密度引导的分割和量化器调制的渐进式表示压缩框架，以实现动态比特率降低。PRISM集成了动态帧合并模块、重建模块和自适应量化器调制，以实现灵活的比特率控制。实验结果和可视化一致表明，PRISM在序列长度、量化...

作者贡献声明
Wenjie Zhang：写作 - 审稿与编辑、编写 - 原始草稿、可视化、验证、软件、方法论。
Yukun Qian：软件、方法论。
Changjun He：写作 - 原始草稿、可视化。
Yinghan Cao：写作 - 审稿与编辑、验证。
Shiyun Xu：写作 - 审稿与编辑、监督。
Lianyu Zhou：写作 - 原始草稿、可视化。
Mingjiang Wang：调查、资金获取、形式分析。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了中国国家自然科学基金（项目编号62276076）、广东省基础与应用基础研究基金（项目编号2023A1515140109和2025A1515140116）、深圳市高等教育机构稳定支持计划（项目编号GXWD20231130133530002）以及新疆维吾尔自治区关键研究与发展计划（项目编号2025B04037-001）的支持。

Wenjie Zhang | Yukun Qian | Changjun He | Yinghan Cao | Shiyun Xu | Lianyu Zhou | Mingjiang Wang
哈尔滨工业大学（深圳），中国广东省深圳市