通过随机乘积量化方法弥合连续表示与离散表示之间的差距

《Artificial Life》:Bridging the Gap between Continuous and Informative Discrete Representations by Random Product Quantization

【字体: 大 中 小 】 时间:2026年01月20日 来源:Artificial Life 1.5

编辑推荐:

  自监督学习中的高维表示需离散化以提高效率,但现有方法信息损失大。本文提出PQ和RPQ两种量化方法:PQ将特征空间分 subspace 独立量化,RPQ通过随机维度采样增强多样性,理论证明RPQ相关性更低且误差下界优于单K-means。实验表明,PQ和RPQ在LibriSpeech和ML-SUPERB数据集上分别使WER降低21.8%和20.0%,CER降低24.1%和19.6%,部分性能超越连续表示。

  

摘要:

自监督学习(SSL)已成为语音处理中的核心技术,但其表示的高维度性使得离散化对于提高效率至关重要。然而,现有的离散化方法仍然存在显著的信息损失,导致与连续表示相比性能存在明显差距。为了克服这些限制,我们提出了两种基于量化的离散化方法:乘积量化(PQ)和随机乘积量化(RPQ)。PQ将原始特征空间划分为多个子空间,并对每个子向量进行独立量化,生成一组融合的离散单元,从而保留来自不同子空间的多样化信息,从而减轻了单簇量化带来的损失。RPQ通过多次随机采样特征维度来构建子向量,进一步增强了表示的多样性,从而更好地捕捉数据分布的变异性。理论分析表明,RPQ降低了子量化器之间的相关性ρ(0≤ρ≤1),其量化误差被下限为εkms,其中εkms是单个K均值量化器的误差。实验结果表明,在由LibriSpeech和ML-SUPERB构建的联合数据集上,PQ和RPQ的性能优于标准的K均值离散化方法,在LibriSpeech上的词错误率(WER)上分别提高了21.8%和20.0%,在ML-SUPERB上的字符错误率(CER)上分别提高了24.1%和19.6%。此外,它们的性能与连续SSL表示相当,在某些情况下甚至超过了连续SSL表示。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号