
-
生物通官微
陪你抓住生命科技
跳动的脉搏
通过随机乘积量化方法弥合连续表示与离散表示之间的差距
《Artificial Life》:Bridging the Gap between Continuous and Informative Discrete Representations by Random Product Quantization
【字体: 大 中 小 】 时间:2026年01月20日 来源:Artificial Life 1.5
编辑推荐:
自监督学习中的高维表示需离散化以提高效率,但现有方法信息损失大。本文提出PQ和RPQ两种量化方法:PQ将特征空间分 subspace 独立量化,RPQ通过随机维度采样增强多样性,理论证明RPQ相关性更低且误差下界优于单K-means。实验表明,PQ和RPQ在LibriSpeech和ML-SUPERB数据集上分别使WER降低21.8%和20.0%,CER降低24.1%和19.6%,部分性能超越连续表示。
生物通微信公众号