VQ-CycleDiffusion:融合矢量量化与扩散模型的混合语音转换框架
《Applied Sciences》:VQ-CycleDiffusion: Vector Quantized Cycle-Consistent Diffusion Models for Voice Conversion
【字体:
大
中
小
】
时间:2026年09月20日
来源:Applied Sciences 2.5
编辑推荐:
本文提出了一种新颖的混合语音转换框架,称为VQ-CycleDiffusion,该框架将矢量量化(VQ)与CycleDiffusion相结合,以解决基于扩散的模型中连续潜在表示固有的局限性。虽然传统的基于扩散的语音转换(VC)模型能够提供出色的语音质量,但由于其依赖于连续潜在空
本文提出了一种新颖的混合语音转换框架,称为VQ-CycleDiffusion,该框架将矢量量化(VQ)与CycleDiffusion相结合,以解决基于扩散的模型中连续潜在表示固有的局限性。虽然传统的基于扩散的语音转换(VC)模型能够提供出色的语音质量,但由于其依赖于连续潜在空间,往往会出现说话人信息泄漏的问题,因为连续潜在空间无法完全将语言内容与源说话人特征分离开来。为了解决这一问题,我们引入了一种基于VQ的离散瓶颈结构来提取多说话人的语言表示,然后在源说话人与目标说话人之间经过精心设计的码字转换后,将这些表示作为CycleDiffusion的条件输入。在VCTK语料库上的实验结果表明,所提出的模型在说话人相似度方面显著优于传统方法,这一结论由i-vector和x-vector余弦相似度指标所证实,同时在频谱重建性能方面与基线模型相当,稳定的梅尔倒谱距离(MCD)值也印证了这一点。此外,根据预测平均意见分(MOS)评估结果,转换语音的质量未受下降影响。消融实验揭示,使用$k$-means聚类初始化码本并专注于扩散模型的微调在最大化性能方面起着关键作用。这些结果验证了所提出的方法能够在保持扩散模型高保真生成能力的同时,有效地将语言内容与说话人特征解耦。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号