OACodec:通过正交解耦和互信息最小化实现音频属性分离

《Neural Networks》:OACodec: Audio Attribute Disentanglement via Orthogonal Disentanglement and Mutual Information Minimization

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neural Networks 6.3

编辑推荐:

  钱玉坤|张文杰|张泽华|周连宇|庄旭毅|王明江摘要基于端到端神经网络和向量量化的神经音频编解码器(NACs)最近实现了高保真度的语音压缩和重建。然而,大多数现有的NACs学习到的潜在代码会混合说话人的音色、韵律和语音信息,这限制了其可解释性和可控性。尽管有一些尝试引入了考虑属性的

  
钱玉坤|张文杰|张泽华|周连宇|庄旭毅|王明江

摘要

基于端到端神经网络和向量量化的神经音频编解码器(NACs)最近实现了高保真度的语音压缩和重建。然而,大多数现有的NACs学习到的潜在代码会混合说话人的音色、韵律和语音信息,这限制了其可解释性和可控性。尽管有一些尝试引入了考虑属性的目标函数,但它们通常缺乏明确的分解机制和基于信息论的约束来促进独立分解。我们提出了OACodec,这是一种专门设计用于学习语音属性解耦表示的新型神经音频解耦编解码器。与将音频视为未区分数据的传统神经音频编解码系统不同,OACodec引入了一个多阶段的正交解耦网络,该网络明确分离了音色、韵律和语音信息。每个潜在属性都是通过残差分离机制提取的,这一过程受到正交性约束和监督学习的指导。为了进一步促进独立分解,我们在属性组件内部和之间使用了互信息估计器来最小化它们之间的互信息。此外,我们采用了平滑的切比雪夫优化策略,在重建保真度和解耦目标之间实现了帕累托最优平衡。实验结果表明,OACodec在零样本语音转换和语音重建任务中表现出色,在零样本语音转换任务中优于VC基线和FACodec,并且在重建质量上可与EnCodec和HiFi-Codec相媲美,同时超过了FACodec。通过构建一个两阶段的语音转文本(TTS)模型,我们进一步证明了解耦代码在TTS任务上的有效性。消融研究进一步验证了每个提出模块的贡献。OACodec为可解释和可控的语音建模奠定了坚实的基础,对文本到语音和基于语音的语言建模等应用具有重要的意义。音频样本可在以下链接获取:https://hamidun123.github.io/OACodecDemo/。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号