基于循环变分自编码器中后验采样方法增强的音视联合语音增强

《Computer Speech & Language》:Enhanced audio-visual speech enhancement with posterior sampling methods in recurrent variational autoencoders

【字体: 大 中 小 】 时间:2026年01月30日 来源:Computer Speech & Language 3.4

编辑推荐:

  在噪声中恢复可懂语音对于稳健通信至关重要。本研究提出一种基于循环变分自编码器(AV-RVAE)的音视联合语音增强框架,其中后验推断通过基于采样的策略进行扩展,包括梅特罗波利斯调整朗之万算法(MALA)、朗之万动力学EM(LDEM)、汉密尔顿蒙特卡洛(HMC)、

  
在噪声中恢复可懂语音对于稳健通信至关重要。本研究提出一种基于循环变分自编码器(AV-RVAE)的音视联合语音增强框架,其中后验推断通过基于采样的策略进行扩展,包括梅特罗波利斯调整朗之万算法(MALA)、朗之万动力学EM(LDEM)、汉密尔顿蒙特卡洛(HMC)、Barker采样以及一种混合MALA+Barker变体。为隔离视觉线索的贡献,研究人员在相同数据与推断条件下训练并评估了一个纯音频基线(A-RVAE)。性能通过尺度不变信号失真比(SI-SDR)、语音质量感知评估(PESQ)与短时客观可懂度(STOI)进行评估,并结合随时收敛曲线(指标对挂钟时间)与实时因子(RTF;运行时间与音频时长之比)以衡量计算效率。实验结果表明,混合MALA+Barker采样器取得最佳整体性能,而LDEM与步长优化的MALA表现出最低RTF,MALA+Barker采样器在效率与增强质量间提供了最有利的均衡。在所有采样策略下,AV-RVAE始终超越纯音频基线,尤其在低信噪比(SNR)下,确认了视觉融合结合先进后验采样对于挑战性声学环境中稳健语音增强的益处。
研究背景与动机
在电信、助听器、自动语音识别(ASR)及人机交互中,于噪声环境下提升语音质量与可懂度至关重要。传统方法如谱减法、维纳滤波与隐马尔可夫模型(HMM)在平稳噪声与中等信噪比(SNR)下有效,但在非平稳噪声与极低SNR下性能显著退化。监督深度学习方法依赖大量带标签的噪声-干净语音对,泛化至未见噪声类型能力受限。无监督方法如变分自编码器(VAE)及其动态扩展——动态变分自编码器(DVAE)与循环变分自编码器(RVAE),通过对干净语音建模分布避免配对数据需求,但标准变分推断难以充分捕捉复杂后验。音视联合语音增强(AVSE)引入唇动等视觉线索辅助解歧,但多模态推断的计算负担与McGurk效应等冲突仍需解决。研究人员此前提出AV-RVAE,在标准中值推断下仍受限于后验表达能力,因此本研究将先进后验采样算法引入AV-RVAE框架,以提升隐变量推断的鲁棒性与增强质量。
关键技术方法
研究人员采用Carleton大学先前工作的AV-RVAE架构,在干净音视对(音频STFT幅度与来自唇读网络的视觉特征向量)上以ELBO训练;测试阶段以高斯噪声加NMF建模加性噪声,用EM估计增益与噪声参数。为替代E步中的MAP优化,引入五类梯度基后验采样器:LDEM、MALA、HMC、Barker采样及混合MALA+Barker,均利用由对数后验导出的score函数引导提案。纯音频对照A-RVAE在相同条件训练。评估在已知信噪比集上以SI-SDR、PESQ、STOI及RTF、随时收敛曲线进行。
研究结果
  1. 1.
    音频仅VAE与DVAE:标准VAE忽略时序,DVAE通过RNN/BLSTM建模隐变量时序先验与近似后验,以序列ELBO平衡重建与正则,构成后续AV-RVAE基础。
  2. 2.
    基于RVAE的音视建模:AV-RVAE生成模型以复圆对称高斯发射STFT系数,条件于隐变量与视觉输入;编码器近似后验可因果(单向LSTM)或非因果(双向LSTM)利用未来观测;Fig.1给出MLP/LSTM/BLSTM/VE/C/S组件图。
  3. 3.
    AV-RVAE中的MAP-EM语音增强:测试期混合信号建模为干净语音乘增益加NMF噪声;E步估计隐变量序列,M步更新增益(Gamma先验)与NMF基/激活(乘性更新),最终以隐变量后验均值乘解码器输出得增强语音。
  4. 4.
    AV-RVAE中的后验采样算法:以score函数?zlog pψ(z|x,v)替代MAP。LDEM用含噪声梯度上升离散朗之万动力学;MALA在朗之万提案后接Metropolis-Hastings修正,步长按维度缩放η∝d-1/3;HMC引入动量变量与哈密顿量,用leapfrog积分L步后MH接受;Barker采样以logistic型接受率α=p(z?)/[p(z?)+p(z)]增强多峰混合;混合MALA+Barker结合两者提案与接受机制。
  5. 5.
    实验:在多个SNR下,所有采样法优于MAP-EM;AV-RVAE全面胜A-RVAE,低SNR优势更大。MALA+Barker在SI-SDR/PESQ/STOI综合最优;LDEM与步长调优MALA的RTF最低;MALA+Barker在质量-效率权衡上最佳。随时曲线显示采样器更快逼近平台。
讨论与结论翻译
研究人员讨论指出,将后验采样由音频仅域拓展至音视域系首次尝试,MALA+Barker混合器因兼具朗之万梯度利用与Barker平滑接受,在复杂后验探索与计算开销间取得平衡。AV-RVAE相对A-RVAE的一致提升证实视觉线索在极端噪声下提供不可由音频单独获得的约束。结论部分表明:在AV-RVAE中以基于采样的后验推断替代MAP-EM,可显著提升无监督音视语音增强性能;所比较采样器中,混合MALA+Barker提供最优综合质量,LDEM与优化MALA适合低延迟场景,整体框架为资源受限下稳健多模态语音增强提供实用路径。论文发表于《Computer Speech & Language》。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号