音频引导的视觉选择用于高效多模态融合:基于离散变分自编码器的方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Audio-Guided Visual Selection for Efficient Multimodal Fusion via a Discrete Variational Autoencoder

【字体: 大 中 小 】 时间:2026年07月12日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  冗余的多模态信号会降低计算效率和性能。研究人员提出了一种音频引导的框架,用于选择显著的视觉片段进行融合。研究人员采用离散变分自编码器(dVAE)学习一个二进制掩码,以过滤掉非显著的视觉特征。在推理时,仅提取显著的视觉特征,从而减少计算量。该方法仅使用15.42

  
冗余的多模态信号会降低计算效率和性能。研究人员提出了一种音频引导的框架,用于选择显著的视觉片段进行融合。研究人员采用离散变分自编码器(dVAE)学习一个二进制掩码,以过滤掉非显著的视觉特征。在推理时,仅提取显著的视觉特征,从而减少计算量。该方法仅使用15.42%的视觉特征,便取得了优于当前最优方法(SOTA)的F1分数和相关性。
**论文解读文章**

**研究背景与问题**
多模态学习通过融合来自不同模态(如音频、视觉、语言)的互补信息,旨在提升人工智能的鲁棒性和泛化能力。然而,在大规模深度学习时代,高效处理多模态数据仍面临重大挑战。冗余的模态信号不仅降低计算效率,还可能因噪声引入而稀释有用信号,使多模态学习适得其反。此外,推理阶段的计算成本常被忽视,但部署多模态模型需要额外资源(如GPU、电力),且响应时间增加。现有方法如粗到细框架(coarse-to-fine framework)需先提取所有粗特征,或仅使用单帧代表片段,导致信息缺失。因此,研究人员提出以下问题:给定一组输入模态,如何选择最显著的互补片段并提升多模态模型的推理效率?

**研究内容与结论**
研究人员提出了EMF-dVAE(Efficient Multimodal Fusion with discrete Variational Autoencoder)框架,专门用于以人为中心的视频理解任务。该框架由两个核心组件构成:一个离散变分自编码器(dVAE)和一个多模态融合网络(MF)。dVAE以自监督方式训练,利用音频特征指导生成二进制掩码,标记视觉模态中的显著片段;推理时仅提取这些显著片段的视觉特征,显著减少计算量。MF网络则负责融合多模态特征并进行最终预测。实验在ETS-Interview大规模视频面试数据集上进行,结果显示EMF-dVAE仅使用15.42%的视觉特征,就在相关性(Corr)和F1分数上超越了所有基线方法,包括当前最优方法(SOTA),推理时间从52.13秒降至18.01秒,降幅达65.5%。该性能首次达到人类评分者的一致性水平。论文发表在《TRENDS IN FOOD SCIENCE 》。

**主要关键技术方法**
研究人员采用离散变分自编码器(dVAE)结合Binary Concrete分布(一种可微分的离散分布)来生成二进制掩码,利用重参数化技巧(reparameterization trick)和直通技巧(straight-through trick)实现端到端训练。多模态融合部分采用Perceiver架构(一种非对称注意力机制,复杂度为O(MN)),以高效处理长序列。视觉特征提取使用预训练的VideoMAEv2模型(掩码率高达95%的掩码视频模型),音频特征提取使用wav2vec 2.0模型(自监督语音表示模型),语言特征提取使用RoBERTa-base模型(预训练语言模型)。数据集来源为ETS-Interview(包含1891个2分钟视频面试片段,标注了可雇佣性评分)。

**研究结果**
- **Reconstruction loss vs. KL-divergence(重建损失与KL散度)**:通过设置Binary Concrete先验分布偏向低成功概率(π=0.01),并逐步增加KL散度权重β,dVAE在训练中逐渐降低可见片段比例。实验表明,当后验温度τposterior=0.5时,训练稳定收敛,模型在验证集上可见比例达到15%时保存检查点。
- **Sensitivity analysis(敏感性分析)**:使用不同掩码比例(5%-75%)的检查点训练预测器(Predictor),发现15%掩码比例时性能达到峰值(Corr=0.7196,F1=76.64%),说明过多或过少视觉特征均会损害性能。
- **Performance results(性能结果)**:EMF-dVAE(15.42%视觉特征)相比ICMI2024(20%视觉特征,Corr=0.6792)和EMT-DLFR(100%视觉特征,Corr=0.6816)分别提升Corr 0.0404和0.038;F1提升1.91%和4.4%;最佳模型Corr=0.7591,超越人类平均评分者(0.74)。
- **Inference time analysis(推理时间分析)**:EMF-dVAE总推理时间18.01秒,远低于MulT(52.13秒)、TFR-Net(52.80秒)和EMT-DLFR(52.15秒),主要节省来自特征提取阶段(17.80秒 vs 50.83秒)。
- **Parameter-free masking approaches(无参数掩码方法)**:与随机掩码(15%)和均匀掩码(15%)相比,EMF-dVAE在所有指标上表现更优且标准差更小(Corr=0.7196±0.016 vs 0.7049±0.021和0.7117±0.020),表明其选择的显著片段更稳定可靠。
- **Ablation study(消融实验)**:移除视觉特征后预测器性能下降(Corr=0.6816);使用全部视觉特征与无视觉特征性能相近;使用预测器监督掩码学习(移除dVAE解码器)性能低于EMF-dVAE(Corr=0.6561 vs 0.7196);加入语言特征到dVAE(EMF-dVAE-L)未显著提升(Corr=0.7148)。
- **Visualization of the mask(掩码可视化)**:不同视频所需掩码片段数量差异显著(如样本t42_v1仅需7个片段,t134_v7需28个),且掩码在视频时间轴上分布不均匀,峰值出现在开头、中间和结尾,证实了模型能动态分配计算资源。

**总结与讨论**
讨论部分指出,EMF-dVAE通过音频引导的视觉选择实现了高效多模态融合,但仍有开放性挑战:泛化能力需在更多任务和数据集上验证;可探索替代dVAE的离散表示方法;音频数据增强可能提升音频-视觉关联学习能力;非英语语言的语调差异可能影响融合效果。
**研究结论**:本文提出了EMF-dVAE——一种用于以人为中心的视频理解的高效多模态融合框架。EMF-dVAE仅使用15.42%的视觉特征,便取得了当前最优性能,同时将2分钟视频的推理时间从52.13秒降至18.01秒。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号