PGMCR:极性引导的多模态一致性正则化与可靠性融合用于多模态情感分析

《Electronics》:PGMCR: Polarity-Guided Multimodal Consistency Regularization with Reliability Fusion for Multimodal Sentiment Analysis

【字体: 大 中 小 】 时间:2026年10月24日 来源:Electronics 2.9

编辑推荐:

  多模态情感分析(Multimodal Sentiment Analysis, MSA)必须融合文本、视觉和声学证据,而这些证据在不同话语间的可靠性存在差异。研究人员提出PGMCR,该方法利用预测的三路极性分布来构建样本级模态可靠性权重,并对保留文本的视觉与声学

  
多模态情感分析(Multimodal Sentiment Analysis, MSA)必须融合文本、视觉和声学证据,而这些证据在不同话语间的可靠性存在差异。研究人员提出PGMCR,该方法利用预测的三路极性分布来构建样本级模态可靠性权重,并对保留文本的视觉与声学扰动施加仅训练期的一致性约束。在CMU-MOSI和CMU-MOSEI上的实验表明,极性引导融合是主要的架构贡献,而文本引导的细化与一致性分支具有依赖于评估指标的效果。学习到的权重在不同极性组间呈现差异,但代理损坏诊断也揭示出对文本证据的强依赖以及不可忽视的极性估计误差。研究结果支持极性作为多模态融合的有效条件信号,同时限定了非言语鲁棒性主张的适用范围。
多模态情感分析(Multimodal Sentiment Analysis, MSA)旨在从异质的文本、视觉和声学证据中估计情感。在基于视频的观点数据中,这些模态提供互补信息,但其预测效用并不相等。文本通常承载显式语义内容,而面部行为和声音韵律可在言语内容模糊、反讽或情感较弱时提供额外情感线索。这种互补性推动了针对CMU-MOSI和CMU-MOSEI等基准的多模态融合研究。核心困难在于各模态的贡献随话语变化:视觉证据在情感通过面部行为表达时具有信息量,但在遮挡或表情受限时可能较弱或不可靠;声学线索可反映韵律和情感强度,却可能因低能量语音或环境噪声而退化;文本通常信息量高,但仍易受语音识别错误、非正式语言和隐含情感影响。因此,固定模态权重或通用注意力可能无法充分表征各模态应影响最终预测的条件。

现有MSA方法通过交互建模、跨模态注意力、表示解耦、情感感知学习和动态融合解决该问题,但预测极性较少被用作样本级模态加权的显式条件变量。PGMCR结合了文本引导的非言语特征细化、极性条件融合和仅训练期一致性正则化。具体设计使用预测的三路极性分布混合可学习的模态权重原型,并由验证集门控控制文本保留的视觉/声学一致性目标。TGCBAM在文本引导下对池化后的非言语向量采用类CBAM通道门控;MDC-KD(VA)是辅助训练约束,不引入缺失模态推理路径。

在CMU-MOSI和CMU-MOSEI上的评估采用基于移除的消融、与已发表参考结果的比较、极性条件可解释性分析和固定严重程度代理损坏诊断。实验表明极性引导融合是影响最大的组件,而TGCBAM和自适应动态MDC-KD(VA)的效果依赖数据集和指标。可解释性分析显示学习权重在不同极性组间存在结构化差异。主要贡献包括:研究极性条件融合参数化,以预测的三路极性概率混合可学习原型并产生相对文本、视觉和声学权重;评估仅训练期一致性正则化器,其激活由验证门控决定;评估文本引导的类CBAM向量细化;并报告在CMU-MOSI和CMU-MOSEI上的系统实验。结论支持极性作为融合条件信号,但需限定非言语鲁棒性主张的范围。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号