MDCoT:面向情感理解的多模态解耦思维链方法

《Electronics》:Multimodal Decoupling Chain of Thought for Affective Understanding

【字体: 大 中 小 】 时间:2026年09月29日 来源:Electronics 2.9

编辑推荐:

   摘要

  

摘要

思维链(Chain-of-Thought, CoT)技术显著提升了大语言模型(LLM)的情感推理能力。然而,现有的多模态CoT方法通常将不同模态的信息聚合为混合输入,使模型进行纠缠推理。该范式在处理具有语义冲突的复杂情感样本时,往往会出现跨模态信息混淆与错位。为应对这些挑战,我们提出了一种用于情感理解的多模态解耦思维链,称为MDCoT。具体而言,MDCoT将LLM的推理结构化为三个明确的渐进步骤:(1) 共享情感聚合,提取所有模态间对齐的共同情感基线;(2) 私有情感解纠缠,分离模态特有的情感细微差异,例如文本隐喻、面部微表情或音频语调变化;(3) 全局集成推理,平衡共享共识与模态私有线索以做出最终预测。在三项情感任务(即情感分析、讽刺检测和意图识别)上进行了广泛实验,结果表明MDCoT在多个多模态大语言模型(MLLM)上始终优于最先进端到端模型和现有提示策略。此外,消融实验和鲁棒性研究证实,显式解纠缠能够有效防止跨模态冲突并提升决策稳定性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号