MDCoT:面向情感理解的多模态解耦思维链方法
《Electronics》:Multimodal Decoupling Chain of Thought for Affective Understanding
【字体:
大
中
小
】
时间:2026年09月29日
来源:Electronics 2.9
摘要
思维链(Chain-of-Thought, CoT)技术显著提升了大语言模型(LLM)的情感推理能力。然而,现有的多模态CoT方法通常将不同模态的信息聚合为混合输入,使模型进行纠缠推理。该范式在处理具有语义冲突的复杂情感样本时,往往会出现跨模态信息混淆与错位。为应对这些挑战,我们提出了一种用于情感理解的多模态解耦思维链,称为MDCoT。具体而言,MDCoT将LLM的推理结构化为三个明确的渐进步骤:(1) 共享情感聚合,提取所有模态间对齐的共同情感基线;(2) 私有情感解纠缠,分离模态特有的情感细微差异,例如文本隐喻、面部微表情或音频语调变化;(3) 全局集成推理,平衡共享共识与模态私有线索以做出最终预测。在三项情感任务(即情感分析、讽刺检测和意图识别)上进行了广泛实验,结果表明MDCoT在多个多模态大语言模型(MLLM)上始终优于最先进端到端模型和现有提示策略。此外,消融实验和鲁棒性研究证实,显式解纠缠能够有效防止跨模态冲突并提升决策稳定性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号