个人行为鲁棒与可解释的多模态情感分析

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Personal Behavior-Robust and Interpretable Multimodal Sentiment Analysis

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

情感分析在人机交互和心理健康等领域至关重要，已通过多模态融合和大规模语言模型取得了进展。由于行为差异，人们在情绪表达上表现出显著的可变性，但现有方法通常在整个群体中应用通用模型。这些模型主要关注客观特征，忽视了可能导致提取特征与相应情绪类别之间不一致的“个人”线索。此外，在通用层面上，映射到通用情绪类别的个人线索的积累加剧了这一问题。现有方法倾向于不加区分地融合这些线索，而应该强调与目标情绪类别一致的特征。而且，作为主导融合方法的注意力机制无法调整其分配的错误权重。为了解决这些局限性，我们提出了一种“个人行为鲁棒”的情感分析方法，通过解耦将个人线索与通用线索分离，并通过基于纠正反馈的“可解释”融合策略学习跨模态特征的相对重要性，以调整注意力机制分配的错误权重。所提出的模型有效地从多种线索中区分并优先考虑相关信息，引导模型关注与整体情绪相符的线索。实验结果表明，所提出的方法在两个公开数据集上取得了良好的性能：CMU-MOSI 和 CMU-MOSEI 数据集。

AI 摘要

AI 生成摘要（实验性）

本摘要使用自动化工具生成，未经文章作者撰写或审核。它旨在支持发现，帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍然是权威的记录版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性发表评论。这将有助于改进和未来的重新生成版本。

要查看此 AI 生成的通俗语言摘要，您必须拥有高级访问权限。