通过语义补全和分解方法解决多模态情感检测中的情感差异问题

《Pattern Recognition》：Resolving Sentiment Discrepancy for Multimodal Sentiment Detection via Semantics Completion and Decomposition

多模态情感分析中提出CoDe网络，通过语义补全模块利用图像内文本弥合模态间情感差异，语义分解模块显式分离共享与私有情感成分，结合跨模态注意力实现更全面的特征融合，有效提升存在矛盾情感的用户生成内容识别准确率。

　　随着社交媒体的迅速发展，用户生成的内容日益增多，特别是图像与文本结合的多模态内容。这种形式的帖子在表达情感时，常常会出现图像与文本之间情感不一致甚至相互矛盾的情况，即所谓的“情感差异”。这种现象在实际应用中具有重要意义，因为它不仅影响了情感分析的准确性，还可能对后续的决策和分析带来偏差。因此，如何有效处理这种情感差异，成为当前多模态情感检测研究中的一个关键挑战。

在传统的多模态情感检测方法中，大多数研究采用单一分支的融合结构，旨在捕捉图像与文本之间的一致情感。然而，这种结构忽略了情感差异的存在，或者只是隐式地进行建模，导致单模态表示的编码能力受到限制，从而影响了最终的多模态情感识别效果。尤其是在训练过程中，当遇到情感差异的情况时，单一结构可能无法全面表达整个帖子的情感状态，使得图像和文本的表示都过度依赖于一致情感，进而影响模型的泛化能力和准确性。

为了解决这一问题，本文提出了一种名为CoDe的网络结构，它包含两个关键模块：语义补全模块和语义分解模块。语义补全模块利用图像中包含的文本信息（即“图像内文本”）来补充图像和文本的表示，从而缓解情感差异带来的影响。语义分解模块则通过独占投影和对比学习，将图像和文本的表示分解为子表示，以显式地捕捉不同模态之间的情感差异。最终，通过跨注意力机制对图像和文本的表示进行融合，并结合学习到的情感差异进行最终分类。实验结果表明，CoDe在多个数据集上的表现优于现有方法，验证了其模块的有效性。

在多模态情感检测的研究中，早期的注意力主要集中在单模态情感分析上，包括视觉、语言和音频等模态。为了提高模型的情感感知能力，研究人员最初依赖于手工设计的特征，如单字模型、审美属性和形容词-名词搭配等。随着深度学习和预训练模型的发展，研究重点逐渐转向基于学习的特征。例如，Kim [9] 提出利用预训练模型进行视觉情感分析，以提高模型的性能和泛化能力。

然而，单模态情感检测方法在处理多模态内容时存在局限性。尤其是在图像和文本共同表达情感的情况下，单模态方法无法充分融合不同模态之间的信息，导致模型对情感的识别不够全面。因此，多模态情感检测方法逐渐成为研究的热点，旨在通过结合不同模态的信息来提高情感识别的准确性和全面性。

在本文中，我们提出了一种新的方法，即CoDe，它在传统的单分支融合结构基础上，引入了语义补全和语义分解两个模块。语义补全模块的作用是利用图像中的文本信息来补充图像和文本的表示，从而缓解情感差异。通过这种方式，模型能够更好地理解图像和文本之间的关系，提高情感识别的准确性。语义分解模块则通过独占投影和对比学习，将图像和文本的表示分解为子表示，以显式地捕捉不同模态之间的情感差异。通过这种方式，模型能够分别学习不同模态之间的共享情感和独特情感，从而更全面地理解整个帖子的情感状态。

此外，我们还对CoDe的各个模块进行了系统的实验验证。实验结果表明，语义补全模块在处理图像内文本时，能够有效缓解情感差异，提高模型的性能。而语义分解模块则通过分解不同模态之间的共享情感和独特情感，促进模型对多模态内容的整体编码能力。这些模块的结合，使得CoDe能够在处理多模态情感检测任务时，更准确地识别情感差异，并将其与一致情感进行融合，从而提高整体的情感识别效果。

在实验过程中，我们使用了四个公开的多模态情感检测数据集：MVSA-Single、MVSA-Multiple、TumEmo 和 HFM。这些数据集在多模态情感检测领域具有代表性，能够全面评估模型的性能。其中，MVSA-Single 数据集是从Twitter中收集的，每个帖子都标注了图像情感和文本情感，分别属于{Positive, Neutral, Negative}类别。MVSA-Multiple 数据集则包含多个情感标签，能够更全面地评估模型在处理多标签情感任务时的能力。TumEmo 和 HFM 数据集则分别侧重于不同的应用场景，如心理健康的分析和商业智能的应用。

通过对这些数据集的实验分析，我们发现CoDe在处理情感差异方面具有显著的优势。特别是在处理图像和文本之间情感不一致的帖子时，CoDe能够更准确地识别情感差异，并将其与一致情感进行融合，从而提高整体的情感识别效果。实验结果还表明，语义补全模块和语义分解模块在提升模型性能方面起到了关键作用。语义补全模块通过引入图像内文本的信息，能够有效缓解情感差异，提高模型的准确性。而语义分解模块则通过分解不同模态之间的共享情感和独特情感，促进模型对多模态内容的整体编码能力。

此外，我们还对CoDe的各个模块进行了消融实验，以验证其有效性。消融实验的结果表明，语义补全模块和语义分解模块在提升模型性能方面具有显著作用。特别是语义补全模块，在处理图像内文本时，能够有效缓解情感差异，提高模型的准确性。而语义分解模块则通过分解不同模态之间的共享情感和独特情感，促进模型对多模态内容的整体编码能力。这些实验结果进一步验证了CoDe在处理情感差异方面的有效性。

在实际应用中，处理情感差异具有重要的意义。例如，在用户行为分析中，通过识别用户反馈中的情感差异，品牌可以及时采取干预措施，避免声誉风险。在政治意见挖掘中，识别政治人物的推文中是否存在情感差异，可以帮助区分讽刺和真实意图。这些应用场景表明，情感差异的处理不仅能够提高情感分析的准确性，还能够为实际应用提供重要的支持。

因此，本文提出的CoDe方法，不仅能够有效处理多模态情感检测中的情感差异，还能够提升模型的整体性能。通过引入语义补全和语义分解两个模块，CoDe能够在处理图像和文本之间的情感差异时，更准确地识别情感，并将其与一致情感进行融合，从而提高情感识别的全面性和准确性。这些模块的结合，使得CoDe能够在处理多模态情感检测任务时，更全面地理解图像和文本之间的关系，提高模型的泛化能力和准确性。

总之，本文的主要贡献在于提出了CoDe方法，该方法通过引入语义补全和语义分解两个模块，有效处理了多模态情感检测中的情感差异问题。实验结果表明，CoDe在多个数据集上的表现优于现有方法，验证了其模块的有效性。此外，我们还对CoDe的各个模块进行了系统的实验验证，进一步确认了其在提升模型性能方面的潜力。这些研究结果不仅为多模态情感检测领域提供了新的思路，还为实际应用提供了重要的支持。