利用多视图学习实现泛化的多模态讽刺检测

《Artificial Life》：Towards Generalized Multimodal Sarcasm Detection with Multi-View Learning

多模态讽刺检测中存在虚假相关依赖问题，本文提出ConDi框架，通过最优传输算法对齐异构模态嵌入，从模态解耦、全局情感、局部描述三个视角学习矛盾特征，设计冲突融合模块实现去偏特征融合，有效提升模型泛化能力。

　　

摘要：

多模态讽刺检测（MSD）对于理解复杂的人类交流和构建智能情感计算系统至关重要。然而，现有的MSD方法往往过度依赖虚假相关性，导致学习到的特征偏离讽刺的真正含义。这种偏差严重削弱了当前模型在训练环境之外的泛化能力。本文提出了一种基于冲突的解耦多视图不一致性学习框架（ConDi），旨在有效解耦和处理多模态讽刺中的异构特征。由于多模态嵌入空间通常具有异构性，直接融合可能会破坏来自不同模态的嵌入的固有结构。为了解决这个问题，我们采用最优传输算法将来自不同模态的嵌入对齐到一个统一的空间中。随后，我们从三个视角联合学习不一致性：模态解耦、全局情感和局部描述。为了实现讽刺特征的无偏差融合，我们设计了一个基于冲突的融合模块来整合这三个视角的特征。实验结果表明，ConDi在多模态讽刺数据集上表现出优越性，进一步分析表明ConDi能够有效减少对虚假相关性的依赖。此外，离分布（OOD）实验表明ConDi具有更好的泛化能力。