分而治之：基于提示的分布式学习方法在多模态情感分析中的应用

《Information Fusion》：Divide-and-Conquer: Prompt-based Distribution Learning for Multimodal Sentiment Analysis

针对多模态情感分析中单点嵌入的局限性，本文提出Prompt-based Distribution Learning（PDL）框架，通过提示调优和分布学习分解多模态特征，有效处理显式和隐式歧义，并在CMU-MOSI等数据集上验证其优于基线方法。

　　

王成基|张文静|陈冠毅|董明|何婷婷|江星鹏

中国中部师范大学人工智能与智能学习湖北省重点实验室，武汉，430079，湖北，中国

摘要

尽管基于注入嵌入的多模态融合在多模态情感分析中显示出显著的有效性，但它受到单点嵌入要求以及多模态信号内在模糊性的限制，这限制了其实际应用。在本文中，我们提出了一种名为基于提示的分布学习（Prompt-based Distribution Learning，PDL）的新颖的分治框架，专为多模态情感分析设计。PDL旨在通过联合进行提示调整和情感分布学习来增强多模态信息的表示。具体而言，PDL利用具有模态感知的提示作为探针，分解多模态特征并挖掘每种模态的潜在情感分布，从而捕捉广泛的情感信息。我们在三个基准数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行了大量实验来评估PDL的效果。实验结果验证了PDL的有效性，表明其在捕捉和表示多模态数据中的复杂情感信息方面优于现有方法。

引言

多模态情感分析（Multimodal Sentiment Analysis，MSA）旨在利用文本、音频和视觉等多种数据模态来预测情感极性[1]。大多数MSA方法[2]、[3]、[4]专注于学习一种注入嵌入，将多模态数据转换为数值向量。这种方法隐含地将MSA视为一个单标签学习问题，假设多模态数据具有单一且明确定义的情感标签。

有强有力的证据[2]、[3]、[5]、[6]、[7]质疑假设多模态信号清晰一致性的实际有效性，表明这是一种理想化。由冗余和噪声引起的固有模糊性不仅会对模型性能产生不利影响，还会阻碍嵌入空间中注入映射的形成。数据模糊性可以分为两种类型：显性模糊性和隐性模糊性。显性模糊性是指多模态数据同时传达矛盾的情感。例如，在图1(a)中，笑脸表示积极的情感，而“bad”这个词和低沉的声音则暗示消极的情感。这种冲突使得明确的情感标注变得具有挑战性[3]、[5]、[8]。隐性模糊性是指由于注释者意见不一致而导致的标注不一致。如图1(b)所示，分歧可能源于主观偏见或文化差异，这使得获得一致的标签变得复杂[2]、[9]。

作为回应，最近的研究[7]、[10]、[11]提出了高斯嵌入网络，通过概率嵌入来捕捉这些数据模糊性。这种方法不是产生一个确定性的点估计，而是通过优化其均值和协方差向量来参数化一个高斯分布，最终表示从该分布中采样得到。尽管这些方法取得了有希望的结果，但高斯分布不足以充分解决显性和隐性模糊性问题。至关重要的是，我们认为目标应该是忠实地模拟人类的标注过程，而不仅仅是训练一个被动适应现有模糊标记数据集分布的模型。

为了解决上述挑战，我们提出了一种名为基于提示的分布学习（PDL）的新颖分治框架，它将情感预测重新定义为分布学习问题，以学习更全面和鲁棒的表现，以应对数据模糊性。如图1(c)所示，PDL通过预测潜在标签的分布来模拟人类标注过程。为了解决隐性模糊性，PDL使用一组可学习的提示，每个提示代表一个不同的注释者。这些提示作为语义探针，将单模态特征分解为多个细粒度的嵌入，每个嵌入捕捉情感语义的不同方面。为了解决显性模糊性，我们定义这些提示具有模态感知能力。我们还引入了一个文本条件特征分解（Text-Conditioned Feature Decomposition，TCFD）模块，该模块利用这些具有模态感知的提示来指导多模态特征的分解，从而为视觉和音频模态构建独立的情感分布。然后引入了一种对比分布学习（Contrastive Distribution Learning，CDL）方法，以对齐学习到的多模态情感分布，确保具有相同情感标签的实例具有相似的情感分布。我们还提出了一种关系增强特征融合（Relation-Augmented Feature Fusion，RAFF）模块，该模块将学习到的情感分布视为重要性权重，动态融合细粒度嵌入，从而加强跨模态的显著情感线索。通过整合这些组件，PDL能够自适应地解决显性和隐性模糊性问题，从而为现实世界的多模态情感分析提供了一个更强大且可解释的模型。

为了评估，PDL在三个多模态情感基准数据集CMU-MOSI[12]、CMU-MOSEI[13]和CH-SIMS[4]上进行了验证。实验结果表明，PDL的性能达到了或超过了基线模型。此外，与基线模型相比，我们的框架通过有效结合来自各个模态的情感相关特征，一致地提高了性能。这种方法最大化了每种模态的独特贡献，增强了整体决策过程。

章节片段

多模态情感分析

尽管对融合功能给予了大量关注，但许多方法忽视了多模态数据中的固有模糊性。一些研究[14]、[15]强调文本模态起着关键作用，通常提供最可靠的语义线索。我们采用这种以文本为中心的范式作为我们框架的基础。然而，一个关键挑战仍然是如何定义和解决模糊性。大多数关于不确定性的先前工作[2]、[3]、[4]都集中在随机不确定性上。

方法论

本节简要介绍了PDL的特点，包括其解耦和集成过程，如图2所示。3.1节首先简要介绍了任务的多模态输入和具有模态感知的提示，随后详细描述了PDL架构和多模态表示的情感分布学习过程。3.2节详细介绍了使用具有模态感知的提示进行特征分解的过程。

实验

进行了全面的实验研究，以评估所提出的PDL模型的有效性。本节详细介绍了实验设置，包括第4.1节的数据集、第4.2节的原始特征提取、第4.3节的模型训练细节、第4.4节的基线方法以及第4.5节的实验评估指标。第4.6节与其他竞争方法进行了比较分析。第4.7节提供了一系列消融研究

结论

为了解决多模态情感分析（MSA）中固有的显性和隐性模糊性问题，我们提出了一种名为基于提示的分布学习（PDL）的新颖分治框架。PDL通过关注多模态情感分布的学习，从而捕捉更广泛的情感范围。具体来说，可学习的提示作为情感探针，分解多模态特征并从每种模态中提取情感分布。为了进一步增强

CRediT作者贡献声明

王成基：撰写——原始草稿，验证，软件，方法论，概念化。张文静：撰写——原始草稿，软件，数据管理，概念化。陈冠毅：撰写——审阅与编辑，验证，方法论，形式分析，概念化。董明：撰写——审阅与编辑，可视化，方法论。何婷婷：撰写——审阅与编辑，监督，项目管理，概念化。江星鹏：撰写——审阅与编辑，

利益冲突声明

王成基报告称得到了国家自然科学基金的支持。如果有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。