DRLCCI：一种混合融合网络，结合了解耦表示学习和跨模态协同交互技术，用于多模态情感分析

《Neurocomputing》：DRLCCI: A hybrid fusion network leveraging disentangled representation learning and cross-modal collaborative interaction for multi-modal sentiment analysis

多模态情感分析通过融合文本、视觉、声学等多源数据提升情感识别精度，但异质数据分布和模态间交互不足是主要挑战。本文提出DRLCCI框架，创新性地设计CGMF融合模块，结合跨模态注意力机制和去混同表示学习，在CMU-MOSI和CMU-MOSEI数据集上验证了方法的有效性。

　　多模态情感分析（Multimodal Sentiment Analysis, MSA）是当前多媒体研究领域中的一个关键任务，旨在通过整合文本、音频和视觉等多种模态的信息，更全面地理解人类的情感表达。随着人工智能和自然语言处理技术的不断发展，MSA的应用范围也日益扩大，涵盖了人机交互、舆情监测、自动驾驶汽车中的情绪检测等多个领域。然而，尽管已有大量研究在该方向取得进展，如何有效融合不同模态之间的信息仍然是一个挑战。这主要源于多模态数据的异构性，即不同模态之间在表现形式、分布特征以及语义表达上存在显著差异，这些差异可能影响模型在融合过程中对一致性与差异性的准确把握。

现有的多模态情感分析方法通常采用注意力机制对多模态特征进行聚合与融合，以提升情感预测的准确性。然而，这些方法在处理多模态数据时往往存在一定的局限性。一方面，它们通常在特征提取之后直接进行模态融合，忽略了对特征的深入学习以及模态之间的交互作用；另一方面，这些方法未能充分考虑不同模态中情感特征的独特性与一致性，导致在融合过程中可能丢失一些关键信息或产生信息冲突。因此，如何设计一种能够有效整合多模态信息、同时保留各模态特异性的情感分析方法，成为当前研究的重点。

为了克服上述问题，本文提出了一种基于模态协作与解耦表示的多模态情感分析方法，称为“融合网络，利用解耦表示学习与跨模态协作交互”（Disentangled Representation Learning and Cross-Modal Collaborative Interaction-based Hybrid Fusion Network, DRLCCI）。该方法的核心在于构建一个“协作特征引导的多模态融合模块”（Collaborative-Feature Guided Multimodal Fusion Module, CGMF），该模块基于注意力机制，旨在促进多模态之间的协作，并深入挖掘模态间的交互关系。CGMF模块由两个子模块组成：音频-视觉引导的协作特征生成模块（Audio-Visual Guided Collaborative Feature Generation Module, AVGCG）和协作特征引导的多模态双向交互模块（Collaborative Feature-Guided Multimodal Bidirectional Interaction Module, CGMBI）。AVGCG模块通过音频与视觉模态与文本模态之间的双分支跨模态注意力机制，生成音频视觉引导的协作特征，从而增强文本情感信息的表达能力。CGMBI模块则通过双向多模态交互单元，加强跨模态协作特征与三类具体模态信息之间的互动，进一步提升情感分析的准确性。

在实现过程中，我们还引入了空间表示解耦和相似性约束等技术，以确保不同模态之间的特异性与一致性，从而实现对有效情感信息的全面学习与整合。空间表示解耦能够帮助模型区分各模态中的情感特征，避免因模态间的混杂而导致的预测偏差。而相似性约束则用于保持不同模态之间的情感一致性，使模型在融合过程中能够更好地识别和利用共同的情感特征。通过这些技术的结合，DRLCCI能够在复杂场景下实现更精准的情感预测，同时减少信息丢失和冲突的可能性。

本文的研究成果在两个国际知名的多模态情感数据集上得到了验证：CMU-MOSI 和 CMU-MOSEI。这两个数据集均采用英文标注，涵盖了文本、视觉和音频等多种模态的信息，广泛应用于情感分析任务。其中，CMU-MOSI 包含89名说话者的89个视频，被分割为2199个视频片段。每个视频片段都标注了情感强度，采用从-3（强烈负面）到3（强烈正面）的七级评分体系。CMU-MOSEI 则是一个更大规模的数据集，包含更多的视频片段和更丰富的模态信息。通过在这些数据集上的实验，我们验证了DRLCCI在情感预测任务中的有效性，并展示了其相较于传统方法的优势。

此外，本文还对现有的多模态情感分析方法进行了综述。早期的研究主要集中在分别提取文本、音频和视觉模态的特征，然后通过简单的特征加法或拼接等方法进行情感预测。虽然这些方法实现起来较为简单，但它们未能有效处理多模态数据的异构性，导致情感预测的准确性受限。随着研究的深入，注意力机制和Transformer模型的引入为多模态情感分析带来了新的机遇。例如，一些研究利用注意力机制来建模不同模态之间的动态关系，以提升情感分析的性能。而另一些研究则通过解耦表示学习来区分不同模态中的情感特征，以提高情感预测的准确性。

然而，当前的多模态情感分析方法仍然存在一些不足。一方面，许多方法在融合过程中主要关注模态之间的交互，而忽视了各模态中情感特征的独特作用。例如，在某些具体情境下，视觉模态可能包含更强烈的情感线索，能够引导文本模态的情感表达。另一方面，许多方法未能同时建模模态不变的一致性与模态特定的差异性，导致在融合过程中无法有效区分互补与冗余的信息，从而影响最终的情感预测结果。因此，如何设计一种能够同时建模一致性与差异性，并有效融合多模态信息的方法，成为当前研究的关键。

基于上述问题，本文提出了一种全新的多模态情感分析框架，该框架融合了解耦表示学习和跨模态协作交互两种关键技术。首先，该框架通过特征提取模块获取文本、音频和视觉模态的原始特征。其次，通过CGMF模块对这些特征进行融合，该模块能够促进多模态之间的协作，并深入挖掘模态间的交互关系。最后，通过情感强度分类与预测模块对融合后的信息进行情感判断。在这一过程中，我们特别关注了音频-视觉模态与文本模态之间的协作关系，以及跨模态协作特征与三类具体模态信息之间的双向交互。

在具体实现上，AVGCG模块通过音频与视觉模态与文本模态之间的双分支跨模态注意力机制，生成音频视觉引导的协作特征。这种机制能够帮助模型更好地理解不同模态之间的情感联系，并增强文本情感信息的表达能力。CGMBI模块则通过双向多模态交互单元，加强跨模态协作特征与三类具体模态信息之间的互动，从而提升情感分析的准确性。此外，我们还引入了空间表示解耦和相似性约束等技术，以确保不同模态之间的特异性与一致性，从而实现对有效情感信息的全面学习与整合。

在实验验证方面，本文在CMU-MOSI和CMU-MOSEI两个数据集上进行了广泛的测试。实验结果表明，DRLCCI在情感预测任务中表现优异，相较于传统方法在准确性、鲁棒性和稳定性方面均有显著提升。特别是在处理未对齐数据时，DRLCCI能够更好地保持模态间的情感一致性，从而提升情感预测的准确性。此外，实验还验证了DRLCCI在处理不同模态间情感特征的差异性时的有效性，表明该方法能够更好地识别和利用互补信息，减少信息冲突和丢失的可能性。

综上所述，本文提出了一种基于模态协作与解耦表示的多模态情感分析方法，该方法通过构建CGMF模块，实现了对多模态信息的全面融合与有效学习。该方法不仅能够提升情感预测的准确性，还能够增强模型对多模态数据的适应能力，使其在复杂场景下表现更加稳定。通过在CMU-MOSI和CMU-MOSEI两个数据集上的实验验证，我们进一步证明了DRLCCI在情感分析任务中的有效性，并展示了其相较于传统方法的优势。本文的研究成果为多模态情感分析领域提供了新的思路和技术支持，具有重要的理论和应用价值。