跨模态联合语义Transformer改进跨模态语义对齐在多模态情感分析中的应用

《IEEE Transactions on Big Data》：Improving Cross-Modal Semantic Alignment with Cross-Modal Joint Semantic Transformer for Multimodal Sentiment Analysis

　　

多模态情感分析（MSA）旨在全面理解人类情感状态。为实现这一目标，需整合包括文本、音频和视觉信息在内的异构模态。然而，多模态数据中各模态间的语义不对齐以及多模态特征融合的不充分，对实现准确的情感预测构成了挑战。为此，我们提出了一种跨模态联合语义Transformer（CJST）模型，以实现跨模态语义对齐，从而提升情感预测精度。首先，设计了一种基于奇异值分解（SVD）的跨模态语义对齐策略，该策略能够对单模态输入的时间和语义成分进行解耦，以降低不对齐噪声和时间冗余的影响。其次，开发了一种特征级低秩多模态融合策略，通过在低秩空间中执行基于张量的融合，实现语义特征间的高阶交互。最后，在两个公认的MSA基准数据集上开展了多项实验。充分的实验结果表明，所提出的CJST模型性能优于或匹配现有最先进方法。

### 论文解读：跨模态联合语义Transformer在多模态情感分析中的研究

#### 一、研究背景与问题

随着短视频产业和社交媒体的迅猛扩张，用户生成的视频内容呈指数级增长，这些数据构成了能够真实反映人们对特定话题、个体或事件内在情感与观点的丰富信息源。多模态情感分析（Multimodal Sentiment Analysis, MSA）致力于探索和理解这些复杂的情感表达，通过综合分析图像（视觉）、声音（音频）和文本等多模态数据，揭示人类情感的细微差别，并在营销管理、社交媒体分析和人机交互等领域展现出广阔的应用前景。

然而，MSA面临两大核心挑战。第一，在处理多模态视频数据时，不同模态的采样率差异导致特征之间存在固有的不对齐现象，产生大量不对齐噪声和时间冗余，尤其在视觉和音频模态中表现突出。时间上的不对齐给跨模态融合带来困难，而连续帧之间的高度相似性又导致大量冗余。尽管已有的研究尝试通过对比学习或度量学习实现模态间的语义对齐，但这些方法不可避免地导致某些模态关键信息的丢失。第二，高效的多模态特征融合方法至关重要。基于张量的融合方法通常利用外积操作将多模态特征融合为张量表示，能有效实现高阶交互，但往往需要将序列矩阵映射为向量，从而丢弃了模态中蕴含的丰富时间动态信息。基于注意力的融合方法通常建立有向的成对跨模态注意力以捕获局部相关性，但难以捕获跨模态的共现关系。

#### 二、研究内容与模型设计

针对上述问题，研究人员提出了跨模态联合语义Transformer（Cross-modal Joint Semantic Transformer, CJST）模型。该模型通过改进跨模态语义对齐，实现保留时间信息的同时进行全面多模态特征融合。研究的核心贡献包括两大策略：一是基于奇异值分解（Singular Value Decomposition, SVD）的跨模态语义对齐策略（SCSA-Strat），通过解耦单模态输入的时间与语义成分，获得跨模态联合语义表示，以降低不对齐噪声和时间冗余的影响，且无需额外参数；二是特征级低秩多模态融合策略（FLMF-Strat），通过引入低秩多模态融合（Low-rank Multimodal Fusion, LMF）方法，实现提取的语义特征的高阶交互，以最小的复杂度实现高阶融合。

在模型构建中，文本模态采用BERT模型编码，音频与视觉模态采用长短期记忆网络（Long Short-Term Memory, LSTM）提取时序特征，并加入位置嵌入。CJST的核心是语义对齐层，由SCSA-Strat和FLMF-Strat组成。SCSA-Strat对单模态表示矩阵进行截断SVD分解，将矩阵分解为时间矩阵和主语义矩阵，时间矩阵保留原始时间演化信息，主语义矩阵聚焦语义逻辑并滤除冗余和噪声。随后，FLMF-Strat沿语义维度对主语义矩阵进行分组，对每个分组执行LMF操作，在低秩空间内实现基于张量的融合，从而获得包含单模态、双模态和三模态交互的联合语义表示。最后，将联合语义表示与各模态的时间矩阵相乘，得到更新后的表示，并经残差连接和层归一化后输入并行多层感知机（Multi-Layer Perceptron, MLP）层。模型使用L1损失作为优化目标。

#### 三、实验结果与分析

研究在两个广泛使用的基准数据集上进行实验：CMU-MOSI和CMU-MOSEI。CMU-MOSI包含93个视频、2199个话语片段，情感标注范围从-3到+3。CMU-MOSEI是CMU-MOSI的扩展版本，包含22856个话语级视频片段，涉及1000位发言人和250个话题。采用包括二分类准确率（Acc-2）、F1分数、五分类准确率（Acc-5）、七分类准确率（Acc-7）、平均绝对误差（Mean Absolute Error, MAE）和皮尔逊相关系数（Corr）在内的多种评估指标，并与TFN、LMF、MulT、MISA、Self-MM、MMIM、TETFN、EMT、MTMD、DEVA等基线方法进行对比。

**性能对比**：在CMU-MOSEI上，CJST在大多数指标上显著优于基线方法。在CMU-MOSI上，CJST在Acc-2和F1分数上表现优异，在其他指标上与最优方法持平。相比通过多任务学习实现跨模态语义对齐的MISA和MMIM等，CJST仅通过单任务训练就实现了更优性能，验证了SCSA-Strat在降低不对齐噪声和时序冗余方面的有效性。相比TFN、LMF等张量方法及MulT、TETFN、EMT等注意力方法，CJST取得了显著改进，归功于特征级低秩多模态融合策略的有效性。

**参数对比**：尽管基于Transformer架构，CJST避免了标准Transformer的多头注意力机制，显著减少了参数数量和计算成本（浮点运算数），在保持竞争力的同时成为轻量级解决方案，适合部署在资源受限的边缘设备上。

**消融研究**：分别移除SCSA-Strat和FLMF-Strat后，模型性能出现不同程度下降。移除SCSA-Strat在CMU-MOSI上性能显著下降，而在CMU-MOSEI上影响相对较小，表明SCSA-Strat有助于提高模型泛化能力，尤其在较小数据集上。移除FLMF-Strat显著降低了情感预测性能，尽管替代的简单拼接方法参数规模与FLMF-Strat相近，但CJST在所有指标上均优于该变体，明确了FLMF-Strat在多模态特征融合中的关键作用。同时移除两种策略的模型表现最差，凸显了两大策略的协同效应。

**融合策略分析**：研究人员将FLMF-Strat与拼接、TFN、自注意力、跨模态注意力等替代融合策略进行比较。结果表明，FLMF-Strat取得最优性能，验证了其在实现有效语义融合方面的优势。拼接策略与CJST存在明显性能差距，说明简单拼接不足以实现语义融合；注意力方法能有效建模成对交互，但逊于CJST；TFN虽能实现高阶融合，但其较大参数量在小样本场景下增加了过拟合风险。

**定量分析**：针对SCSA-Strat中SVD的截断长度k的实验中，k设为9或10时模型性能最优且稳定，过小无法保留核心语义特征，过大则可能重新引入噪声。针对FLMF-Strat中LMF分解秩R的实验显示，R在1到2之间时模型表现最佳，这与低秩足以实现良好性能的结论一致；R超过3后性能逐渐下降，可能源于参数过多导致的过拟合。

**可视化分析**：利用t-SNE算法对模型最后一层表示向量进行降维可视化。CJST的特征分布呈现出清晰边界且同极性样本聚类相对紧密，验证了其优秀的情感分类性能。移除SCSA-Strat的模型虽保持可分离边界但簇中心较为分散，证实了SVD在跨模态语义对齐中的重要性。移除FLMF-Strat的模型簇中心突出但边界模糊，表明了高阶融合的关键作用。

#### 四、结论

实验结果表明，CJST在情感预测精度上达到或超越了现有最先进方法的水平。此外，CJST的低参数规模有利于部署在资源受限的边缘设备上，可实现移动情感交互、嵌入式情感系统等应用中的实时多模态情感分析。未来的研究方向将探索CJST在多模态摘要生成和视觉问答（Visual Question Answering, VQA）等其他多模态任务中的应用，跨模态对齐和高效高阶融合在这些任务中同样至关重要。