一种用于多模态情感识别优化的Mamba驱动Transformer方法

《Alexandria Engineering Journal》：A mamba-driven transformer method for multimodal emotion recognition optimization

　　

情感识别作为情感计算的核心技术，直接影响人机交互系统的性能表现。然而现有基于卷积神经网络(CNN)和Transformer的模型存在明显局限：CNN受局部感受野限制难以处理长序列数据，而Transformer随着序列长度增加面临二次方计算复杂度问题，制约了对复杂情感状态的识别能力。为解决这些挑战，研究人员提出了TriModalMam模型——一种多模态情感预测框架。该框架整合Mamba架构优势，通过联合建模文本、音频和视觉特征优化情感特征提取与融合过程。模型采用单模态序列Mamba(MonoModal Sequential Mamba, MSM)模块进行深度特征提取，通过共享编码器将各模态特征投影至相似性子空间，并利用Mamba驱动的多模态特征提取(Mamba-driven Multi-modal Feature Extraction, MMFE)模块优化特征表示。跨模态交互(Cross-Modal Interaction, CMI)机制增强了模态间的信息流动与交互，融合后的特征经Transformer编码器和多层感知机(Multilayer Perceptron, MLP)网络处理完成情感预测。在CMU-MOSI和CMU-MOSEI数据集上的实验表明，TriModalMam优于传统CNN和Transformer模型：在CMU-MOSI上七分类准确率达87.34%，相关系数达0.855；在CMU-MOSEI上准确率达87.45%，相关系数为0.891。该模型仅含1.1亿参数，实现了高性能与低计算复杂度的平衡。

面向多模态情感识别优化的Mamba驱动Transformer方法解读

研究背景与意义

情感识别作为情感计算的核心技术，其精度直接影响人工智能系统对人类情感的理解能力与人际交互效能。当前智能交互场景中，人类情感通过文本语义、语音语调、面部表情等多维度表达，单一模态分析易产生判断偏差。例如智能客服场景中，用户文本反馈可能呈中性，但结合易怒语调与皱眉表情才能识别潜在不满；心理健康监测中，仅凭对话文本难以检测隐性抑郁倾向，需融合语音节律与微表情等多模态信息提升预警准确性。尽管现有基于卷积神经网络(CNN)与Transformer的架构取得进展，仍存在显著局限：CNN因局部感受野限制难以建模长序列全局依赖，在噪声环境或复杂场景中鲁棒性下降；Transformer虽擅长长距离关系建模，但面临二次方计算复杂度带来的训练推理效率低下问题，且多模态融合能力不足，难以实现异构模态的有效整合与联合推理。Mamba作为基于状态空间网络(State Space Networks, SSN)的新型深度学习架构，在长时序建模、长距离依赖捕获及多模态融合方面展现出线性计算复杂度(O(n))的优势，但其处理复杂情感状态、噪声输入及动态环境的鲁棒性仍有待提升。为此，鄂尔多斯应用技术学院的研究人员提出TriModalMam模型，旨在突破现有模型性能与效率的瓶颈，相关成果发表于《Alexandria Engineering Journal》。

关键技术方法

研究人员采用CMU-MOSI与CMU-MOSEI两个公开多模态情感数据集开展研究，前者包含视频片段级音视文数据及情感强度标签，后者扩展了样本量与情感类别粒度。技术实现上，模型首先通过BERT提取文本特征、Librosa提取音频特征、OpenFace提取视觉特征，随后引入单模态序列Mamba(MSM)模块进行深度时序特征提取——该模块集成层归一化、跨全局局部注意力(Cross-Global Local Attention, CGLA)、卷积操作及ViM块，通过残差连接优化特征表示。接着通过共享编码器将各模态特征投影至相似性子空间，结合Mamba驱动的多模态特征提取(MMFE)模块增强跨模态交互，再经跨模态交互(CMI)机制促进模态间信息流动。最终融合特征输入Transformer编码器捕获高阶上下文交互，经多层感知机(MLP)完成情感分类。模型参数量严格控制在110M，相似性子空间与特征子空间序列长度设为50，特征维度设为128。

研究结果

数据集验证

在CMU-MOSI数据集上，TriModalMam七分类准确率达87.34%，F1值87.29%，平均绝对误差(MAE)降至0.705，皮尔逊相关系数(Corr)提升至0.855，较此前最优模型CLGSI准确率提升超1个百分点，相关系数显著提升。在规模更大、情感类别更细粒度的CMU-MOSEI数据集上，模型准确率达87.45%，F1值87.59%，MAE低至0.519，Corr达0.891，均优于所有对比模型，证明其在复杂数据场景下可有效缓解模态冗余与融合失衡问题。

效率分析

模型参数量仅110M，较Transformer基线的MuLT(157M)、MISA(123M)显著降低，较紧凑型Self-MM(112M)仍减少约2M参数。计算开销为4.3 GMACs，低于MuLT(5.1 GMACs)、MFSA(5.6 GMACs)及Self-MM(4.6 GMACs)，实现性能与轻量化的平衡。效率优势源于Mamba的线性计算复杂度替代Transformer二次方自注意力操作，以及MSM模块的选择性特征提取减少冗余参数开销。

消融实验

模块组合消融显示，移除任一核心模块均导致性能显著下降：移除跨模态交互(CMI)模块后二分类准确率降幅最大，MAE显著上升，验证其对多模态信息整合的关键作用；移除单模态序列Mamba(MSM)模块后相关系数下降最明显，凸显深度单模态时序特征提取对情感趋势捕捉的重要性；移除相似性子空间与Mamba驱动的多模态特征提取(MMFE)模块亦导致准确率与F1值下滑，反映二者在统一模态分布与优化特征表示方面的价值。Mamba模块消融实验进一步表明，Vision Mamba在所有测试模块中表现最优，全面优于传统Transformer，证实Mamba架构在多模态时序特征捕获上的优势。

讨论与结论

研究人员指出，当前模型在模态输入不平衡或质量较低时鲁棒性有限，跨模态融合深度不足，且仅在通用数据集验证未适配垂直领域。未来可通过动态模态权重调整、知识图谱引入、领域定制化及可解释性增强等方向优化。结论表明，TriModalMam通过整合Mamba架构优势，有效解决了CNN与Transformer在多模态情感识别中的固有局限，在提升细粒度情感区分能力的同时保持低计算复杂度，为情感分析任务提供了兼具高性能与实用性的新范式。