摘要
多模态情感分析受益于结合文本、声学和视觉线索，然而许多方法隐式地将模态不变信息与模态特定因素混合，当模态可靠性存在差异时，这会降低鲁棒性。我们提出了 DiMoE，一个以表示为核心的框架，它整合了特征解耦与稀疏专家混合（MoE）融合。DiMoE 首先将每种模态分解为共享（模态不变）和私有（模态特定）表示。随后，它使用 top-k 稀疏 MoE 路由融合这些因子，实现输入自适应的专家选择。我们研究了基于共享专家池的两种路由策略，一种是在合并的共享和私有因子上操作的联合路由器，另一种是独立处理共享和私有因子的分离路由器。我们在五个广泛使用的基准上评估了 DiMoE，涵盖情感强度预测和情绪分类，包括三模态和双模态设置。在各个基准上，DiMoE 相较于近期具有竞争力的基线始终取得了优异的表现，表明显式模态解耦结合专家混合融合能够产生有效的多模态情感表示。
