LP-MDAF：基于可学习参数引导的多分布对齐流，用于缺失模态的情绪识别

《Neurocomputing》：LP-MDAF: Learnable parameter guided multi-distribution alignment flow for missing modality emotion recognition

　　范嘉豪|陈伟婷|马新荣 中国上海华东师范大学软件/硬件协同设计工程教育部重点实验室，邮编200062

摘要
在多模态情感识别中，缺失的模态会损害表示的完整性与协同性，从而导致性能显著下降。为解决这一问题，研究人员提出了多种相应方案。确定性插补方法虽然能依据固定统计规则直接填补缺失数据，但难以适应动态数据变化，且不可避免地会产生系统偏差。生成模型虽能产生高质量模态数据，却存在训练不稳定和计算效率低的问题。此外，大多数方法忽视了与情感语义分布的对齐，限制了识别精度。为解决这些问题，我们提出了一种可学习参数引导的多分布对齐流模型（LP-MDAF）。该模型将可学习参数与流模型相结合用于缺失模态的重建，既避免了固定插补方法的适应性缺陷，又克服了扩散模型等方法的训练难题。此外，通过引入多变量分布对齐机制，它在重建过程中同时保持了模态特异性与情感区分度，从而显著提升了重建质量和识别性能。在IEMOCAP（4类分类，准确率66.89%，较现有最佳方法高0.69%）、MSP-IMPROV（4类分类，准确率56.66%，较现有最佳方法高1.52%）以及CMU-MOSI（回归分析，平均绝对误差1.0758，较现有最佳方法低0.0465）上的实验表明，LP-MDAF在重建质量和情感识别精度方面均优于现有方法，为现实世界中的多模态情感识别任务提供了可靠有效的解决方案。

引言
虽然仅利用音频、视觉或文本信号的单模态情感识别已得到广泛研究，但研究表明每种单一模态都有其固有局限性。仅有语音韵律而没有词汇内容时可能具有歧义[1]；面部表情可能因文化差异或物理遮挡而难以理解[2]；仅凭文本则缺乏语气和重音等副语言线索[3]。多模态情感识别通过整合面部表情、身体动作、语音韵律、文本内容和生理信号等多种模态的互补信息，克服了这些局限性[4]，从而实现对用户情感更细致、更可靠的感知，使其成为情感计算和心理健康评估等领域的重要基础[5]、[6]、[7]、[8]。

情感识别相关研究涵盖了多种方法，从诸如愉快-不愉快-中性分类[9]以及对立离散情感识别[10]、[11]这类较粗略的任务，到包括4类情感分类（快乐、愤怒、悲伤、中性）[12]、[13]以及连续情感强度回归（例如从-3到+3）[12]、[14]在内的更精细的分类方式。然而，多模态情感识别的诸多进展都是在模态完全可用的理想假设下取得的——而在实际应用中这一条件往往难以保证。例如，损坏的摄像头可能导致视觉或听觉数据缺失；照明不足会影响图像质量；发音不清则会降低语音识别和转写的准确性[15]、[16]、[17]。这些问题常常导致模态缺失，如图1所示。模态缺失会损害多模态表示的完整性与协同性，使得在完整模态条件下训练的模型在现实应用中的性能出现明显下降。这正是我们致力于研究鲁棒性缺失模态情感识别的原因。

为解决多模态情感识别中模态缺失的问题，主流解决方案侧重于补充缺失数据，这类方法大致可分为两大类。第一类是基于插补的方法，如零填充[18]和均值填充[19]。尽管这些方法简单易行，但容易引入偏差，且难以适应现实应用中复杂多变的缺失模式。我们之前的工作[20]尝试利用可用模态进行自适应插补以填补缺失数据。虽然这种方法避免了引入噪声数据，但由于可用模态与缺失模态源自同一数据源，往往会导致插补数据与可用数据之间存在冗余，并且与真实数据分布存在较大差异。第二类是基于生成的方法，旨在通过跨模态交互直接重建缺失模态。例如，自编码器[21]及其变体，如级联残差自编码器[CRA][20]、[22]、[23]，常被用作基础的生成模块。但由于其结构较为简单，其重建能力往往有限。生成对抗网络[24]、[25]也被用于合成缺失模态，但它们存在训练不稳定、模式崩溃以及输出多样性不足等问题[26]，尤其是在数据样本有限的情况下表现较差。近期，基于扩散模型的重建方法[27]、[28]在生成质量上取得了显著提升。然而，这些模型依赖于复杂的加噪与去噪过程，导致训练和推理效率较低，且在数据稀缺时往往难以稳定收敛。

此外，大多数现有的主流方法在重建缺失模态时主要聚焦于对模态特征分布的建模，往往忽视了对情感语义分布的显式建模。例如，Zhu等人[27]、[28]在用于缺失模态重建的扩散模型中以可用模态作为条件引导。尽管他们生成的模态分布质量相对较好，但未能有效将生成的特征与情感特征分布对齐，从而导致情感识别任务中的语义区分度较低。同样，我们之前的工作[20]试图利用CRA的隐式表示来间接建模可用模态与缺失模态之间的情感语义关联。但由于模型结构较为简单，其重建质量仍不足以有效提升情感识别的性能。

为应对上述挑战，本文提出了一种新型的鲁棒性缺失模态情感识别模型，即LP-MDAF（可学习参数引导的多分布对齐流模型）。该模型首次将可学习参数与流匹配模型相结合。一方面，可学习参数的自适应特性有效克服了确定性插补方法固有的僵化问题，使其能够灵活适应各种缺失模态模式。另一方面，与基于扩散的生成方法相比，流匹配模型采用确定性的可逆映射，可直接将数据从简单的噪声分布转换为目标分布。这种设计避免了扩散模型中多步骤迭代去噪带来的计算负担，从而在保持重建质量的同时显著提升了效率。此外，为解决现有方法通常忽视情感语义分布建模的问题，LP-MDAF引入了多分布对齐学习机制。该机制不仅为每个模态特征建立了独立的隐式分布，以确保重建模态的有效性，还对每个模态对应的情感特征施加了分布约束。通过同时建模模态分布与情感语义分布，该模型能够在训练过程中同时捕捉模态特有的特征与情感语义的区分信息。因此，它不仅在提升重建质量的同时，还大幅提高了情感识别的性能。在实际应用中，LP-MDAF以可用模态作为输入，输出情感识别结果（如快乐、愤怒、悲伤、中性等类别），为因硬件故障或网络不佳而导致模态缺失时的专业人士（如心理健康从业者）提供决策参考，但并不能替代他们的专业判断。

本文的主要贡献如下：
• 我们提出了LP-MDAF，这是一种用于缺失模态情感识别的新型鲁棒模型，它首次将可学习参数与流匹配模型相结合。这种结合有效解决了传统确定性插补方法缺乏适应性的问题，同时也克服了主流生成方法在训练方面存在的困难。
• 我们设计了多分布对齐学习机制，该机制能够同时建模模态分布与情感语义分布。这使得重建的模态特征在保留模态特性的同时还能增强情感区分能力，从而解决了现有方法因缺乏情感信息建模而导致识别精度不足的问题。
• 我们在三个流行的数据集上，针对不同的缺失模式进行了大量实验，这些数据集包括用于情感分类的IEMOCAP和MSP-IMPROV，以及用于情感回归的CMU-MOSI。实验结果表明，LP-MDAF在模态重建质量和情感识别性能方面均优于现有方法。进一步的消融实验和可解释性分析也证明了所提出架构及分布对齐机制的有效性。

本文的其余部分结构如下：第2节回顾了多模态情感识别、缺失模态解决方案以及基于流匹配的生成模型方面的相关研究。第3节正式定义了问题，并介绍了所提出的LP-MDAF方法及其联合优化目标。第4节介绍了实验设置，包括数据集、预处理方法、评估指标、基准方法以及实现细节，随后是关于性能比较、消融实验和可视化分析的详细结果。最后，第5节对本文进行总结，并探讨了目前的局限性以及未来的研究方向。

相关研究
本节主要介绍当前多模态情感识别的研究背景、缺失模态问题的主流解决方案，以及基于流匹配生成模型的相关研究。

方法论
在本节中，我们首先介绍问题的表述方式，包括相关符号说明。然后，详细介绍所提出的LP-MDAF的工作流程及关键模块。最后，给出模型训练的联合优化目标。

实验
为验证我们所提出的LP-MDAF方法在各种缺失模态场景下的有效性和鲁棒性，我们在三个流行的数据集上进行了大量实验。其中，IEMOCAP[50]和MSP-IMPROV[51]用于情感多类分类任务，而CMU-MOSI[45]则用于情感回归和二元情感分类任务。

结论
本文提出了一种用于缺失模态场景下多模态情感识别的可学习参数引导的多分布对齐流模型（LP-MDAF）。该方法利用可学习参数实现自适应插补，再通过流匹配实现高效生成，在保持较高生成质量的同时显著降低了计算成本。此外，多分布对齐机制还保持了模态的特异性与情感语义的完整性。

CRediT作者贡献声明
范嘉豪：撰写——初稿、方法论部分。陈伟婷：撰写——审阅与编辑、指导工作。马新荣：撰写——审阅与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金（项目编号61871186）以及教育部软件/硬件协同设计技术及应用工程研究中心主任基金的支持。范嘉豪于2023年在中国地质大学（武汉）计算机科学学院获得软件工程学士学位，目前在中国华东师范大学软件工程学院攻读软件工程硕士学位。他的研究兴趣包括多模态学习与情感计算领域。