基于预训练与在线学习的不确定模态缺失个性化多模态情感分析模型研究

这篇研究提出了一种名为PMSAPO的新型多模态情感分析（MSA）模型，通过预训练（Pretraining）和在线学习（Online Learning）技术解决个性化用户场景下不确定模态缺失（如视觉或音频数据丢失）的挑战。模型创新性地结合全连接神经网络评估模块（FCNN）和联合特征优化模块，并引入元学习（Meta-Learning）、自适应学习率调整等策略，在IEMOCAP等公开数据集上显著优于12种基线模型，为智能医疗（Healthcare）和人机交互（HCI）提供了更灵活的分析工具。

　　

亮点

本研究首次提出将预训练与在线学习结合解决个性化多模态情感分析（MSA）中的模态缺失问题，通过动态权重分配和特征复用技术显著提升模型鲁棒性。

相关研究

我们梳理了针对不确定模态缺失的MSA代表性工作，包括基于图卷积网络（GCNN）和Transformer的模型，但现有方法缺乏对个性化场景的适应性。

预训练模型PMSAP

模型通过多头注意力编码缺失模态（文本/视觉/音频），利用自注意力模块生成联合特征，并采用FCNN评估模块为各模态分配质量权重，最终通过加权融合优化分类效果。

个性化在线学习

通过以下技术使预训练模型自主适应用户：

1. 1.

   在线元学习：内外循环结构快速捕获用户特征；

2. 2.

   学习率自适应：根据数据量动态调整；

3. 3.

   样本动态加权：平衡新旧样本，避免灾难性遗忘（Catastrophic Forgetting）。

实验验证

在IEMOCAP、MELD和CMU-MOSI数据集上，PMSAPO的F1值较基线模型最高提升23.7%，尤其在模态随机缺失50%时仍保持82.4%准确率。

结论

该模型突破了传统MSA在个性化场景和模态缺失下的局限性，为情感计算（Affective Computing）在智慧教育（Smart Education）等领域的应用提供了新范式。

作者贡献声明

孙鸿翔：方法论与实验；刘志中：概念设计与论文撰写；褚佃晖：理论指导；盛权Z.：数据分析；刘昭伟与余剑：论文修订。

利益冲突声明

作者声明无潜在利益冲突。

致谢

感谢中国国家自然科学基金（62273290、61872126）、山东省泰山学者计划及澳大利亚ARC基金（FT140101247、DP200102298）的支持。