基于社交链接与标签语义引导的多模态情感分析模型LSGSL研究

【编辑推荐】本文提出创新性多模态情感分析框架LSGSL（Label Semantic Guidance under Social Links），突破性地将社交链接图谱（Social Links）与情感标签语义嵌入相结合，通过多任务学习（图像-文本对比损失/语义相似度损失/分类损失三重优化）实现跨模态情感推理，在三个基准数据集上显著超越现有SOTA方法。

　　

Highlight亮点聚焦

• 社交链接情感推理建模：基于多模态属性构建社交链接网络，通过异构图结构捕捉社交关系对情感极性的影响机制

• 情感标签语义引导：将传统分类标签转化为语义嵌入向量（Semantic Embeddings），指导视觉-文本-社交特征的联合学习

• 基准验证性能突破：在三大基准数据集上的实验表明，LSGSL模型 consistently（持续稳定地）超越现有最先进方法

Related Work研究背景

随着社交媒体平台中图像-文本等多模态数据爆炸式增长，整合异质数据源进行情感分析成为关键挑战。传统单模态方法（如纯文本分析）常忽略其他模态的丰富情感线索，而现有多模态方法在社交链接建模和标签语义利用方面存在明显不足。

Problem Statement科学问题

给定用户分享的图文对及其社交属性构建的链接网络，LSGSL框架（如图2所示）通过对比学习获取图文嵌入特征，构建社交链接图谱进行跨模态情感推理，并利用标签语义嵌入指导节点表征学习，最终通过多任务学习实现端到端优化。

Experiments实验验证

通过精细设计的对照实验表明：在Twitter-2015/2017和MMSD数据集上，LSGSL的F1-score较基线模型提升3.2-5.8%，特别在社交密集场景下准确率提升达7.1%，证实了社交链接推理和标签语义引导的双重有效性。

Conclusion结论启示

LSGSL框架通过将社交链接图谱与标签语义引导相结合，为多模态情感分析提供了新范式。未来可扩展至医疗舆情监测（如疫苗情绪追踪）和心理健康评估（如抑郁倾向多模态识别）等生命健康领域。