《Machine Learning and Knowledge Extraction》:Context-Aware Emotion Gating and Modulation for Fine-Grained Sentiment Classification
编辑推荐:
本文提出一种情感感知双向门控网络(Electra-BiG-Emo),通过双向长短期记忆网络(BiLSTM)提取上下文特征,结合外部情感信号(如Reddit数据集)动态调制情感权重。该方法采用非对称温度控制门控机制,有效区分短文本中的细微情感极性(如“正面”到“更正面”),在SemEval 2017 Task 4C、Twitter航空数据集和SST-5上均优于现有模型,尤其擅长语义稀疏文本的情感强度判别。
研究背景与挑战
细粒度情感分类需要区分情感强度的细微差异,例如“轻度正面”与“强烈正面”、“负面”与“强烈负面”,或明确中性表达与带有极性的陈述。这一任务在短文本(如社交媒体帖子)中尤为困难,因为上下文信息有限,情感线索稀疏且模糊。尽管现有研究结合了深度语义编码(如BERT、RoBERTa)与上下文感知架构(如BiLSTM、CNN),但多数模型仍难以捕捉微妙的情感信号,尤其在情感类别边界模糊或数据稀疏的场景下表现不佳。
核心方法:Electra-BiG-Emo模型
本研究提出一种情感感知双向门控网络(Electra-BiG-Emo),其核心创新在于通过双向门控机制动态融合上下文语义与外部情感特征。模型结构包含以下关键模块:
- 1.
上下文编码:使用ELECTRAbase模型生成词嵌入,输入双向LSTM(BiLSTM)提取序列的前向(早期上下文)与后向(晚期上下文)隐藏状态。
- 2.
情感特征提取:基于GoEmotions数据集微调ELECTRA模型,生成情感概率分布(如愤怒、喜悦、中性),作为辅助情感信号。
- 3.
非对称门控调制:
- •
前向门控(gf)基于BiLSTM的早期隐藏状态,使用较高温度参数(τ=1.5)实现较平滑的情感加权,避免过早过度置信。
- •
后向门控(gb)依赖晚期上下文,采用较低温度(τ=0.7)增强对尾部情感信号的选择性放大或抑制。
- •
门控输出与情感特征逐元素相乘,生成经上下文调制的情绪表示(êf和 êb)。
- 4.
特征融合与分类:将前向/后向上下文嵌入与门控情感特征拼接,通过全连接层和Softmax输出细粒度情感概率。
实验设计与结果分析
数据集与评估指标
实验在三个公开数据集上进行:
- •
SST-5:电影评论数据集,包含5类情感标签(非常负面至非常正面)。
- •
SemEval 2017 Task 4C:推特数据,标注5级情感极性(-2至+2)。
- •
Twitter航空数据集:用户对航空公司的推文,包含3类情感(正面、负面、中性)。
评估指标包括准确率、精确率、召回率、F1分数和平均绝对误差(MAE)。
消融实验与性能对比
- •
基础模型对比:ELECTRA单独作为编码器时表现最优(SST-5上F1=0.56),添加BiLSTM或情感特征均导致性能下降,表明ELECTRA本身具有较强的上下文捕捉能力。
- •
门控机制有效性:双向门控(Electra-BiG-Emo)在SemEval上F1达0.67,较无门控的简单拼接模型(F1=0.53)提升14%,证明动态情感调制能显著平衡精确率与召回率。
- •
多源情感融合:使用GoEmotions情感特征时模型性能最优(SST-5上F1=0.593),优于SemEval原生情感标签(F1=0.576),说明跨领域情感知识迁移可增强泛化能力。
- •
与SOTA模型对比:Electra-BiG-Emo在Twitter数据集上准确率达88%,超过FastText-CNN(81%)、RoBERTa-LSTM(86%)等模型,尤其在混淆度高的类别(如“中性”与“弱负面”)中区分能力更优。
模型可解释性分析
- 1.
特征重要性:
- •
在SST-5数据集中,后向门控情感特征对极端情感(如“更负面”“更正面”)贡献最高(重要性得分>0.8),而前向门控更适用于普通正面/负面分类。
- •
SemEval数据集中,负面情感依赖前向门控的愤怒信号,正面情感则依赖后向门控的喜悦信号。
- 2.
混淆矩阵分析:Electra-BiG-Emo在SemEval的“中性”类别中误判率较BERT降低23%,表明情感门控有效抑制了上下文模糊导致的情感偏差。
- 3.
案例研究:例如推文“航班延误了,但空乘态度很好”中,前向门控放大“延误”相关的愤怒信号,后向门控强化“态度好”的喜悦信号,模型最终正确分类为“弱正面”。
讨论与展望
本研究通过情感感知门控机制,将显式情感建模嵌入细粒度情感分类流程,解决了短文本中情感信号稀疏与极性模糊的挑战。未来工作可探索以下方向:
- •
引入领域自适应的情感迁移学习,结合心理健康等场景的心理状态指标。
- •
扩展门控机制至多模态数据(如文本-图像融合),进一步提升对复杂情感表达的解析能力。