用于句子级情感分析的模糊混合神经网络

《Fuzzy Sets and Systems》：Fuzzy Hybrid Neural Network for Sentence-level Sentiment Analysis

　　摘要：句子级情感分析旨在确定句子中的情感极性。为提升SLSA方法的性能，人们提出了多种方法，其中基于神经网络的方法取得了良好效果。但实际上，许多评论存在歧义，会影响SLSA的性能，而且大多数基于神经网络的SLSA方法无法有效捕捉序列文本中的模糊局部及长期依赖特征。为解决这一问题，我们提出了一种新的模糊混合神经网络模型FLeCL，该模型将模糊隶属函数整合到包括卷积神经元和循环神经元在内的神经层中，以此降低句子表示中的情感歧义，并突出局部与长期依赖特征。这有助于更高效地提取句子中的高级情感特征，进而提升SLSA的性能。在七个基准数据集上的实验结果表明，FLeCL相比现有最先进方法，可使SLSA性能提升至少2.65%，最高可达11.42%。

引言：句子级情感分析是用于识别句子情感极性的主要方法。主观的SLSA实际上是对句子观点的判断。通过捕捉用户情绪，SLSA在推荐系统、群体行为分析[1]、决策系统[2]以及假新闻检测等各种实际应用中发挥着越来越重要的作用。因此，提升SLSA方法的性能至关重要。为构建和改进SLSA方法，人们提出了多种途径，如词典法、机器学习、深度学习、图卷积网络以及混合方法，其中基于深度学习的模型，尤其是神经网络，最为流行且前景广阔。深度神经网络由多个相互连接的层构成，层数越多，架构就越深。在每一层中，节点与相邻层的节点相连，从而实现分层特征学习。深度神经网络具有多项优势：其一，它能自动从训练数据中学习并提取具有代表性的特征；其二，它在处理文本、图像等非结构化数据时表现优异；其三，它可通过并行计算高效处理复杂任务。在深度学习模型中，卷积神经网络和长短期记忆网络被广泛用于SLSA领域。卷积神经网络的优势在于训练相对简单，且所需参数比许多其他神经架构更少。虽然最初是为计算机视觉任务开发的，但卷积神经网络近来也被成功应用于文本分类任务。Ronan Collobert和Jason Weston[3]是最早将卷积神经网络应用于句子建模的研究人员之一，而Yoon Kim[4]的工作则极大地推动了卷积神经网络在自然语言处理领域的应用。卷积神经网络尤其擅长捕捉输入文本中的局部上下文特征。相比之下，长短期记忆网络则是为处理序列数据而设计的。通过保持记忆状态，长短期记忆网络能够捕捉序列中的长期依赖关系，因此非常适合用于文本分类和情感分析等任务。因此，卷积神经网络和长短期记忆网络都被广泛应用于SLSA领域，并取得了不错的效果[5]、[6]、[7]、[8]、[9]、[10]。然而，仅基于单一神经架构的模型往往难以完全捕捉语境化的语义信息。卷积神经网络擅长学习局部特征，而长短期记忆网络则更适用于建模序列依赖关系。为发挥两种架构的优势，人们提出了混合卷积神经网络-长短期记忆网络模型[9]、[11]、[12]、[13]、[14]、[15]。尽管有了这些进展，许多文本表达仍存在较高的情感歧义。例如：(i)夏天看日出很棒；(ii)冬天适合滑雪；(iii)秋天不太适合登山。第三句由于否定词与情感修饰词的共同作用而表达了模糊的情感。在情感分析中，明确的情感词汇可以直接表明情感极性，如“好”“坏”“极好”等。否定词可以改变情感极性，而模糊的语义词汇则能调节情感强度。具体而言，强化词（如“太”“非常”“过于”）会增强情感强度，而弱化词（如“相当”“稍微”“略微”）则会降低情感强度。Phan等人[16]将包含模糊情感的文本定义为那些没有直接表达情感，而是含有模糊情感短语的文本。这类短语通常至少包含一个明确的情感词汇，再加上模糊的语义词汇或否定结构。传统的深度神经网络往往难以有效建模这些固有的歧义。相比之下，模糊逻辑为表示不确定性及模糊语义信息提供了更为灵活的机制[17]。已有若干基于模糊逻辑的SLSA方法被提出，如相关研究[16]、[18]、[19]、[20]、[21]、[22]，其准确率较为令人满意。Zhao等人[23]提出了一种三层结构的情感传播模型，用于训练文本的模糊情感隶属度。该方法将模糊隶属函数整合到了支持向量机中，虽然实现了研究目标，但未能很好地捕捉局部上下文和长期依赖关系。Zhou等人[21]提出了一种基于深度信念网络算法和模糊集的新型模糊深度信念网络。该方法能为每种分类构建合适的模糊集，并基于模糊信息训练深度架构，以提高半监督情感分类的区分能力，但它并未通过结合卷积神经网络和双向长短期记忆网络来提取局部与长期依赖特征。Nguyen等人[19]、[20]分别提出了两种将模糊逻辑整合到改进后的卷积神经网络中用于SLSA分析[19]以及多模态情感分析[20]的方法。在论文[19]中，作者通过将模糊隶属函数整合到卷积神经网络中提出了SLSA方法；而在论文[20]中，他们则对论文[19]中的全连接卷积神经网络模型进行了改进，用于分析多模态情感。尽管这些方法解决了情感语境中的歧义问题，但它们仅捕捉到了模糊的局部上下文，未能捕捉模糊的长期依赖关系。Phan等人[16]给出了模糊情感短语的定义，并提出了一种基于计算句子情感分数并利用卷积神经网络模型学习情感分数计算方法的ALSASA方法。该方法同样只考虑了局部特征。Chaturvedi等人[18]通过结合模糊逻辑和深度卷积神经网络模型，提出了多模态情感分析方法，用于预测情感空间中的情感强度。该方法能更好地捕捉局部特征并处理模糊情感，但未考虑长期依赖特征的作用。在论文[22]中，作者通过将模糊逻辑整合到图卷积网络中，提出了FGCN模型，用以捕捉多种特征。尽管该模型提升了SLSA方法的性能，但它忽略了长期依赖特征的作用。综上所述，尽管之前的方法[16]、[18]、[19]、[20]、[21]、[22]解决了纯模糊逻辑方法的缺陷，但卷积神经网络在特征提取与表示方面仍存在局限。尽管现代机器学习方法，如卷积神经网络、长短期记忆网络和变换器，在情感分析领域取得了显著成就，但由于它们通常会将提取的特征映射为离散标签，因此在处理含歧义的语言时仍存在局限。为克服这一问题，我们提出了一种混合模糊-神经网络架构，该架构整合了卷积神经网络的局部特征提取能力、双向长短期记忆网络捕捉长期依赖关系的优势，以及模糊逻辑在建模不同情感强度方面的灵活性。这种整合不仅提升了分类性能，还增强了可解释性，从而相较于现有方法，形成了更为透明且适应性更强的情感分析框架。从上述分析中可得出几点结论：(i)模糊逻辑已成功与包括深度学习和图卷积网络在内的神经网络模型相结合；(ii)将模糊逻辑与神经网络相结合的方法，显著提升了传统SLSA方法，如卷积神经网络和图卷积网络，在不同类型数据上的性能；(iii)神经网络的深度对SLSA方法的性能有着重要影响。然而，以往将模糊逻辑与神经网络结合的方法，由于网络深度和表征能力的限制，并未完全达到预期效果。通过分析以往的研究可以发现，许多研究者试图通过将深度学习技术与模糊逻辑相结合来提升SLSA方法的性能。现有的用于建模非线性与不确定性的方法，包括深度神经网络、高斯过程、基于图的模型以及集成方法，都在各自领域展现了出色的性能。但它们在有效处理语言歧义方面仍存在局限。特别是深度学习模型需要大规模的带标签数据集，高斯过程存在可扩展性限制，基于图的模型严重依赖预定义的结构，而集成方法主要提升的是预测的稳定性而非可解释性。为解决这些局限，所提出的FLeCL框架整合了两个关键组成部分：(i)预训练语言模型的表征能力；(ii)模糊推理所提供的不确定性建模与可解释性功能。因此，FLeCL非常适合处理具有歧义性且需要可解释性的任务，比如情感分析。FLeCL并非要取代现有方法，而是作为一种补充框架，能够在高度不确定的环境中提升方法的可解释性与稳健性。FLeCL的具体流程如下：首先，使用预训练的BERT[24]将句子表示为向量空间中的向量。BERT的优势在于它在编码器和解码器中都设置了注意力机制，能够一次性将句子中的所有单词作为输入[25]，这与其他一次仅处理一个单词的嵌入模型有明显区别，因此BERT能够较好地捕捉句子中单词之间的上下文关系。其次，使用模糊隶属函数对句子的向量表示进行模糊化处理。第三，将经过模糊化处理的向量输入到卷积神经网络层中，以提取具有上下文信息的特征。第四，对带有上下文信息的特征进行去模糊化处理，从而得到包含明确数值的最终表示。最后，利用这些最终表示来判定句子的情感极性。本研究的核心创新点在于：(i)结合卷积神经网络和双向长短期记忆网络，全面捕捉文本中的局部上下文及长期依赖特征；(ii)将模糊逻辑整合到结合了卷积神经网络和长短期记忆网络的模型中的神经元中，以便捕捉模糊的局部上下文及长期依赖特征。本研究的主要贡献总结如下：•FLeCL1通过掩码式模糊情感词检测来加强模糊情感短语的预训练，这一方法效率更高，且更适用于包含较多模糊情感短语的数据集；•FLeCL将模糊逻辑与两种不同的深度学习模型相结合，这是以往研究未曾考虑过的，该方法既发挥了模糊逻辑捕捉不确定情感信息的能力，又利用了深度学习模型捕捉上下文特征的优势；•我们在句子级情感分类任务上进行了大量实验，结果表明FLeCL在多个基准数据集上取得了新的最先进性能。本文的其余部分结构如下：第2节将对近期出现的各类SLSA方法进行综述与评估；第3节简述需要解决的研究问题；第4节介绍所提出的方法；第5节阐述与该方法相关的实验问题，并对实验结果进行比较与评估；第6节总结本研究的贡献、优势、不足以及未来研究方向。FLeCL的核心在于充分利用CNN在局部上下文方面的特征提取能力、LSTM处理长期依赖关系的学习能力，以及模糊逻辑降低情感歧义性的优势。给定一组包含n个句子的集合S={sk|k∈[1,n]}，FLeCL模型的目标是将CNN和LSTM模型结合起来，并通过运用模糊及去模糊隶属度函数来进一步提升该组合的性能，从而改善SLSA方法的性能。FLeCL模型包含以下主要层次：（i）BERT层利用预训练的BERT模型将句子转换为带有上下文信息的特征矩阵；（ii）CNN层借助卷积神经网络模型提取并构建特征矩阵；（iii）LSTM层则用于提取具有上下文意义的特征。

FLeCL模型在八个数据集上进行了实验，这些数据集包括四种二元标签类型和四种多元标签类型的数据集：MR [44]、SST5 [45]、SST2 [45]、M2SA [22]、Twitter1、Twitter2、IMDB [46]、Semeval [47]。表2列出了这些数据集的名称、主题、样本数量、标签数量以及训练/验证/测试样本的比例等统计信息。此外，还会去除数据集中无关的元素，如标点符号、话题标签、网址、特殊符号以及查询语句等。

本研究旨在提出一种全新的FLeCL模型，通过结合混合型的CNN-LSTM结构与模糊逻辑，提升SLSA算法的效率。FLeCL模型的实现流程如下：首先，利用预训练的BERT模型将句子表示为向量空间中的向量；其次，通过模糊隶属度函数对这些句子表示进行模糊化处理；接着，将经过模糊化处理的表示输入到卷积神经网络层中，以提取具有上下文意义的特征；最后，对这些具有上下文意义的特征进行进一步处理。

本研究的开展未获得任何资金支持。

表8和表9未在文中引用。

作者贡献说明：
Huyen Trang Phan：负责原文撰写——初稿撰写、资源收集、方法设计、数据整理、概念构思。
Ngoc Thanh Nguyen：负责原文撰写——初稿撰写、研究指导、方法设计、概念构思。
Dosam Hwang：负责方法设计、数据整理工作。
Yeong-Seok Seo：负责原文撰写——初稿撰写、资源收集、数据整理工作。

利益冲突声明：
作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Huyen Trang Phan | Ngoc Thanh Nguyen | Dosam Hwang | Yeong-Seok Seo
越南胡志明市Thu Duc区Vo Van Ngan路，胡志明科技大学信息技术学院，邮编700000