基于依赖关系的图变换器与分层语法编码在方面级情感分类中的应用

《Expert Systems with Applications》:Dependency-Aware Graph Transformer with Hierarchical Syntax Encoding for Aspect-Level Sentiment Classification

【字体: 大 中 小 】 时间:2026年05月03日 来源:Expert Systems with Applications 7.5

编辑推荐:

  刘少坤|Mieradilijiang Maimaiti|Nurmemet Yolwas|Nilufar Abdurakhmonova|吴乐|谢卓菲|陈家伟|Wushour Silamu新疆大学计算机科学与技术学院,中国新疆乌鲁木齐水磨沟区华瑞街777号,830017摘要方面级情感

  
刘少坤|Mieradilijiang Maimaiti|Nurmemet Yolwas|Nilufar Abdurakhmonova|吴乐|谢卓菲|陈家伟|Wushour Silamu
新疆大学计算机科学与技术学院,中国新疆乌鲁木齐水磨沟区华瑞街777号,830017

摘要

方面级情感分类(ALSC)旨在识别文本内容中特定方面的情绪极性。尽管利用依存句法树的图神经网络(GNNs)在ALSC任务中表现出强大的性能,但现有方法通常难以区分不同依存关系的意义,并且未能充分捕捉语义交互,从而限制了它们检测隐含情绪的能力。为了解决这些挑战,我们引入了双阶段依赖增强图变换器(DSDGT),这是一种结合了Transformer和图卷积网络(GCN)模块的序列架构,并增强了依存机制。Transformer组件用于捕获全局信息,而GCN模型则用于处理局部依存结构。采用了两阶段特征处理策略来融合原始和增强的依存特征。在多个基准数据集上的实验结果表明,DSDGT在准确率和宏观F1分数方面优于现有方法,验证了其优越的性能。

引言

情感分析(SA)是自然语言处理(NLP)中的一个基本任务(Khurana, Koli, Khatter, Singh, 2023; Zhang, Li, Deng, Bing, Lam, 2023),其目的是识别文本中表达的观点和情感。虽然传统的SA方法主要确定文档或句子的整体情感,但用户生成的内容(如评论、推文和论坛讨论)通常涉及多个方面,每个方面都带有不同的极性。这激发了方面级情感分类(ALSC)的需求,这是一种细粒度的任务,用于识别给定文本中特定方面的情绪极性(正面、中性或负面)(Nazir, Rao, Wu, Sun, 2020; Tang, Qin, Liu, 2015)。
深度学习的最新进展极大地提高了ALSC的性能(Liu, Chatterjee, Zhou, Lu, Abusorrah, 2020; Trisna, Jie, 2022; Wang, Xu, Zu, 2021)。特别是图神经网络(GNNs)通过利用句法依存树来捕获非顺序的词关系,这对于具有长距离依存的句子至关重要。例如,在句子“The food was good, the place was clean and affordable”中,依存图明确地连接了语义相关的术语,从而增强了上下文表示(见图1)。
尽管取得了这些成功,现有的基于GNN的方法仍存在局限性。许多方法将所有依存关系视为同等重要,忽略了关系类型之间的差异。此外,语义信息经常被低估,这阻碍了对隐含情绪和复杂语言模式的建模。因此,这些方法可能难以捕捉方面和观点词之间的细微联系,尤其是在具有多种或隐含情绪的句子中。
最近的混合模型尝试使用并行或交错架构结合GNNs和Transformer。然而,这些设计在融合之前独立处理句法和语义特征,这阻止了模型在早期阶段利用全局信息来过滤句法噪声,可能导致特征冲突或噪声放大。为了解决这一限制,我们提出了一种串行的、逐步细化的策略。受到“从粗到细”认知过程的启发,我们认为必须首先建立稳健的全局语义基础,以有效地指导后续的局部句法过滤。基于这一理论动机,我们引入了双阶段依赖增强图变换器。
本工作的主要贡献总结如下:
  • •
    我们提出了一种串行架构,通过结合Transformer和增强的GCN模块有效地融合了句法和语义信息,用于方面级情感分类(ALSC)。
  • •
    设计了一种依赖关系增强机制,以细化依赖权重,从而提高模型捕获关键关系信息的能力。
  • •
    在多个公共数据集上的广泛实验表明,我们的方法始终优于现有的主流基线模型。
  • 章节摘录

    相关工作

    特征工程。 ALSC是一项细粒度的情感分类任务,多年来经历了显著的演变(Zhang et al., 2023)。早期的方法主要基于传统的机器学习技术,如使用词袋表示和情感词典的特征工程(D’Aniello, Gaeta, & La Rocca, 2022)。然而,这些方法受到手工特征和较差泛化能力的限制。随后,深度学习技术

    方法

    在本节中,我们详细描述了我们提出的方法,整体架构如图3所示。

    设置

    数据准备 我们在五个广泛使用的方面级情感分类(ALSC)基准数据集上进行了实验,包括SemEval 2014任务4中的餐厅(即Rest14和Laptop(即Lap14)(Pontiki et al., 2014)、Twitter(Dong et al., 2014),以及SemEval 2015和2016中的Rest15和Rest16(Pontiki, Galanis, Papageorgiou, Androutsopoulos, Manandhar, Al-Smadi, Al-Ayyoub, Zhao, Qin, De Clercq, et al., 2016; Pontiki, Galanis, Papageorgiou, Manandhar, Androutsopoulos, 2015)

    结论

    在本文中,我们提出了一种新的方面级情感分类框架。通过将GCNs和Transformer结合在一个串行架构中,并采用双阶段特征处理策略和增强的依赖机制,我们的模型有效地捕获了句法和语义信息。在基准数据集上的全面实验表明,与现有方法相比,我们的模型在准确率和宏观F1分数方面始终表现出优越性。消融研究进一步

    CRediT作者贡献声明

    刘少坤:概念化、方法论、软件、验证、形式分析、数据管理、调查、撰写——原始草稿、可视化。Mieradilijiang Maimaiti:方法论、监督、撰写——审阅与编辑、项目管理、资金获取。Nurmemet Yolwas:项目管理。Nilufar Abdurakhmonova:资源。吴乐:资源。谢卓菲:资源。陈家伟:资源。Wushour Silamu:资源、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号