编辑推荐:
针对 ABSA 任务中有效利用句法依赖信息、建模文本序列相关信息及降噪提准的挑战,研究人员开展 BSGCN 模型研究,用 BERT 处理文本,结合自注意力与方面注意力,引入频谱层降噪。实验表明模型性能 SOTA。
在自然语言处理领域,情感分析始终是备受关注的热点方向,而方面级情感分析(Aspect-based Sentiment Analysis, ABSA)更是能深入挖掘文本中针对特定方面的细粒度情感,对于理解用户观点、产品评价等场景至关重要。然而,当前研究面临着多重挑战:如何有效利用句法依赖信息来构建文本中不同情感元素的关联,如何在建模文本序列时平衡全局语义与局部特征的捕捉,以及如何减少数据处理过程中产生的噪声以提升预测准确性。传统方法中,注意力机制容易受无关词汇和噪声干扰,基于图卷积网络(Graph Convolutional Network, GCN)的模型又常因平等对待相邻节点而忽略关键信息差异,多层 GCN 还可能引入更多噪声,这些问题都制约着 ABSA 任务的性能提升。
为解决上述难题,国内研究人员开展了相关研究。他们提出了一种融合预训练模型与图卷积技术的新方法,相关成果发表在《Engineering Applications of Artificial Intelligence》。
研究人员采用的主要关键技术方法包括:
- 利用预训练大模型 BERT(Bidirectional Encoder Representations from Transformers)对句子上下文进行编码,提取全局语义特征;
- 设计针对方面术语的注意力机制(Aspect-Attention),结合自注意力(Self-Attention)建模方面术语与上下文的语义关联;
- 构建句法掩码矩阵(Syntax-Mask Matrix),融合句法依赖信息以优化 GCN 的信息传播;
- 引入基于快速傅里叶变换(Fast Fourier Transform, FFT)的频谱层(Spectral Layer),在频域对数据进行降噪处理。
实验结果
模型架构有效性验证
通过在基准数据集(如 SemEval 2014 的 Restaurant 和 Laptop 评论数据、Twitter 帖子)及大规模扩展数据集上的实验表明,所提出的 BSGCN(BERT-Spectral Graph Convolutional Network)模型在情感极性预测任务中达到了 state-of-the-art(SOTA)性能。模型通过 BERT 编码层获取文本的全局特征,结合自注意力与方面注意力机制,有效捕捉了方面术语与观点词之间的语义关联。
频谱层降噪效果
消融实验显示,当频谱层数量设为 1 时,模型准确率显著提升,而超过 1 层则会导致性能下降,验证了频域降噪方法的有效性。频谱层通过 FFT 将数据映射到频域,过滤高频噪声后再映射回原空间,显著提升了特征质量。
句法依赖信息的作用
句法掩码矩阵与 GCN 邻接矩阵的结合,增强了模型对句法结构中依赖关系(如 nsubj、acomp 等)的利用,使模型能够更准确地识别方面术语与观点词的语法关联,从而提升细粒度情感分析的精度。
研究结论与意义
该研究提出的 BSGCN 模型通过多模块协同,有效整合了句法依赖信息与预训练模型的语义表征能力,同时利用频域降噪技术解决了传统 GCN 在信息传播中的噪声问题。实验结果表明,模型在复杂文本数据中捕捉细微情感的能力显著提升,为电商评论分析、社交媒体舆情监控等实际应用提供了更可靠的技术支持。其创新点在于将频谱分析引入情感分析领域,为后续基于图神经网络的自然语言处理任务提供了新的降噪思路,同时也证明了预训练模型与结构信息融合在细粒度情感分析中的巨大潜力。这一成果不仅推动了 ABSA 领域的技术进步,也为跨学科研究(如计算语言学与信号处理的结合)提供了范例,具有重要的理论意义与工程应用价值。