SAG:一种基于会话增强和异构图的命名实体识别模型,用于查询场景

《COMPUTERS IN INDUSTRY》:SAG: A Session-Augmented Heterogeneous Graph-based model for Named Entity Recognition in query

【字体: 大 中 小 】 时间:2026年04月27日 来源:COMPUTERS IN INDUSTRY 9.1

编辑推荐:

  针对短查询场景命名实体识别(NERQ)中上下文不足和标注数据稀缺的问题,提出会话增强异构图(SAG)模型。通过构建会话与词级别的异构图结构,利用图注意力网络捕获多粒度交互信息,结合二分类模型优化实体抽取效果,在旅游电商领域自建CTQ数据集及公开数据集上验证,显著优于现有方法。

  
赵培文|冯崇|李云涛|董冠廷|王思瑞|蔡勋亮
北京工业大学,中国北京市中关村南大街5号,100081

摘要

在搜索查询中,命名实体识别(NER)对于各种Web应用来说是不可或缺的,因为它能够更精确地识别用户意图,并促进推荐系统的改进。然而,由于上下文有限以及标记数据的稀疏性,理解这些简短且非正式的文本仍然具有挑战性,而这正是传统NER方法的关键瓶颈。为了解决这些挑战,我们提出了一种基于会话增强异构图(SAG)的NER模型。在现实场景中,会话很容易获取,并包含对文本理解有价值的 information。我们的方法利用会话信息构建了一个异构图,明确地模拟了会话数据的层次结构。这种设计捕捉了不同粒度的交互关系,并整合了多层次的信息以增强实体识别能力。实验结果表明,我们的方法在多个具有挑战性的基准测试中优于现有的方法,同时提供了一种实用的解决方案,实现了精确的实体提取,从而提高了个性化推荐的质量并改善了用户体验。

引言

随着Web应用的快速发展,搜索引擎和推荐系统在日常生活中变得不可或缺,它们支持的任务范围从信息检索到电子商务和个性化内容交付(Croft等人,2009年;Covington等人,2016年)。这些系统的基本要求是准确识别用户意图,因为这有助于更精确地理解查询并推动有效的推荐策略(Wang等人,2019年)。命名实体识别(NER)通过定位文本片段并将其分类为特定实体类型而成为关键的支持技术,这一技术被广泛应用于许多下游应用中,如实体链接(Le和Titov,2018年)和机器翻译(Ugawa等人,2018年)。在现实场景中,查询语句的数量不断增加。鉴于此,本文重点关注查询中的NER(NERQ)任务,该任务最初由Guo等人(2009年)提出。
NERQ旨在从短文本中提取实体,近年来受到了越来越多的关注。传统方法(Collobert等人,2011年;Straková等人,2019年)由于数据稀疏问题和缺失的短查询上下文,在NERQ任务上表现不佳,使得模型难以学习到足够的特征。一些方法(Peng和Dredze,2015年;Aguilar等人,2017年;Nie等人,2020年)专注于使用复杂的模型结构来丰富输入文本表示。尽管这些方法简单直观,但它们需要额外的努力来获取额外信息(例如同义词),并且不可避免地会受到噪声信息的影响。Zhang等人(2022年)通过从特定领域数据库中检索相关文本来增强NER模型。然而,这种方法需要能够提供背景知识的相关样本,并且忽略了对于查询理解至关重要的层次化文本结构。
值得注意的是,在搜索场景中,可以通过cookie和日志以较低的成本轻松获取会话信息。如图1所示,“青海湖鸟岛”被错误地识别为“非实体”,但借助会话信息,模型可以预测“青海湖”和“鸟岛”为“旅行核心”。因此,我们需要捕捉会话中的搜索相关性,以丰富上下文,从而进一步提高Web搜索应用的查询理解准确性。
因此,在本文中,我们提出了一种基于会话增强异构图(SAG)的模型来增强NER。具体来说,我们构建了一个异构图,明确地模拟了会话和令牌两个粒度上的层次关系。建立会话级别的交互有助于捕捉搜索相关性,并缓解来自不同会话的令牌之间的长距离依赖问题。在实践中,我们使用图注意力网络(Veli?kovi?等人,2017年)来捕获更高层次和更具信息量的令牌表示,这些表示包含了来自邻近节点的信息。最后,进一步应用了双线性模型(Yu等人,2020年)为每个候选片段分配分数,并选择得分最高的分类作为最终结果。我们基于真实世界的在线场景构建了一个查询数据集——中国旅游查询(CTQ)。我们的方法在CTQ和公共数据集上都表现出显著的优越性,达到了最先进的性能。
我们的贡献有三个方面:(1)据我们所知,这是首次尝试将会话方法应用于NERQ,利用搜索相关性来更好地理解短查询文本。(2)我们提出了一个旅游电子商务领域的中文查询数据集,其中每个数据实例代表用户一段时间内的会话。(3)我们引入了一种新颖的方法SAG,以更好地模拟会话数据在多个粒度上的层次关系。实验结果表明,我们的方法显著优于现有方法,证明了该方法在NERQ任务上的有效性。

部分摘录

社交媒体上的NER

NER旨在识别文本中的连续片段并将它们分配到预定义的类别中(Sang和De Meulder,2003年;Wadden等人,2019年;Zhao等人,2025年)。传统的NER方法可以大致分为基于标记的方法(Ma和Hovy,2016年;Chiu和Nichols,2016年;Shahinmoghadam等人,2024年)和基于片段的方法(Sohrab和Miwa,2018年;Fu等人,2021年),这些方法已广泛应用于各种现实场景。然而,它们很少应用于来自多个领域的文本

研究目标

大多数现有的NER方法在实际的社交媒体场景中表现不佳,这是由于缺乏上下文、训练数据有限以及用户生成文本的噪声性质。本研究旨在设计一种有效的方法,利用训练数据作为外部背景信息,帮助模型识别正确的实体。具体来说,我们使用异构图来明确模拟数据在会话和令牌粒度上的层次结构。

整体架构

在本文中,我们介绍了基于异构图神经网络的NERQ新方法SAG,该方法充分利用了相关的会话信息。整体架构如图2所示。我们首先简要描述了NERQ问题的定义,然后介绍了所提出的CTQ数据集。接下来,我们设计了两种会话选择算法,从各种会话中提取相关会话,从而减轻噪声数据的影响。

数据集和指标

我们的方法在CTQ数据集以及两个公开可用的数据集E-commerce(Ding等人,2019年)和WNUT17(Derczynski等人,2017年)上进行了评估,这两个数据集旨在评估模型检测新出现的命名实体的能力。具体来说,E-commerce数据集用产品和品牌名称作为实体类型进行了注释。在电子商务领域,这是一个具有挑战性的数据集,因为该领域的独特实体数量可以迅速增长到数千万个,从这些数据中学习

讨论

在这项研究中,我们进行了广泛的实验来验证我们方法在NERQ上的有效性。主要实验和消融研究的结果表明,将会话数据作为查询上下文可以有效弥补查询中背景信息的缺失。此外,设计一个异构图来捕捉搜索相关性进一步增强了模型的预测能力。可视化显示,应用我们的方法后,实体的表示

结论

在本文中,我们专注于NERQ任务,这是理解众多Web应用中用户意图的基础。我们提出了SAG模型,该模型构建了一个会话增强的异构图,以捕捉令牌级别和会话级别的交互,从而解决了短查询的歧义性和上下文有限的问题。我们的方法在NERQ任务上达到了最先进的性能。更准确的实体提取为下游任务提供了更坚实的基础,例如

CRediT作者贡献声明

赵培文:撰写——原始草稿、方法论、调查、形式分析、概念化。冯崇:撰写——审阅与编辑、监督。李云涛:撰写——审阅与编辑、撰写——原始草稿、监督、方法论。董冠廷:撰写——审阅与编辑、监督、形式分析。王思瑞:监督、资源、概念化。蔡勋亮:监督、资源、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号