用于实体标记与定位的区域表示方法

《Information Fusion》：A Region Representation for Entity Tagging and Locating

　　胡颖|陈艳平|文欣|徐勇•实体被表示为与句子结构对齐的2D语义区域。•命名实体识别被视为区域分类和边界细化两个子任务。•融合实体区域内的语义特征可以提高分类精度。引言命名实体识别（NER）是自然语言处理（NLP）中的基础任务，其目标是识别句子中与预定义对象（如人物、地点或组织）相对应的提及内容（或短语）。它在许多下游应用中至关重要，包括事件抽取[1]、问答系统[2]以及知识图谱构建[3]。尽管该领域已取得显著进展，但这项任务仍面临两大挑战。首先是识别任务仅依赖于短语周围的上下文特征，从而导致特征稀疏问题；其次是句子中的命名实体可能会重叠，从而形成嵌套的语义结构。例如，“GATA-1 mRNA”既是一个“DNA”实体，又包含一个“蛋白质”实体“GATA-1”。尽管如此，由于NER对于理解句子至关重要，因此该领域的发展在NLP领域具有重要的研究意义和应用价值[4]。在执行NLP任务方面，大型语言模型（如Llama[5]和ChatGPT[6]、[7]）近年来受到了广泛关注，它们在信息提取方面展现出巨大潜力。然而，这类大型语言模型是通过上下文学习训练的生成型语言模型，特征稀疏和嵌套结构问题使得这些模型在NER任务上存在困难，尤其是在处理嵌套语义结构时。此外，大型语言模型主要依赖人工设计的提示词[8]，并且可能存在幻觉问题[9]。因此，尽管大型语言模型在各种NER任务上取得了重大突破，但其性能仍然远低于现有的监督式基准NER模型，而序列标注和跨度分类仍然是两种流行的NER方法。在序列标注方法中，句子被表示为一系列标记，每个标记都被赋予一个标签，以反映其在命名实体中的语义角色，例如“B-I-O”编码（开始、内部、外部）。同时，序列表示的优势在于能够充分利用序列算法（如条件随机场或长短期记忆网络LSTM）来捕捉句子中的语义关系。然而，这些方法往往假设结构是扁平的，并根据与单个标记相关的特征为标记赋值。在跨度分类方法中，每个句子通过深度网络映射为一系列标记表示，而一个跨度则被视为一系列代表潜在命名实体的标记。这种跨度表示利用了跨度内的标记特征，有助于解决句子中的嵌套实体问题。最近的相关研究将所有跨度组织成二维矩阵（如M），以建立跨度之间的语义依赖关系，其中元素Mij表示从第i个到第j个标记的跨度。图1左侧的子图展示了元素表示的一个例子。在图1中，句子“纤维蛋白原在单核吞噬细胞中激活NF-κB转录因子”包含两个扁平实体“纤维蛋白原”和“单核吞噬细胞”，以及两个嵌套的命名实体“NF-κB转录因子”和“NF-κB”。当句子被转换成二维语义平面后，传统方法如图1左侧的子图所示，将句子表示为上三角矩阵中的四个元素：M11、M34、M36和M89。由于生成M的现有方法是对称的，下三角矩阵中的元素（M43、M63和M98）也可被视为此类实体表示。二维语义平面展开了一个语义空间，NER任务则作为元素分类任务来执行。这种方法在建模嵌套命名实体以及通过操作（如CNN[10]、BOPN[11]和ES&CA[12]）捕捉跨度间的语义依赖关系方面效果良好。然而，在二维语义平面中，相邻元素指的是句子中重叠的短语。由于存在这样的重叠标记和共享的上下文特征，真实实体表示在周围背景中变得不那么清晰。例如，在上述例子中，M35（“NF-κB转录”）是一个负向元素，因为它与真实实体M34（“NF-κB”）和M36（“NF-κB转录因子”）高度重叠，且两者具有非常相似的上下文特征。这种现象在语义平面中导致了严重的歧义问题；然而，通过当前的元素分类方法很难区分，这很容易导致误报错误。鉴于上述局限性，本研究将命名实体表示为语义平面中的区域，而非将其表示为二维语义平面中的元素。图1右侧的子图展示了区域表示的可视化结果，其中实体“NF-κB转录因子”被表示为平面上的一个区域。具体而言，该实体对应于平面上的一个区域，即R36={Mij|3≤i,j≤6}，每个区域由命名实体内的所有跨度表示组成。在区域表示中，嵌套的命名实体被表示为重叠的区域，可以通过语义平面中的空间位置来区分。在训练过程中，区域表示避免了实体语义在相邻元素中被抑制，从而使结果更符合二维语义平面的语义表达。为了评估NER任务中区域表示的效果，我们提出了使用区域检测网络，该网络不仅需要验证每个区域标注实体类型的置信度得分，还需要采用区域位置回归网络来同时精确确定区域的空间位置。这一设计借鉴了计算机视觉中的物体检测范式，即同时优化分类和定位功能。此外，所提出的框架还将句子级的全局上下文与区域级的语义特征相结合，形成了全局-局部特征融合机制。这一设计与近期通过全局-局部整合将计算机视觉技术应用于NLP任务的研究一致[13]。作为实验的一部分，区域表示在八个NER数据集上进行了测试，并在多个数据集上展现了良好的性能。总体而言，本研究的贡献可总结如下：•提出了一种新的实体表示方法：本研究将命名实体表示为二维语义平面中的区域，从而使模型能够融合实体基于跨度的区域内的语义特征。•提出了一种区域检测框架：基于二维语义平面，利用区域回归网络来确定实体区域的位置，同时利用分类网络对实体区域类型进行分类。本文的结构如下：第2节回顾相关研究，第3节详细阐述我们的方法论，第4节在多个数据集上评估和分析区域表示的效果，第5节则对研究进行总结并探讨未来工作方向。相关研究近年来，出现了多种NER范式，可分为基于序列的方法、基于跨度的方法、基于元素的方法以及基于生成的方法。本节将对现有研究进行综述，表1给出了全面的概览。基于序列的方法：这些方法将NER任务视为序列标记问题。由于序列表示无法处理句子中的嵌套实体，即一个标记可能属于多个实体。为了解决这一问题，本研究提出了区域表示方法。方法论在本节中，我们首先给出区域表示的正式定义，随后详细介绍NER模型的架构，阐述基于区域的NER处理方法。实验本节首先介绍评估数据集和实验设置，接着比较我们的模型与几种相关方法的性能，最后通过消融实验验证区域表示在支持NER任务方面的有效性。结论与未来工作本研究提出了一种新的二维语义平面中的实体表示框架，该框架被广泛用于支持诸如NER之类的信息提取任务。在该框架中，实体被表示为二维语义平面中的区域，与句子的语义结构相一致。这使得NER可以被分解为两个子任务：区域语义分类和边界细化。为了评估实体区域表示的有效性，我们设计了相应的区域检测方法。未引用表格表7.CRediT作者贡献声明胡颖：写作——审稿与编辑、写作——初稿、可视化、数据整理。陈艳平：写作——审稿与编辑、资金获取。文欣：研究调查。徐勇：写作——审稿与编辑、方法论。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。