一种基于关系语义学的自顶向下方法，用于在复杂场景中联合提取实体和关系

《Knowledge-Based Systems》：A Relation Semantics-Guided Top-Down Approach for Joint Entity and Relation Extraction in Complex Scenarios

联合实体与关系抽取模型提出关系语义引导的拓扑架构，通过关系依赖模块建模多关系潜在关联，采用对比学习增强关系表征区分度，并设计双分支解码器结合全局注意力与多尺度门控聚合机制实现高效长文本处理和精确实体边界识别。实验表明其在重叠三元组场景下显著优于基线方法。

　　

魏子明|曲少成|赵丽|史倩倩|张晨

中国华中师范大学物理科学与技术学院电子与信息工程系，武汉，430079，中国

摘要

联合实体和关系提取是信息提取领域的一项基本任务，旨在从非结构化文本中识别出结构化的知识三元组。然而，现有模型在处理复杂文本（尤其是包含重叠三元组的文本）时存在多方面的局限性。首先，在关系层面，这些模型不仅会导致冗余提取，还会忽略不同关系之间的内在依赖性。其次，在实体层面，存在边界识别不准确的问题。为了解决这些挑战，本研究提出了一种新的联合提取模型，该模型采用了基于关系语义的自上而下的架构。该模型首先预测句子中的候选关系集合以缩小搜索范围，然后采用级联解码策略，在关系的引导下提取主体实体，随后在已识别主体和关系的双重引导下提取对象实体。为了加强关系建模，我们设计了一个关系依赖模块，该模块明确学习了不同关系类型之间的潜在依赖性。此外，引入了基于关系语义的对比学习目标，以生成更具区分性的关系表示。在实体识别方面，我们设计了一个双分支解码器，该解码器结合了两个创新组件：一种向量引导的注意力机制，用于高效捕获全局上下文；以及一种门控分层特征聚合器，用于提取高分辨率的局部特征，以实现精确的边界检测。在两个公共基准数据集上的广泛实验表明，与基线方法相比，所提出的模型取得了显著的性能提升，验证了我们在解决联合提取基本挑战方面的架构创新的有效性。

引言

联合实体和关系提取是信息提取领域的一项基本任务，其目的是从非结构化文本数据中识别实体并提取它们之间的语义关系[1]、[2]。这些关系通常以（主体，关系，对象）的形式表示为关系三元组（s, r, o）。这种结构化的三元组是构建大规模知识图谱不可或缺的基础组件，为智能问答系统提供支持，并实现广泛的自然语言处理应用中的精确信息检索[3]、[4]。

早期的信息提取方法主要采用流水线范式，将任务分解为顺序的命名实体识别（NER）和关系提取（RE）两个阶段[5]。然而，这些方法本质上存在错误传播的问题，并且无法捕捉子任务之间的内在交互[6]、[7]。为了解决这些局限性，研究人员转向了联合提取模型[8]、[9]。通过将实体提取和关系提取整合到一个端到端的框架中，联合模型利用了共享的特征和依赖性，显著提高了性能。尽管取得了这些进展，当前的联合模型在处理涉及重叠三元组和长序列的复杂场景时仍面临挑战。

研究表明，在处理长文本或复杂场景（如文档级关系提取）时，某些联合模型的性能会急剧下降，有时甚至不如流水线模型[6]、[10]。这种性能下降是由于联合解码导致搜索空间呈指数级增长，使得有效的模型学习变得难以实现。此外，设计不佳的联合模型也可能表现不佳。这表明，成功的联合提取关键不在于任务的简单合并，而在于设计一个有效的联合架构，以促进有效的信息交互并防止计算复杂性变得难以管理。

尽管联合提取模型已成为主流，但目前的方法在处理日益复杂的文本数据时仍面临一系列挑战。首先，关系建模的复杂性和可扩展性方面存在瓶颈。许多现有模型在处理包含多个实体和复杂关系的句子时性能下降，尤其是在处理重叠三元组时。在现实世界的文本中，一个或多个实体经常同时参与多个关系事实，产生复杂的重叠模式。如图1所示，这些模式通常分为三类：正常（三元组不共享实体）、单一实体重叠（SEO）（一个实体参与多个不同的关系）和实体对重叠（EPO）（同一实体对之间存在多个不同的关系）。最近的一些先进模型[11]、[12]、[13]通过新的标记方案或关系过滤成功处理了重叠三元组，但在捕捉关系的内在语义结构方面仍存在局限性。大多数方法专注于解码策略来识别重叠边界，但独立处理关系类型，忽略了它们潜在的语义依赖性。此外，填充表格和穷举配对策略存在标签稀疏和计算冗余的问题。因此，一个关键挑战仍然是：如何利用关系之间的依赖性来指导提取，而不仅仅是简单地匹配重叠模式。

此外，实体识别在精确性和效率方面也面临挑战。一方面，基于Transformer的[14]编码器通过自注意力机制有效捕获了长距离的全局上下文依赖性，但它们强大的全局建模能力可能不适用于需要精确定位的实体边界检测任务[15]。现有研究表明，实体边界识别对局部特征非常敏感[16]、[17]，而全局注意力机制可能会导致局部细节的平滑，从而可能导致边界划分不精确[18]。另一方面，标准自注意力机制的计算复杂性与序列长度呈二次方关系，即O(n2·d)，在处理长文本时构成了严重的计算效率瓶颈，从而阻碍了模型在文档级和其他长序列场景中的部署。

这些持续的挑战表明，该领域需要探索新的模型架构，以实现关系建模的深度、实体识别的精确性和长文本处理的效率之间的更好平衡。针对上述挑战，本研究提出了一种新的联合实体和关系提取框架，旨在通过一系列协同的架构创新实现更精确和高效的知识提取。我们的模型采用了自上而下的级联解码策略。具体来说，模型首先预测句子中的潜在关系集合，有效解决了关系冗余问题，并大幅缩小了后续的搜索范围。此外，这种设计允许不同的关系灵活地匹配相同的或不同的实体，自然适应SEO和EPO重叠场景，而不受先识别实体方法的限制。为了解决关系之间的独立性假设问题，我们引入了一个关系依赖模块（RDM），该模块明确构建并学习了一个关系依赖矩阵，以捕捉不同关系类型之间的潜在依赖性，从而提高了关系提取的准确性。为了提高关系表示的区分能力，我们设计了一个对比学习目标。与之前依赖实例级数据增强或噪声启发式的方法不同，我们的方法采用了一种基于语义的采样策略，将句子表示拉向真实关系类别簇的语义中心，同时将其从错误关系类别簇的语义中心推开。这种策略为模型提供了相对直接和强大的监督信号，以学习具有区分性的特征。

为了在实体识别中同时实现高效的长序列上下文编码和精确的局部边界定位，我们设计了一个双分支实体解码器。特别是为了高效建模全局上下文，我们开发了一种向量引导的注意力（VGA）机制。该机制通过一个可学习的引导向量生成序列的全局上下文摘要，从而调节整个序列的表示，保持了强大的上下文建模能力，同时将计算复杂性从二次方扩展降低到更低的水平。作为补充，我们设计了一个门控分层特征聚合器（GHFA）。该模块使用并行的多尺度门控卷积来系统地分析令牌邻域内的n-gram模式，为模型提供了高分辨率的局部特征，这对于实体边界识别至关重要，并有效补偿了全局注意力机制可能导致的细节平滑问题。最后，整个模型遵循了一个关系引导的级联解码过程：在预测关系的引导下识别主体实体，然后在关系和主体的双重引导下识别对象实体，从而逐步传播抽象的关系信息，以约束和优化具体的三元组提取过程。

本文的主要贡献可以总结如下：

•

我们提出了一种基于关系语义的自上而下的联合提取框架。我们设计了一个RDM来明确建模潜在的关系依赖性，并引入了一个基于语义的对比学习目标，以增强关系区分性，有效缩小了搜索范围。

•

为了解决实体识别中的上下文建模难题，我们提出了一种双分支解码器，该解码器结合了两个创新组件：VGA，一种用于高效捕获长距离全局上下文的注意力机制；以及GHFA，一种用于提取高分辨率局部特征的多尺度卷积模块，这些特征对于精确的实体边界检测至关重要。

•

在公共基准数据集上的广泛实验表明，我们提出的模型与其他基线模型相比取得了更好的性能，验证了我们提出的架构及其创新组件的有效性。

部分片段

流水线提取模型

早期的实体和关系提取研究主要使用流水线提取模型，这些模型通常将实体识别和关系提取视为两个独立的、顺序的子任务。例如，Seng等人[5]提出了一种方法，首先识别文本中的受限结构模式，然后确定关系类型。随后，Zhou等人[19]引入了一个基于注意力的长短期记忆（LSTM）模型，该模型仅依赖于词向量

提出的方法

所提出模型的整体架构如图2所示。该框架包括一个BERT编码器[31]和两个专门的解码器，分别用于关系提取（RE）和命名实体识别（NER）。BERT编码器首先获取输入文本的初步特征表示。然后，RE解码器根据这些表示识别句子中的潜在关系。在检测到的关系和文本特征的引导下，实体识别解码器进一步识别主体和

数据集和实现细节

我们使用了两个公开可用的数据集来验证我们模型的性能：NYT [40]和WebNLG [41]。NYT数据集是一个权威的自然语言处理基准数据集，由《纽约时报》的新闻文章组成，涵盖了政治、经济和技术等 diverse 主题。WebNLG 数据集来自DBpedia知识库中的RDF三元组，包含许多复杂场景，包括长文本、远距离实体关系和隐含的关系

结论

在这项研究中，我们提出了一种基于关系语义的自上而下的联合提取框架，专门用于解决复杂重叠三元组的挑战。我们的方法首先预测候选关系以缩小搜索范围，然后根据关系提取主体，接着根据关系和主体的双重约束提取对象，有效解决了重叠关系的问题

局限性

尽管我们提出的框架在处理复杂的重叠三元组场景时取得了有竞争力的性能，但我们认识到该模型仍存在一些局限性，这也指出了未来研究的方向。首先，在捕获关系依赖性时，我们的模型主要依赖于训练数据中观察到的统计相关性。对于需要外部世界知识或深度逻辑推理来发现的隐含关系，模型的提取能力可能会受到限制。

CRediT作者贡献声明

魏子明：撰写——原始草稿，监督，软件，项目管理，方法论，概念化。曲少成：监督，软件，项目管理，方法论。赵丽：调查，形式分析，数据 curatorial。史倩倩：调查，形式分析，数据 curatorial。张晨：调查，数据 curatorial。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。