具有不确定性意识的上下文学习方法：用于联合实体与关系抽取

《Information Fusion》：Uncertainty-aware In-Context Learning for Joint Entity and Relation Extraction

不确定性感知的上下文学习方法U-ICL通过类型约束的不确定性估计和多样化演示组织缓解联合实体关系抽取中的错误传播，实验表明其F1分数平均提升4%。

　　

Xingyi Li|Xiang Cheng|Mingshuo Chen|Pengfei Zhang|Sen Su

中国北京邮电大学网络与交换技术国家重点实验室

摘要

从非结构化文本中提取结构化知识是自然语言处理中的一个基本问题，它支持知识图谱构建和信息检索等应用。实体和关系提取是这一过程的核心组成部分，使得从非结构化文本到结构化知识的转换成为可能。现有的上下文学习（ICL）方法在这些任务上表现优异，但它们往往忽略了三个子任务（主体实体提取、对象实体提取和关系提取）之间的依赖性所导致的错误传播问题，从而导致提取结果的不准确性。在本文中，我们提出了U-ICL（Uncertainty-aware In-Context Learning），这是一种结合不确定性估计的联合实体和关系提取方法。在U-ICL中，我们引入了一种基于类型限制的不确定性估计方法来量化每个子任务预测的置信度，并利用这种估计来组织多样且信息丰富的演示。此外，我们设计了一种基于思维链的演示格式，按照不确定性降序对三个子任务进行分解。实验表明，U-ICL在CoNLL04（实体提取）任务上的F1分数提高了72.59%，在ACE05（关系提取）任务上提高了27.76%，在NYT11-HRL（关系三元组提取）任务上提高了17.69%，与所有任务的强基线相比平均提升了超过4%。这些结果证明了不确定性在改进信息提取的上下文学习中起着关键作用。

引言

知识图谱由大量的关系三元组组成，是许多下游自然语言处理应用（包括问答和推荐系统）的宝贵资源[1]。实体和关系提取是知识图谱构建的核心任务。传统的流水线方法将提取过程分为实体提取和关系提取两个步骤。这些方法的主要缺点在于忽略了实体和关系之间的依赖性，从而导致提取结果的不准确性。

与流水线方法不同，联合方法直接以关系三元组（主体实体、关系、对象实体）的形式提取事实，并能够考虑实体和关系之间的依赖性。大多数现有的联合方法依赖于大量标注的样本进行训练[2]，[3]。然而，高质量标注的数据难以获得。随着大型语言模型（LLMs）的发展，模型可以基于少量来自下游任务的标注数据进行微调。提示学习旨在通过提示函数将下游任务重新表述为更类似于LLM训练期间解决的任务，从而减少对标注数据的依赖。上下文学习（ICL）被视为一种提示学习，它包含三个主要阶段：演示选择、演示排序和演示格式。前两个阶段也可以通过演示组织来表达。最近，提出了多种基于ICL的联合实体和关系提取方法，例如Code4UIE和ChatIE。我们在图1中给出了一个实体和关系提取的ICL示例。然而，这些方法很少关注引入依赖性所导致的错误传播问题（即，如果将子任务的错误预测结果作为后续子任务的指导，将会在很大程度上导致错误传播），并且在ICL中明确建模这种依赖性并将其作为显式指导机制仍然具有挑战性，从而导致提取结果的不准确性。

例如，以ACE2005数据集中的句子“Immigration and Checkpoints Authority spokeswoman Ngoon Pei Ling said during the trial period the scanners would be placed at bus checkpoints”为例，可以提取出关系三元组（scanners, Part-Whole, bus checkpoints）。在这种情况下，主体实体“scanners”和对象实体“bus checkpoints”都属于“facility”（FAC）类型。然而，如果我们将对象实体“bus checkpoints”视为游戏中的保存点，玩家在失败后可以从中恢复进度而无需重新开始，那么主体实体的预测将会受到对象实体的影响。这可能导致主体实体在游戏中被错误地预测为“scanners”。随后，在基于第一个对象实体（LOC: bus checkpoints）和第二个主体实体（FAC: scanners）进行预测指导后，关系可能会被错误地预测为“Physical”，从而得到错误的关系三元组（FAC: scanners, Physical, LOC: bus checkpoints）。

在本文中，我们提出了一种联合实体和关系提取方法U-ICL（Uncertainty-aware In-Context Learning），该方法考虑了联合提取任务的三个子任务（即主体实体提取、对象实体提取和关系提取）之间的依赖性。在U-ICL中，我们提出了一种基于类型限制的不确定性估计方法来衡量子任务预测的置信度。这种方法引入了每个子任务的实体和关系类型作为条件来约束熵的计算。通过这种方式，从一个子任务到另一个子任务的错误传播得到了很大程度的缓解，因为后续子任务的预测结果相对较为可靠。此外，为了给LLMs提供更多样化的指导以提高预测性能，我们设计了一种增强多样性的演示组织方法。在这种方法中，我们引入了一个称为“inter-label affinity”的度量来量化每个演示中实体和关系的标签多样性。然后我们根据每个演示中三个子任务的总不确定性对演示进行排序，并通过选择一部分演示来表示所有演示，从而解决了由于演示数量过多导致的输入过长问题。此外，为了决定三个子任务的提取顺序以反映LLM的理解顺序，我们设计了一种基于思维链的演示格式方法。在这种方法中，我们通过表格生成子过程来分解和表示每个演示中的三个子任务，并通过答案提取子过程来区分不同演示的答案。

总结来说，我们的贡献有四个方面：

•

我们提出了U-ICL，这是一种结合不确定性估计的联合实体和关系提取方法，它考虑了实体和关系之间的依赖性，并减轻了引入依赖性所导致的错误传播问题。

•

我们提出了一种基于类型限制的不确定性估计方法，通过引入实体和关系类型作为条件并计算熵来衡量子任务预测的置信度。

•

我们设计了一种增强多样性的演示组织方法，保证了演示的高标签多样性，并根据每个演示中三个子任务的总不确定性对演示进行排序。我们还设计了一种基于思维链的演示格式方法，该方法按照不确定性的降序对每个子任务进行排序。

•

我们在四个公共数据集上进行了全面实验，实验结果证实了我们方法的有效性。

相关工作

相关工作

大多数现有的联合方法需要大量的标注样本数据，而这些数据的标注成本很高。为了解决标注数据稀缺的问题，有两种方法可供选择。第一种方法是使用远距离监督方法[4]，它提供了自动标注的训练数据，但合成数据的质量和一致性存在问题。第二种方法是使用带有任务特定提示模板的LLMs，这使得模型能够泛化到新的任务

上下文学习

像GPT系列[14]、[15]和LlaMA家族[16]、[17]、[18]这样的LLMs以其出色的ICL能力而闻名。这些LLMs已被证明能够在几乎没有训练或微调的情况下解决全新的问题，这就是所谓的ICL。ICL的通用过程包括三个主要阶段：演示选择、演示排序和演示格式[19]。前两个阶段也可以通过演示组织来表达。

概述

如图2所示，我们的方法U-ICL包括三个阶段：不确定性估计、演示组织和演示格式。在第一阶段，我们提出了一种基于类型限制的不确定性估计方法来衡量子任务在训练子集上的置信度，其中引入了实体和关系类型作为条件来约束熵的计算。第一阶段是后续两个阶段的基础。在第二阶段，我们进行了多样性

评估任务

我们分别在三个任务上评估了U-ICL的性能：关系三元组提取、实体提取和关系提取。实体提取用于识别文本中的主体和对象实体，关系提取用于确定这些实体之间的语义关系，关系三元组提取用于输出形式为（主体实体、关系、对象实体）的结构化元组。我们的方法U-ICL旨在解决联合实体和关系提取问题

泛化

我们的方法U-ICL可以通过以下步骤应用于不同的数据集。对于不同的标签模式，我们首先解析标签以检查数据集是否包含实体和关系类型。实际上，关系类型通常是包含的。如果缺少实体类型，我们会要求LLM为Z数据子集标注实体类型。这样，实体和关系类型就都可用了。然后我们分析频繁出现的（主体实体类型、关系、对象

结论

在本文中，我们提出了一种结合不确定性估计的联合实体和关系提取方法U-ICL，该方法考虑了实体和关系之间的依赖性并减轻了错误传播。我们通过引入实体和关系类型来设计了一种基于类型限制的不确定性估计方法。此外，我们设计了一种增强多样性的演示组织方法，保证了实体和关系的标签多样性，并提出了一种

CRediT作者贡献声明

Xingyi Li：撰写——原始草稿、方法论、调查、数据整理、概念化。Xiang Cheng：撰写——审阅与编辑、调查、资金获取。Mingshuo Chen：验证、软件开发、数据整理。Pengfei Zhang：撰写——审阅与编辑、形式分析、概念化。Sen Su：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。