面向少样本关系抽取的实例级判别增强

《Neurocomputing》：Instance-level discriminative enhancement for few-shot relation extraction

　　

摘要

少样本关系抽取（FSRE）旨在仅利用有限的标注实例，识别给定文本中实体对之间的关系，使其成为自然语言处理领域的一项极具挑战性的任务。原型网络在解决这一挑战方面已取得显著成功，但现有框架往往忽视了模型在关系信息不可用场景下的性能，从而导致次优结果或使模型无法应用。为了解决这一问题，我们提出了一种实例级判别增强（IDE）框架，能够有效处理有和无关系信息的两种场景。该框架由两个关键模块组成：非显著区域随机掩码（NSRM），通过掩码非显著区域来保留关键信息，避免破坏重要特征；以及加权均衡池化（WEP），在确保特征贡献均衡的同时，保持捕获细粒度关键信息的能力。通过结合这两种方法，IDE框架即使在数据稀缺的环境中也能实现有效的实例级信息抽取。在FewRel数据集上的大量实验表明，我们的方法优于现有的最先进基线模型，为低资源场景下的FSRE任务提供了一种有前景且具有资源效率的解决方案，在这些场景中关系信息可能有限或不可用。

引言

关系抽取（RE）是自然语言处理（NLP）中的一项基本任务，旨在从无结构文本中自动提取实体间的语义关系。其主要目标是将文本中提及的实体对及其对应关系结构化，从而将自然语言表达的知识转化为可计算处理的形式。RE在多种NLP任务中得到了广泛应用，包括对话系统[1]、[2]、[3]，问答[4]、[5]、[6]，机器阅读理解[7]，以及知识图谱构建[8]、[9]、[10]。然而，大规模数据集标注需要耗费大量人力和物力资源，而小规模数据集往往受限于训练数据不足。为缓解标注瓶颈，早期研究采用了远程监督方法，将实体对与可能表达其关系的句子关联起来。然而，该方法本质上会引入噪声，因为它假设任何包含实体对的句子都表达了该关系，而忽略了实际上下文。

近年来，少样本关系抽取（FSRE）作为一种有效范式应运而生，用于应对标注困难和标注数据有限的问题。通过模仿人类学习方式——仅凭少数样本即可快速泛化——FSRE获得了越来越多的研究关注。该任务的目标是使模型能够仅使用极少量的训练样本，快速适应新的关系类型。在现有方法中，原型网络[11]是最广泛采用的框架之一。它基于支撑集为每个关系类别构建一个原型向量，并通过计算查询实例与这些原型的距离来进行分类。具体而言，对于一个新的查询样本，模型计算其与每个类别原型的距离，并将该样本分配给最近的关系类别。Han等人[12]首次将原型网络引入FSRE，并发布了FewRel 1.0，这是第一个大规模开源的FSRE数据集。随后，Gao等人[13]通过引入域适应将该基准扩展为FewRel 2.0，并提出了BERT-pair以更好地建模句子对相似度。后续研究探索了增强基于原型的FSRE模型的各种方向。Sun等人[14]设计了层次化注意力原型网络以丰富语义表示，而Wang等人[15]利用相对位置信息和句法信息来加强原型构建。最近，Yu等人[16]引入了一种依赖感知原型学习框架，进一步提升了少样本关系分类效果。尽管取得了这些进展，主导的研究范式在很大程度上忽视了一个更根本的因素，即决定原型网络有效性的因素——原型的来源即实例级表示的质量。由于原型直接由支撑实例计算得出，其质量本质上取决于这些实例表示的判别能力。如果这些表示存在噪声、区分度不足或在特征空间中分布不均，即使最精细的原型构建方法也难以产生稳健可靠的原型，最终限制了模型的整体性能。

近期研究进一步尝试通过将外部关系描述整合到原型学习过程中来增强原型质量[17]、[18]。例如，Han等人[17]提出了一种混合对比关系-原型框架，将关系描述作为语义锚点纳入其中。在该设置中，属于同一类别的样本被视为正样本，其他类别的样本被视为负样本。然后应用对比学习来减小类内方差并扩大类间间隔。类似地，Li等人[19]提出了通过实例级和表示级增强来提升的自适应类别原型。他们的方法通过逐步纳入更多实例来扩展类别原型，并采用基于扰动的注意力机制来对比优化原型表示。Borchert等人[20]进一步探索了互补的句子表示，并应用对比学习对齐其判别信息，取得了性能提升。尽管取得了这些方法论上的进步，一个关键问题依然存在：这些方法大多对外部关系描述表现出强烈的结构依赖性，这些描述被紧密地"硬编码"到了它们的架构中。这种刚性整合带来了两个根本性限制：(1) 场景适应性有限。当关系描述缺失、不完整或有噪声时——这种情况在新兴领域或专业领域中经常出现——这些模型的性能会显著下降。它们对外部关系信息的重度依赖使其无法在缺乏这些信息的情况下稳健运行。(2) 操作灵活性不足。因为这些架构是专门为存在外部描述的场景而设计的，它们无法自然泛化到没有此类信息的设置中。相反，为无描述场景设计的模型也难以轻松调整为可利用可用描述的形式。因此，实践者往往被迫为不同的应用设置训练、部署和维护单独的模型，大大增加了实际部署的复杂性和成本。因此，当前FSRE研究面临的核心挑战是开发一个统一且灵活的框架，该框架能够：(1) 在关系描述可用时充分利用它们以达到最先进的性能水平；(2) 在关系描述不可用、有噪声或不完整时保持强劲稳定的性能。这样的框架将能够在异构的真实世界场景中实现稳健、无缝的运行。

为解决上述先前框架的局限性，我们强调了实例级信息抽取在FSRE中的关键重要性。为此，我们提出了一种实例级判别增强（IDE）框架，包含两个关键组件：非显著区域随机掩码（NSRM）模块和加权均衡池化（WEP）模块。通过优化实例级特征的抽取，我们的框架旨在同时处理有和无外部关系信息的两种场景，从而实现显著的性能提升。NSRM模块通过在特征抽取过程中掩码非显著区域来增强关键信息的判别力。这种方法防止了重要信息的丢失，确保了关键语义细节的保留，同时提高了模型的表示能力。因此，该框架生成的变异样本在嵌入空间中与真实值保持一致，从而提高了模型的泛化能力。图1直观地对比了NSRM与传统随机掩码策略之间的差异。另一方面，平均池化由于其固有的平滑效应，往往无法有效捕获细粒度的显著特征。相比之下，最大池化可能会在多功能融合过程中引入特征尺度不平衡。当特征具有不一致的数值范围或分布时，就会出现这种不平衡，导致在融合过程中贡献不均，最终降低模型性能。为解决这一问题，WEP模块自适应地调整特征尺度，缓解最大池化的局限性。这种均衡机制确保在捕获关键细粒度信息的同时实现有效的特征融合。总之，本工作的主要贡献如下：

1. 我们提出了一种新颖的FSRE实例级判别增强框架，有效解决了真实世界和复杂场景中遇到的挑战。
2. 我们提出了NSRM，一种数据增强方法，专注于掩码非显著区域以保留关键特征，同时增强样本表示。
3. 我们提出了WEP，一种自适应池化模块，通过自适应平衡特征尺度来确保有效的特征融合，同时捕获关键信息。
4. 在广泛使用的FewRel 1.0和FewRel 2.0数据集上的全面实验证明了我们的方法在资源受限场景中的适应性，包括涉及关系描述的场景。我们强调了该方法的资源效率，展示了在低资源环境中的显著性能提升。

通过这些贡献，我们为低资源和信息稀缺场景下的FSRE提出了一种创新解决方案，解决了依赖外部关系信息所导致的灵活性问题。通过强调实例级优化，我们的方法有效地平衡了资源效率和模型性能。在FewRel 1.0和FewRel 2.0数据集上的实验结果证明了所提方法的有效性和鲁棒性。

章节摘要

少样本关系抽取

FSRE旨在通过从少量标注数据中学习来识别新的关系，使其成为少样本学习分类方法的应用扩展。FSRE是一项更具挑战性的任务，因为它需要仔细考虑实体对和上下文信息。基于相关特征表示，FSRE可以分为三种主要方法：元学习、迁移学习和度量学习。

元学习：元学习，即"学会学习"，

方法论

在本节中，我们提出了一种实例级判别增强框架，该框架利用增强后的实例信息与原始实例信息之间的互补性，以获得用于少样本学习的判别性实例原型。如图2所示，IDE框架由四个组件组成：(1) 非显著区域随机掩码增强：该组件专注于掩码非显著区域，避免破坏重要特征。通过保留关键

数据集

我们在两个FSRE任务中常用的基准数据集上评估了我们的方法。

FewRel 1.0 [12]。该数据集构建于维基百科文章之上，是一个大规模人工标注的FSRE数据集，包含100种不同的关系，每种关系有700个样本。数据集分为训练集、验证集和测试集，分别包含64、16和20种关系。

FewRel 2.0 [13]。FewRel 2.0的训练集与FewRel 1.0相同。然而，测试

结论

在本研究中，我们提出了一种专为少样本关系抽取设计的实例级判别增强框架（IDE）。通过采用实例级优化机制，该框架增强了原型嵌入的质量。整体架构设计得既高效又有效，在存在或不存在外部信息的场景中均展现出显著的性能优势。具体而言，IDE整合了一种非显著区域随机掩码技术，该技术

未引用参考文献

Finn等人[52]和Ye与Ling[53]

CRediT作者贡献声明

Hui Sun：写作 - 原稿撰写、可视化、验证、方法论、调查、数据管理。Zhijin Wang：写作 - 审稿与编辑、监督指导。Rongxin Chen：写作 - 审稿与编辑、监督指导、资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Rongxin Chen报告了福建省科学技术厅提供的财政支持。Rongxin Chen与集美学村大学存在雇佣关系。如果有其他作者，他们声明不存在已知的可能影响本工作的竞争性财务利益或个人关系。

致谢

本研究得到了中国福建省自然科学基金的资助（项目编号：2022J01336）。

Hui Sun是集美学村大学计算机工程学院软件工程专业的硕士研究生候选人，研究方向为关系抽取和意图识别。

Hui Sun | Zhijin Wang | Rongxin Chen