通过大语言模型增强科学命名实体识别：一种类型驱动的多任务学习方法

《Expert Systems with Applications》：Enhancing scientific named entity recognition via large language models: a type-driven multi-task learning approach

　　

# 科学命名实体识别

**摘要** 科学命名实体识别（SciNER）在从科学文本中提取信息和发现知识方面发挥着重要作用。最近，大语言模型（LLMs）已展示出在极少人工干预的情况下实现具有竞争力的SciNER性能的能力。现有研究强调了为大语言模型提供候选实体类型信息对于准确的实体识别和分类的重要性。然而，当提示中提供过多的候选实体类型时，大语言模型难以准确识别和标注科学文本中的实体，因为科学文本中的实体类型比一般领域更为复杂。为了解决这一挑战，我们提出了TdSciNER，一种类型驱动的方法，有效地利用实体类型信息来提升SciNER性能。在TdSciNER中，我们首先设计了一个实体类型过滤模型，用于识别给定句子中最可能存在的实体类型。随后，我们在多任务学习框架中引入了一个辅助的多分类实体类型任务，与SciNER联合训练以获得更丰富的上下文表示。然后，我们开发了一种基于句子相似度和实体类型多样性的新型示例选择策略，以激活大语言模型的上下文学习能力，从而提升跨多样科学领域的实体识别准确性。在三个数据集上的实验表明，我们的方法达到了与全监督模型相当的性能。进一步分析验证了TdSciNER中每个实体类型驱动组件都对SciNER性能的提升有所贡献。本工作为未来SciNER及更广泛的科学文本挖掘中的信息抽取任务提供了有价值的见解。

## 引言

随着科学出版物的快速增长，从大规模科学文献中自动提取有价值信息变得越来越重要。科学信息抽取过程中一个关键步骤是命名实体识别，旨在识别生物医药领域的实体，如药物、化学物质和蛋白质。在数据驱动科学的时代，科学命名实体识别（SciNER）在从科学文本中提取基本知识单元以及支持各种下游应用方面发挥着重要作用，如智能问答系统（Hu和Ma, 2023; Li等, 2019）、信息搜索（Brandsen等, 2022）和知识图谱开发（Xie等, 2016）。

在过去十年中，SciNER在生物医学科学（Crichton等, 2017）、计算机科学（Hou等, 2019）和材料科学（Polak和Morgan, 2024）等领域受到了广泛关注。为了提升SciNER性能，研究人员基于自然语言处理（NLP）技术的进展做出了大量努力来优化方法。总体而言，现有的SciNER方法可以大致分为两大类：基于传统深度学习的方法和基于预训练语言模型（PLM）的方法。传统深度学习方法通常采用序列建模架构进行表示学习，并取得了令人满意的结果。例如，Habibi等（2017）引入了一种序列标注框架，整合词嵌入层和循环神经网络来识别生物医学实体。然而，深度学习方法通常需要大量训练数据，这限制了它们在低资源设置下的性能。相比之下，基于预训练语言模型的方法（如BERT，Devlin等, 2019）在大规模数据集上训练，使它们能够获得丰富的上下文表示，这些表示可以通过有限的额外训练数据进行微调以适应下游任务。例如，领域专用模型如SciBERT（Beltagy等, 2019）和BioBERT（Lee等, 2020），分别在科学和生物医学文本上预训练，在领域特定的SciNER任务中表现出了优于传统深度学习方法的结果。然而，这些模型仍然需要高质量的标注数据才能在特定领域设置中达到最佳性能，这限制了它们跨学科泛化的能力。

大语言模型（如GPT-4）的发展在多种自然语言处理任务中取得了显著进展，为在极少人工干预的情况下进一步优化实体识别提供了新的机会。这一转变可归因于最新大语言模型中上下文学习（ICL）能力的出现，使它们能够通过少量提供的示例来理解和执行自然语言处理任务（Brown等, 2020）。近期研究表明，大语言模型通过少样本学习可以跨多个学科执行SciNER，并达到与全监督方法相当的性能（Hu等, 2023; Peng等, 2024; Polak和Morgan, 2024）。然而，需要注意的是，SciNER作为命名实体识别（NER）中的一个序列标注任务，与大多数基于解码器的大语言模型的生成性质不同，后者主要用于生成任务。这种不匹配需要定制提示，以将大语言模型的生成能力适应SciNER的序列标注需求。如图1(a)所示，在当前的SciNER研究中，提示通常组织为两个组件：（1）任务指令，指导模型理解和执行任务；（2）输出选项，列出所有候选实体类型并将模型的预测约束在预定义的标签集中。

然而，如图1(b)所示，我们对三个广泛使用的SciNER数据集的分析揭示了一个现象：大多数科学句子只包含完整数据集中实体类型的一个子集。在这种情况下，在提示中提供不相关的候选类型不仅会混淆大语言模型，还会增加错误分类科学实体的风险。在一般领域，一些策略，如纳入实体类型嵌入、实体类型特征或实体类型描述，已被证明可以改善命名实体识别性能（Feng等, 2023; Zheng等, 2021）。尽管取得了这些成功，但这些方法很难直接应用于SciNER，因为科学领域的专业化程度更高，实体识别更具挑战性，需要更强的跨领域适应能力。例如，在计算机科学中，"方法"一词广泛指代用于解决任务的算法或程序，如排序算法或机器学习训练过程（Hou等, 2019）。相比之下，在生物医学领域，"方法"的定义更窄，特指药物试验或实验方案中涉及的具体步骤或程序（Lee等, 2020）。这些差异表明，跨学科的SciNER需要大量的实体相关信息和领域专业知识才能准确区分实体。特别需要注意的是，领域特定实体类型信息的缺乏给大语言模型完成SciNER任务带来了两个挑战：（1）在同一领域内难以区分密切相关的实体类型，以及（2）由于领域知识有限而在跨领域实体识别中产生混淆。因此，实体类型信息在改善基于大语言模型的SciNER方面具有巨大潜力。据我们所知，此前尚无工作探索如何利用大语言模型中的实体类型信息来增强SciNER。

为了解决这些差距，我们提出了TdSciNER，一种利用实体类型信息来增强大语言模型在SciNER中性能的类型驱动模型。首先，我们设计了一个实体类型过滤器来估算输入句子与候选实体类型之间的匹配度，这有助于识别句子中更可能出现的实体类型。这一过程使大语言模型能够在执行SciNER任务时专注于相关的实体类型。此外，在微调阶段，我们引入了一个辅助的实体类型任务，并通过多任务学习框架与SciNER联合训练，以丰富上下文表示并进一步提升SciNER结果。需要注意的是，辅助任务不需要进一步的标注，因为它只需要预测给定实体的类型。最后，受到先前强调上下文学习在低资源信息抽取中有效性的工作的启发（Hu等, 2023; Peng等, 2024; Polak和Morgan, 2024），我们开发了一种基于相似度和多样性的平衡样本选择策略来选择合适的人工标注示例作为少样本演示。通过在推理过程中采用少样本学习，我们激活了大语言模型的上下文学习能力，使模型能够更好地把握任务需求并实现更准确的SciNER结果。我们的贡献可总结如下：

（1）我们提出了一种新的类型驱动SciNER模型，称为TdSciNER，利用实体类型信息指导大语言模型以改善SciNER结果。据我们所知，TdSciNER可能是第一个在基于大语言模型的SciNER中利用实体类型信息的方法。

（2）为实现TdSciNER，我们不仅开发了一个实体类型过滤模型来识别最可能出现在输入句子中的实体类型，还设计了一个辅助的实体类型任务，通过多任务学习来丰富上下文表示。这两项贡献都显著提升了TdSciNER的性能。

（3）我们引入了一种基于相似度和多样性的选择策略来寻找标注样本作为演示，这些样本随后用于触发大语言模型的上下文学习能力并获得增强的SciNER结果。

（4）在来自不同领域的三个数据集上进行的实验表明，我们的模型达到了与全监督方法相当的结果。此外，TdSciNER中的每个组件均被验证为对整体SciNER性能有正向贡献。

源代码和数据集已公开于：https://github.com/tongbao96/code-for-SciNER

## 章节片段

### 相关工作

在本研究中，我们提出了TdSciNER，利用实体类型信息和多任务学习框架来提升SciNER性能。在本节中，我们首先回顾了SciNER的相关工作，然后总结了利用大语言模型进行上下文学习以改进命名实体识别的先前研究，最后概述了信息抽取中的多任务学习。

### 方法论

本文提出了TdSciNER，一个结合实体类型过滤器和多任务学习策略的类型驱动SciNER框架，以优化大语言模型并提升SciNER性能。TdSciNER的整体框架如图2所示。

TdSciNER框架包括两个主要组件：（1）实体类型过滤器和（2）多任务学习模块。实体类型过滤器用于计算输入句子与潜在实体类型之间的匹配度。然后，设置一个阈值...

### 实验与结果

本节详细介绍了实验设置，包括数据集、评估指标、基线模型和实现细节，并报告了实验结果和参数分析。

### 讨论

本文介绍了TdSciNER，一个旨在利用实体类型信息来增强大语言模型在SciNER任务中性能的模型。在本节中，我们讨论研究发现的广泛影响并概述了研究的局限性。

### 结论与未来工作

本文介绍了TdSciNER，一种新颖的类型驱动多任务学习框架，利用实体类型信息来提升SciNER性能。该框架由三个关键组件组成。首先，我们引入一个轻量的实体类型过滤模型来识别科学文本中的潜在实体类型。其次，我们设计了一个实体类型任务作为辅助任务，并通过多任务学习将其与主要的SciNER任务整合，以获得更丰富的语义表示。

### 利益冲突声明

作者声明他们不存在任何已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

### 致谢

本文受国家自然科学基金资助（项目编号：72074113, 72374103）。

鲍彤 | 赵怡 | 张恒 | 张成智