FSE：基于快慢专家的命名实体识别持续学习方法

《Pattern Recognition Letters》：FSE: Continual Learning for Named Entity Recognition by Fast-Slow Experts

　　

• •
  我们引入令牌链接信息来改进基于跨度的CLNER模型。
• •
  我们提出了FSE，这是一种具备快慢专家结构的架构，适用于持续学习场景。
• •
  大量实验表明，FSE在CLNER任务中的性能优于其他竞争模型。

引言

持续学习对于推动可进化的人工通用智能发展至关重要，它能够让模型从流式数据中获取新知识[1]。在这一领域中，用于命名实体识别的持续学习技术是开发需要动态适应变化场景的实时应用或个性化应用的关键。命名实体识别旨在从非结构化文本中提取实体，而CLNER则进一步实现了随着时间推移逐步学习新实体类型的同时，不会遗忘之前学过的实体类型[2]。例如，在通过医学文本训练学会识别医学术语后，该模型仍能准确识别之前学过的实体类型，如人物和地点，无需重新从头开始训练。

CLNER始终面临灾难性遗忘问题[3]、[4]，即在新任务上训练的模型往往会迅速破坏之前学到的知识。为缓解这一问题，传统的命名实体识别模型通常会采用知识蒸馏或模型扩展等抗遗忘技术。与此同时，这些努力也推动了命名实体识别技术从序列标注方法向基于跨度的方法转变[5]。本文重点研究基于跨度的方法，这类方法能够枚举并分类所有可能的文本跨度，从而提供更丰富的表示形式，并往往能获得更好的性能。值得注意的是，由于强大的泛化能力，近期出现的大型语言模型在CLNER任务中也展现出了巨大潜力。然而，实证研究[6]表明，这些大型语言模型的性能仍然不如那些规模较小、专为命名实体识别设计的基于Bert的模型。此外，大型模型庞大的计算需求以及参数动态更新带来的挑战，也阻碍了其在实际应用中的部署。

因此，基于跨度的CLNER方法依然更具优势，但我们认为仍存在两个方面的未解决挑战：第一，在持续学习过程中，不同任务之间的干扰可能导致参数更新出现冲突。因此，能够明确建模任务间共享信息的模型有助于提升这一过程的稳定性。然而，现有的基于跨度的方法仅共享Bert基础编码器，未能挖掘出命名实体识别所特有的、可在不同任务之间共享的高级信息。例如，某个跨度文本“[PER] at”（表示人物实体，但后面跟着介词）在之前的任务中被识别为非实体跨度，那么在后续任务中它也很少可能被认定为实体。这类知识是可以被共享的。第二，随着学习的深入，模型的可塑性会逐渐下降[7]，这使得学习新的实体类型变得越来越困难。因此，减轻每个任务的学习负担有助于推动持续学习的发展。例如，对于某个已被识别为非实体的跨度“[PER] at”，模型也应能够轻松地将扩展后的跨度“[PER] at the”同样识别为非实体。

为此，我们提出，通过合理设计相邻令牌之间的“链接”关系，可以同时解决上述两个问题。具体而言，我们引入了一种名为FSE的快速-慢速专家增强型基于跨度模型，其中快速专家负责处理这些链接关系，而慢速专家则负责在每个任务中进行常规的跨度分类。如图1所示，对于包含个令牌的句子，传统的基于跨度的模型需要逐一枚举所有$0.5(n^2?n)$个跨度，以便为每个任务识别实体。而我们的快速专家首先会学习相邻令牌之间数量相对较少的链接关系（$n?1$）。我们规定，实体跨度内的链接均为强链接，而非实体跨度则至少包含一个弱链接。需要指出的是，这种链接机制仅仅是人为施加在模型上的归纳偏见，具体的链接强度仍需由模型在训练过程中自动学习确定。基于这样的设计，我们预计一旦快速专家学会了弱链接关系（比如“[PER] at”之间的链接），那些包含该链接的庞大跨度就可以被迅速过滤掉。之后，慢速专家就可以专注于剩余的较少跨度。这大大减轻了慢速专家的跨度学习负担，而快速专家的共享机制也有助于后续任务中的新慢速专家更好地开展工作。

在实现层面，为了避免错误传播，我们会共同优化快速专家和慢速专家的功能。首先，快速专家会运用软最小池化算法，将某个跨度内所有已学习的链接得分汇总为该跨度的“快速得分”，这样一来，一旦检测到弱链接，该跨度的快速得分就会保持较低水平。接着，这个快速得分会与慢速专家为该跨度生成的输出得分相结合，只有当快速专家确认存在强链接，且慢速专家也认定其为有效实体时，才会将该实体识别出来。不符合这两个条件的跨度则会被直接排除。在持续学习过程中，我们会利用知识蒸馏技术，提取之前任务中两种专家组合的输出结果，以此传递先前的知识。此外，由于快速专家在过滤跨度方面效率较高，因此在进行显式学习时所需的负样本数量也会减少。这就使得旨在缓解基于跨度模型中固有的正负跨度不平衡问题的负采样技术显得尤为适用。我们提出了一种基于跨度长度的衰减型负采样策略，该策略会根据跨度的长度调整采样概率，这一策略既可用于当前任务的训练，也可用于旧任务的知识迁移。

在基于OntoNotes和FewNERD数据集进行的大量实验中，FSE的表现十分出色，其性能在包括大型语言模型方法在内的各类基准模型中均处于最优水平。本文的贡献主要包括：

• •
  我们发现了相邻令牌链接关系在提升基于跨度的CLNER模型的稳定性和可塑性方面的潜力。
• •
  我们提出了经过共同优化的快速-慢速专家结构，用于增强传统的基于跨度的CLNER模型。其中快速专家利用链接关系引导慢速专家进行跨度建模，这不仅降低了特定任务的学习难度，还促进了任务间的知识共享。
• •
  包括基于大型语言模型的竞争模型在内的大量实验都表明，我们的FSE在CLNER任务中具有更出色的性能。

章节节选

相关工作

命名实体识别是自然语言处理领域中信息提取技术的核心，其目标是从非结构化文本中识别出预定义的实体类型。传统上，命名实体识别是通过在神经网络表示的基础上采用条件随机场技术来实现序列标注的[8]、[9]。与之不同，基于跨度的方法会枚举文本中的所有可能跨度，然后直接对这些跨度进行分类，无需进行BIO标注格式的转换，同时还能处理嵌套实体[10]、[11]。此外，机器学习

方法

在本节中，我们首先明确CLNER的定义，随后介绍FSE的基础架构，包括慢速专家、快速专家以及二者之间的协作机制。最后，我们会阐述所采用的训练技术。

实验

在本节中，我们首先介绍所使用的数据集和评估指标，接着说明训练细节以及选用的基准模型。之后我们会展示整体的性能对比结果，并进行消融实验分析。最后，我们会探讨模型的学习效率，并提供相关的可视化示例。

结论

本文提出了一种名为FSE的快速-慢速专家增强型基于跨度的CLNER模型。快速专家通过建模相邻令牌之间的共享链接关系，来过滤掉不同任务中不太可能的跨度，从而降低任务间的干扰，提升模型的稳定性。慢速专家则可以高效地处理剩余的跨度，减轻学习负担，进而提高模型的可塑性。我们还为这两种专家设计了基于跨度长度的衰减型负采样策略，用于解决跨度不平衡的问题。通过在多种数据集上进行的全面实验

CRediT作者贡献声明

张云安：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件开发，方法设计，研究分析，形式化分析，数据整理，概念构建。范阳：写作——审阅与编辑，可视化。李恒：写作——审阅与编辑，软件开发。吴向平：写作——审阅与编辑，监督指导，资源协调。陈庆才：写作——审阅与编辑，监督指导，资源协调，资金筹集。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

张云安|范阳|李恒|吴向平|陈庆才