融合增强型DNMF与图的上下文命名实体识别多层语义分解

《Neural Networks》：Enhanced DNMF-Graph Integrated Multilevel Semantic Factorization for Contextual Named Entity Recognition

　　

# 摘要

近年来，命名实体识别（NER）领域发生了显著变革，这主要源于对具有更强鲁棒性、上下文感知能力以及跨领域泛化能力的模型的日益增长的需求。然而，现有的最先进方法主要依赖局部上下文表示，往往无法捕捉语料库级别的语义结构，尤其是在噪声较大或低资源场景下。为解决这些局限性，本文提出了一种统一的NER系统，该系统结合了深度非负矩阵分解（DNMF）、基于词的图社区发现以及基于Transformer的条件随机场（CRF）模型。所提出的模型名为DNMF-Graph-Transformer CRF，能够充分利用不同表示层级的优势。通过对词-上下文矩阵应用DNMF，可获得若干可解释的低秩潜在语义因子，这些因子不仅补充了神经表示，还能在模型处理少量噪声数据时提升其泛化能力。接下来，生成一个词交互图来表示词之间的全局关系，从而提取出社区嵌入，以在语料库级别提供结构先验。这些特征代表了词的语义邻域和功能分组。最后，适配Transformer-CRF模型以学习文本的上下文特征。通过在CoNLL-2003、OntoNotes 5.0和WNUT 2017数据集上进行的全面实验来评估所提模型的性能。结果表明，所提模型显著优于现有的基线模型，且在噪声较多的社交媒体文本上性能提升尤为明显。

# 引言

预训练语言模型、多语言表示学习以及结构化知识在神经网络中的应用取得了巨大进展。基于这些原因，NER在过去几年中实现了显著增长。随着实体识别越来越不同于传统的序列标注范式的应用，我们迫切需要审视其三个关键方面：基于提示的学习、多语言迁移学习以及符号-神经混合模型。在很大程度上，这三个因素是影响最大的方向。事实上，这三个因素共同推动着NER向更加灵活、更具知识性的方向转变，并拓展了其在技术领域中的多样化应用。

基于提示的学习已发展成为现代NER领域最重要的学习技术之一。它不通过任务特定分类器来训练NER模型，而是遵循大语言模型的预训练目标进行训练。然而，这通常意味着将实体识别转化为掩码词元预测或跨度补全任务，从而使模型能够利用其在预训练阶段已学到的语言知识。

这些基于提示的学习模型在低资源和跨领域场景中展现了潜力，在这些场景中标注数据并不充裕。最近关于这一主题的研究揭示了提示设计的重要性。例如，Chen等人（2023）发明了一种度量学习框架，其中通过不同模板的提示来表示标签语义，其工作在少样本NER中取得了令人瞩目的性能，证明了精心设计的提示可以弥补训练数据稀缺的问题。同样地，Ashok和Lipton（2023）提出了PromptNER，这是一种采用双槽位提示模板的学习技术，可同时预测实体边界和实体类型，从而大大提高了推理速度，为跨领域鲁棒性做出了积极贡献。

连续提示或软提示也被认为是离散的、手工设计模板的良好替代品。Layegh等人（2023）通过对比学习增强了此类提示，即使在极低资源场景下也实现了模型更高的稳定性和泛化能力。同时，Ye等人（2023）将NER分解为两个基于提示的阶段——实体跨度检测后接实体类型标注，显著降低了推理成本，并且更好地适配了掩码语言建模的目标。

少数研究实现了无模板提示，其中语义锚点仅为模型提供建议而不给出明确的提示结构（He等人，2024），或者通过结构化解码实现复杂提示（Xu等人，2024），例如。总而言之，这些论文反映出基于提示的方法可以减少人工标注工作量，并提高模型迁移到不同领域的能力。

另一个关键的研究趋势是多语言和跨语言迁移学习，它致力于解决不同语言间标注数据集稀缺的问题。早期工作主要使用多语言词嵌入和手工构建的名单（Wang等人，2023），但大规模多语言预训练模型的发展显著提升了该领域的性能，尤其是在零样本或少样本场景下。

Rahimi等人（2019）证明，使用多种源语言进行跨语言迁移比单一源语言迁移能产生更稳定、更鲁棒的迁移效果。这一发现成为后续依赖丰富多语言监督的研究的重要因素。Mo等人（2023）通过多视角对比学习框架将这一概念进一步拓展，使原始文本、目标文本和代码转换文本中的实体表示保持一致。他们在40多种语言上的研究结果为对比对齐作为一种可靠方法来持续增强多语言NER性能提供了证据。

跨语言迁移在语言相关的语言之间也取得了突破。Yadav等人（2024）在对南亚语言的研究中发现，在资源丰富的语言（如印地语）上训练的模型对低资源语言（如尼泊尔语）的NER性能有着非常积极的影响。这种认识凸显了多语言表示学习作为一种有效工具在全球范围内扩展实体识别应用的重要性。

尽管基于提示的学习、多语言迁移学习和符号-神经混合方法在NER领域取得了显著进展，但每种方法都固有地存在一些不足。基于提示的方法严重依赖提示工程和大语言模型，因此导致计算成本高且在不同领域中的鲁棒性有限。虽然多语言迁移学习提升了跨语言性能，但在低资源场景下可能无法捕捉语言特有的语义细节。符号-神经混合方法有效地利用了外部知识，但可能依赖手工规则或领域特定资源，从而限制了其可扩展性。与这些传统的NER方法不同，当前需要一个能够结合潜在语义分解、基于图的结构学习和上下文序列建模的框架。通过利用语义、结构和上下文信息，该框架可以在不使用手工知识的情况下提升鲁棒性、泛化能力和NER性能。

虽然神经网络在检测上下文模式方面非常高效，但在面对领域频率差异、稀有实体或需要显式使用世界知识的任务时，有时鲁棒性不足。许多混合神经网络通过结合词典、规则或知识图谱等符号资源与神经架构来解决这些问题。

知识增强的Transformer是一个值得关注的方向，例如KARL、Trans NER（Chawla等人，2021）这样的框架，它使用知识图谱中的结构化三元组来支持Transformer编码器，从而使模型能够更好地捕捉需要真实世界上下文的依赖关系。另一个例子是GLaRA（Zhao等人，2021），它利用图神经网络动态调整符号标注规则，从而产生高质量的弱监督信号，加速下游NER训练。混合架构已被证明在处理嵌套NER等复杂结构任务时非常有效。Sui等人（2022）提出了一种名为Trigger GNN的模型，利用外部触发词和图消息传递来把握语料库中嵌套实体的层次关系。在受控环境中，例如生物医学领域的KoGNER（Zhang等人，2025）更进一步，将医学知识图谱嵌入引入神经模型，提升了消歧能力，从而更好地处理领域特定术语。

几项近期研究讨论了NER深度学习方法快速发展（Hu等人，2024）。Essa等人（2025）提出将NER与自然语言生成相结合，以增强低资源语言的语义表示。Ji等人（2023）提出整合提及级相关性以增强实体边界识别。Aejas等人（2024）对Transformer、BiLSTM-CRF和基于注意力的架构进行了详细综述，这些是当前的主流架构。此外，Wang等人（2025）提出利用机器阅读理解（MRC）和扩散模型来增强命名实体识别。在Mao等人（2024）的工作中，跨度作为图框架中的基本单元，通过图卷积网络捕捉它们之间的结构依赖关系，这种设计使模型能够有效地处理不连续实体，通过学习其组成部分在序列中如何相互关联。这些方法共同揭示了一个向鲁棒、混合及语义丰富的NER系统的范式转变。

在持续学习带来的众多问题中，灾难性遗忘是一个关键问题。在现实情况中，新的实体类型可能随时间演变，但仍缺乏标注数据。因此，保留从先前学习过程中获得的知识并将新到达的信息纳入当前模型至关重要。这种需求构成了设计鲁棒可扩展学习系统的关键障碍之一。尽管已有多种持续NER的建议（Cai等人，2025；Zhu等人，2025），但大多数现有多阶段最先进文献都假设每个后续增量阶段都有足够的标注数据可用。标注实体提及既昂贵又耗时，而新实体的出现通常伴随着监督信号的不足。这种需求促使我们研究一个更具实际意义和挑战性的框架——持续少样本命名实体识别（CFNER）（Parisi等人，2019）。在CFNER中，模型首先使用大型基础语料库进行训练，然后在每个后续阶段引入极少量的标注数据（例如，每个实体类别仅五个样本）。在CFNER中，简单的微调策略面临两个主要问题：对已有类别的遗忘和对新类别的过拟合（因训练数据不足），影响泛化能力。在之前的研究中，提出了FSINER等技术，它结合了使用模型反演和知识蒸馏技术的样本生成方法。尽管该策略取得了一定的成功，但它对生成样本的质量非常敏感，且没有为类别提供显式的边界细化，因此其在保留旧知识和获取新知识方面的表现令人不满意。

尽管近期最先进的NER模型能够产生显著的结果，但它们高度依赖上下文嵌入，无法充分利用全局语义结构和词级连接。此外，由于语义泛化能力差和灾难性遗忘，这些模型在噪声大、低资源和持续学习场景下表现不佳。许多现有的NER方法使用图神经网络、依存图、句法图或知识图谱来改进命名实体的上下文嵌入。尽管这些方法在利用结构信息方面取得了成功，但它们依赖于预定义的语言结构、知识库或图传播技术，因此不够灵活，无法用于噪声较多或领域特定的文本。此外，知识增强方法使用名单或外部知识资源来补充上下文嵌入，但同样需要领域特定资源。为解决这些问题，本研究提出了一种统一的NER框架，旨在增强语义表示、鲁棒性和可解释性以改进NER。该框架包括使用DNMF组件提取可解释的潜在语义表示以在稀疏和噪声数据下提高鲁棒性，以及检测词图中的社区以捕捉语料库级别的结构依赖关系。

表1展示了所提出的框架与基于图的命名实体识别（NER）相关工作以及知识增强NER系统的对比。本文的关键贡献总结如下：

• 所提出的模型将DNMF、基于token的图社区检测和Transformer-CRF相结合，以联合捕捉语义含义、token间关系和上下文依赖，从而实现更具表现力的token表示。

• DNMF被用于从token-上下文数据中学习紧凑且可解释的语义特征，这些特征作为实体分类的辅助信号，增强了在噪声和低资源条件下的鲁棒性。

• 构建了一个token交互图，其中社区检测识别出有意义的token组，这些token组充当动态的、无需标注的专有名词词典（gazetteer）。

• 模型在解码过程中整合了局部上下文信息和全局语料库级信号，改善了实体边界检测、预测一致性和可解释性，即使在少样本条件下也是如此。

**章节片段**

**方法**
本研究的切入点在于深度矩阵分解、基于图的社区检测和面向NER的现代神经架构三者的交汇之处。本文阐明了每种方法的基本原理，并解释了它们的组合如何构成论文的主要贡献。

**实验**
本节详细介绍了用于评估所提出的DNMF-Graph-Transformer CRF框架在NER任务中性能的实验设置。本节讨论了数据集、基线模型、实现细节、评估指标和实验协议。实验的主要目标是测试基于DNMF的分层语义信息和基于图的社区信息如何影响不同语言的NER结果。

**消融实验**
以下消融实验量化了所提出框架中每个组件的贡献。

**案例分析**
为了开发有效的案例研究，从每个语料库中挑选了具有代表性的句子，以反映NER中存在的一些问题，如实体起止点确定的歧义性、标签定义困难以及社交媒体网站上非标准的书写方式。在这些句子中，正确识别的实体用方括号[]括起来，而错误预测的实体则用红色标示。

**结论**
本文提出了一种综合的命名实体识别框架，通过整合深度非负矩阵分解（DNMF）、token级图社区检测和Transformer-CRF模型，充分利用文本数据中存在的互补语义、结构和上下文信息。通过将DNMF应用于token-上下文矩阵，模型可以发现神经表示未能捕捉到的潜在语义因子。同时，……

**资助**
本研究未获得任何资金、拨款或其他财务支持。

**贡献**
所有作者贡献均等。

**利益冲突**
作者没有需要披露的相关财务或非财务利益。

**伦理批准与参与同意**
不适用。

**发表同意**
不适用。

**竞争利益**
作者声明不存在竞争利益。

**CRediT作者贡献声明**
Pallabi Kakati：撰写–初稿、可视化、验证、软件、方法论、调查研究、形式分析、数据整理、概念化。
Devendra Dandotiya：撰写–审阅与编辑、撰写–初稿、调查研究、概念化。

**竞争利益声明**
作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。

Pallabi Kakati | Devendra Dandotiya