NERLLM:本地命名实体识别模型与大型语言模型的高效整合技术

《Expert Systems with Applications》:NERLLM: Efficient Integration of Local NER Models and Large Language Models for Named Entity Recognition

【字体: 大 中 小 】 时间:2026年08月02日 来源:Expert Systems with Applications 9.4

编辑推荐:

  •这种注重预算的混合式命名实体识别方法将本地模型与选择性的大语言模型重新检查相结合。•通过基于片段级别的路由机制,将可靠性较低的预测结果单独处理,从而节省大语言模型的使用成本。•多阶段的大语言模型处理流程能够主动修正实体标签并优化实体边界。•该框架提升了命名实体识别的准确率,同时

  
  • •
    这种注重预算的混合式命名实体识别方法将本地模型与选择性的大语言模型重新检查相结合。
  • •
    通过基于片段级别的路由机制,将可靠性较低的预测结果单独处理,从而节省大语言模型的使用成本。
  • •
    多阶段的大语言模型处理流程能够主动修正实体标签并优化实体边界。
  • •
    该框架提升了命名实体识别的准确率,同时实现了准确性与效率之间的平衡。

引言

命名实体识别是一种基础的信息提取任务,其功能是识别文本中的实体片段并为其赋予语义类型(Li, Sun, Han, & Li, 2022)。所提取的结构化实体信息可广泛应用于网页内容分析、信息检索和数据挖掘等后续处理流程中(Ma, Hiraoka, & Okazaki, 2022)。
传统的命名实体识别系统会针对标注好的数据集对诸如BERT之类的领域专用编码器进行微调,且通常在相似的训练-测试数据分布条件下进行评估。然而,已有研究指出,由于数据分布差异以及目标领域的监督数据有限,这类系统的性能会出现显著下降(Peng et al., 2021)。此外,新兴的、罕见的或含义模糊的实体也会进一步降低识别效果,进而影响整体的识别准确率(Xu, Zheng, Cai, & Chua, 2023)。在动态新闻和社交媒体文本当中,这种情况更为明显,因为其中的实体形式变化迅速,且上下文信息往往不够明确,比如“Amazon”既可能指公司,也可能指亚马逊河(Ushio, Barbieri, Sousa, Neves, & Camacho-Collados, 2022)。最近的研究还表明,通过明确识别出置信度较低的预测结果,并利用外部知识或校正信号,可以提高系统的适应性(Nishida, Yoshinaga, & Nishida, 2024)。这些研究结果都反映出本地命名实体识别模型在跨领域应用方面的局限性。
得益于ChatGPT等系统的推动,大型语言模型因在海量语料库上的预训练而具备了丰富的世界知识以及强大的上下文推理能力。这也使得人们越来越倾向于将大型语言模型应用于命名实体识别任务中(Blevins, Gonen, & Zettlemoyer, 2023;Zhang, Li, Ma, Zhou, & Zou, 2023a)。不过,大型语言模型本身并非为片段级实体提取而设计:它们的下一个词生成方式与传统命名实体识别流程中的检测-分类模式不同,这种方式可能会破坏实体片段的完整性,从而导致识别精度下降(Zhang, Zhao, Gao, & Hu, 2024)。虽然通过指令微调可以提升任务匹配度,但这需要大量的标注数据和高性能的计算资源,限制了该方法的实际应用范围(Qi et al., 2023)。
为了充分发挥各种方法的优点,近期有一些研究尝试构建混合式处理流程,即将本地命名实体识别模型与基于大型语言模型的验证机制相结合,仅将那些不确定性较高的预测结果交由大型语言模型处理(Chen et al., 2024;Zhang et al., 2024),同时还有一些研究在实际应用场景中探索了基于大型语言模型的命名实体识别框架(Zhang, Liu, Zhong, & Wu, 2025)。不过,目前仍存在两个主要问题。首先,目前的路由机制通常依赖启发式的置信度信号,而在严格的API使用成本限制下,这类信号可能无法始终有效地识别出真正的预测错误。其次,大型语言模型的应用往往仅限于删除有问题的预测结果,而非对它们进行系统性修复。因此,那些仅边界正确但标签有误的片段,或是整体大致正确但边界存在细微误差的实体信息,都可能被直接丢弃,从而导致有用信息的损失。
鉴于上述局限性,我们提出了NERLLM——一种注重成本效率的混合式命名实体识别框架,旨在更好地整合本地命名实体识别模型与大型语言模型的优势。首先,NERLLM并非仅仅依赖固定的启发式置信度阈值,而是将片段路由视为在大型语言模型使用资源有限的情境下的优先级分配问题,从而将那些更有可能从大型语言模型的重新检查中受益的预测结果优先处理。该框架采用了一种轻量级的、经过学习的片段级路由模块,该模块能够利用本地模型的置信度信号以及简单的统计特征来评估预测结果的可靠性,这样就能比基于启发式的路由策略更精准地确定需要由大型语言模型处理的错误片段。其次,NERLLM将大型语言模型作为修正工具,而不仅仅作为过滤手段。对于置信度较低的片段,不仅会判断其是否被接受或拒绝,还会通过多阶段的重新检查过程对其进行标签修正、边界优化以及冲突解决,必要时还会增加二次验证步骤以提高系统的稳定性。我们的主要贡献如下:
  • •
    提出了一种注重成本效率的混合式命名实体识别优化框架,通过结合本地命名实体识别模型与选择性的大型语言模型重新检查机制,实现了高效且准确的命名实体识别。
  • •
    引入了一种经过学习的片段级路由机制,能够优先处理可靠性较低的预测结果,从而在实际应用中提高错误片段的占比。
  • •
    设计了一种以修正为核心的多阶段大型语言模型重新检查流程,不仅可以修正实体标签、优化实体边界,还能解决不同实体之间的冲突,突破了传统仅依靠过滤机制的验证方式。
  • •
    通过在三个不同的数据集、三种不同的本地模型以及三种不同的大型语言模型上进行的实验,证明了该框架相较于现有基准方法具有更好的性能,同时也分析了其在准确性与效率之间的平衡关系。

章节要点

相关研究

本节将回顾现有的命名实体识别相关研究成果,为本文提出的方法提供背景支撑。我们首先总结基于本地模型的命名实体识别技术的发展历程,接着介绍基于大型语言模型的命名实体识别方法的出现情况,最后分析近期出现的混合式及基于验证的命名实体识别处理流程,以此凸显本文框架所要解决的现有研究缺口。

方法

本节将详细介绍NERLLM框架的架构及其运行流程。首先我们会明确该框架要解决的问题,并阐述其路由策略,随后介绍用于识别低置信度片段的置信度评分器,接着介绍用于系统性地检查和修正被路由到的片段的多阶段大型语言模型重新检查模块。
如图1所示,NERLLM是一种混合式优化框架,它并非对整个文本进行大型语言模型处理,而是通过选择性使用大型语言模型来提升命名实体识别的性能。该框架的

实验分析

本节将对NERLLM的性能进行实证评估。我们会先介绍所使用的数据集、基准模型以及实验设置,随后对比分析不同模型下的识别性能。最后,我们还会通过消融实验以及相关分析,明确框架中各个组件的作用与贡献。

局限性与未来工作

尽管NERLLM在实验环境中提升了识别的精确率和召回率,但我们也需要认识到其存在的局限性。具体来说,该框架的设计目的是修正本地命名实体识别模型产生的错误实体片段的标签或边界信息。由于NERLLM仅作为一种优化工具,大型语言模型重新检查模块只会处理本地模型最初识别出的候选片段。因此,如果本地模型完全遗漏了某个实体,

结论

在本文中,我们提出了NERLLM——一种混合式的命名实体识别框架,该框架结合了本地命名实体识别模型的高效性及领域适配性,以及大型语言模型的上下文推理能力。通过选择性地对低置信度预测结果进行重新检查,而非对整个输入文本都应用大型语言模型,NERLLM在减少不必要的模型使用的同时,依然能够发挥大型语言模型在修正识别结果方面的优势。NERLLM主要由两个核心组件构成:一个是置信度评分器,用于识别那些很可能

数据可用性

本研究中所分析的所有数据集,包括CleanCoNLL、WNUT’16、WNUT’17、FiNER-ORD以及Weibo-NER,均为公开可用的基准数据集。

CRediT作者贡献说明

陈乔川:论文撰写——审稿与编辑、资金获取、研究指导、结果验证。陈桑:论文撰写——初稿撰写、概念构思、方法设计、软件开发、结果验证、形式化分析、研究调查、数据整理、结果可视化。张睿:论文撰写——审稿与编辑、研究指导、结果验证。王冰:论文撰写——审稿与编辑、研究指导、结果验证。韩越星:论文撰写——审稿与编辑、研究指导、项目管理工作。

利益冲突声明

所有作者均声明,他们不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。
陈乔川|陈桑|张睿|王冰|韩越星
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号