引言
命名实体识别是一种基础的信息提取任务,其功能是识别文本中的实体片段并为其赋予语义类型(Li, Sun, Han, & Li, 2022)。所提取的结构化实体信息可广泛应用于网页内容分析、信息检索和数据挖掘等后续处理流程中(Ma, Hiraoka, & Okazaki, 2022)。
传统的命名实体识别系统会针对标注好的数据集对诸如BERT之类的领域专用编码器进行微调,且通常在相似的训练-测试数据分布条件下进行评估。然而,已有研究指出,由于数据分布差异以及目标领域的监督数据有限,这类系统的性能会出现显著下降(Peng et al., 2021)。此外,新兴的、罕见的或含义模糊的实体也会进一步降低识别效果,进而影响整体的识别准确率(Xu, Zheng, Cai, & Chua, 2023)。在动态新闻和社交媒体文本当中,这种情况更为明显,因为其中的实体形式变化迅速,且上下文信息往往不够明确,比如“Amazon”既可能指公司,也可能指亚马逊河(Ushio, Barbieri, Sousa, Neves, & Camacho-Collados, 2022)。最近的研究还表明,通过明确识别出置信度较低的预测结果,并利用外部知识或校正信号,可以提高系统的适应性(Nishida, Yoshinaga, & Nishida, 2024)。这些研究结果都反映出本地命名实体识别模型在跨领域应用方面的局限性。
得益于ChatGPT等系统的推动,大型语言模型因在海量语料库上的预训练而具备了丰富的世界知识以及强大的上下文推理能力。这也使得人们越来越倾向于将大型语言模型应用于命名实体识别任务中(Blevins, Gonen, & Zettlemoyer, 2023;Zhang, Li, Ma, Zhou, & Zou, 2023a)。不过,大型语言模型本身并非为片段级实体提取而设计:它们的下一个词生成方式与传统命名实体识别流程中的检测-分类模式不同,这种方式可能会破坏实体片段的完整性,从而导致识别精度下降(Zhang, Zhao, Gao, & Hu, 2024)。虽然通过指令微调可以提升任务匹配度,但这需要大量的标注数据和高性能的计算资源,限制了该方法的实际应用范围(Qi et al., 2023)。
为了充分发挥各种方法的优点,近期有一些研究尝试构建混合式处理流程,即将本地命名实体识别模型与基于大型语言模型的验证机制相结合,仅将那些不确定性较高的预测结果交由大型语言模型处理(Chen et al., 2024;Zhang et al., 2024),同时还有一些研究在实际应用场景中探索了基于大型语言模型的命名实体识别框架(Zhang, Liu, Zhong, & Wu, 2025)。不过,目前仍存在两个主要问题。首先,目前的路由机制通常依赖启发式的置信度信号,而在严格的API使用成本限制下,这类信号可能无法始终有效地识别出真正的预测错误。其次,大型语言模型的应用往往仅限于删除有问题的预测结果,而非对它们进行系统性修复。因此,那些仅边界正确但标签有误的片段,或是整体大致正确但边界存在细微误差的实体信息,都可能被直接丢弃,从而导致有用信息的损失。
鉴于上述局限性,我们提出了NERLLM——一种注重成本效率的混合式命名实体识别框架,旨在更好地整合本地命名实体识别模型与大型语言模型的优势。首先,NERLLM并非仅仅依赖固定的启发式置信度阈值,而是将片段路由视为在大型语言模型使用资源有限的情境下的优先级分配问题,从而将那些更有可能从大型语言模型的重新检查中受益的预测结果优先处理。该框架采用了一种轻量级的、经过学习的片段级路由模块,该模块能够利用本地模型的置信度信号以及简单的统计特征来评估预测结果的可靠性,这样就能比基于启发式的路由策略更精准地确定需要由大型语言模型处理的错误片段。其次,NERLLM将大型语言模型作为修正工具,而不仅仅作为过滤手段。对于置信度较低的片段,不仅会判断其是否被接受或拒绝,还会通过多阶段的重新检查过程对其进行标签修正、边界优化以及冲突解决,必要时还会增加二次验证步骤以提高系统的稳定性。我们的主要贡献如下:
- •
提出了一种注重成本效率的混合式命名实体识别优化框架,通过结合本地命名实体识别模型与选择性的大型语言模型重新检查机制,实现了高效且准确的命名实体识别。
- •
引入了一种经过学习的片段级路由机制,能够优先处理可靠性较低的预测结果,从而在实际应用中提高错误片段的占比。
- •
设计了一种以修正为核心的多阶段大型语言模型重新检查流程,不仅可以修正实体标签、优化实体边界,还能解决不同实体之间的冲突,突破了传统仅依靠过滤机制的验证方式。
- •
通过在三个不同的数据集、三种不同的本地模型以及三种不同的大型语言模型上进行的实验,证明了该框架相较于现有基准方法具有更好的性能,同时也分析了其在准确性与效率之间的平衡关系。