法庭中的命名实体识别：面向法律实体抽取的数据驱动框架

《Information Processing & Management》：NER in the courtroom: A data-driven framework for legal entity extraction

　　

通用命名实体识别（NER）模型在法律领域的领域特定挑战中表现不足。本研究设计了一种面向法律文本结构化实体抽取的新型框架，并定义了一种适配刑法领域的增强版OntoNotes本体。研究在意大利法院的真实数据集上对该框架进行了全面评估。法律领域尤为具有挑战性，因为案件管理过程中持续增长的文件量需要不断增加人力投入。此外，法律信息主要涉及个人和机密数据的处理，包括客户与律师之间的通信、个人标识符、案件细节及专有法律策略等敏感信息。法律文件还以复杂冗长的句子结构、错综复杂的句法以及频繁使用长复合词实体为特征。大型语言模型（LLMs）凭借其理解与生成高度贴近人类语言文本的能力，能够捕捉复杂的语言模式并以高精度执行广泛的自然语言处理（NLP）任务。本研究提出了一种数据驱动框架，利用统计机器翻译（SMT）模型和微调后的LLMs，基于一种融合了法律领域定制实体集合的新型本体，从法律文件中提取关键概念及其关联类别。该框架旨在支持法律从业者管理复杂的刑事法律文件（如讯问笔录和搜查扣押报告）。研究在来自意大利四家法院的100余份法律文件组成的真实数据集上对框架进行了评估，标注过程由法律从业者和研究人员共同参与以确保高质量的标注。

论文解读：法庭中的命名实体识别——面向法律实体抽取的数据驱动框架

一、研究背景与问题

命名实体识别（NER）作为自然语言处理（NLP）领域的基础性任务，旨在识别文本中的命名实体并将其归类至预定义类别（如人物、地点、组织等）。NER是信息检索、问答系统和机器翻译等多项下游应用的关键预处理步骤。随着人工智能（AI）在法律领域的深度融合，即所谓的LegalAI，旨在减轻法律从业者的繁重重复性工作并提供可负担的法律援助形式，法律命名实体识别（Legal NER）成为该领域的重要应用方向之一。

然而，法律领域对NER技术提出了特殊挑战。首先，法律文件在处理过程中持续增长，需要不断增加人力投入。其次，法律领域要求对法律原则和司法程序具备专业知识，这涉及对复杂法律学说和程序规则的深入理解。第三，法律信息主要涉及个人和机密数据的处理，包括客户与律师之间的通信、个人标识符、案件细节及专有法律策略等敏感信息，保密性和隐私性要求严格的数据保护措施。第四，法律文件以复杂冗长的句子结构、错综复杂的句法以及频繁使用长复合词实体为特征，需要先进技术来准确解析输入文件并识别其中包含的实体。此外，在刑事程序中，NER技术面临更多挑战，这些困难源于上述结构复杂性以及法律文本固有的语义歧义性，后者高度依赖上下文。

通用NER模型在法律语境中的有效性有限，这促使研究者探索专门化的方法。大型语言模型（LLMs）凭借其理解与生成高度贴近人类语言文本的能力，能够捕捉复杂语言模式并以高精度执行广泛NLP任务，为法律实体抽取提供了新的可能性。然而，现有研究存在若干不足：多数模型主要在英语通用或新闻领域内容上训练，在应用于其他语言的法律领域时效果可能受限；现有生成式方法常需在准确性和效率之间权衡；大多数现有方法在句子层面工作，而法律文本中的句子边界检测因多样化的标点、句法和特殊文本格式而极具挑战性。该论文发表在《Information Processing 》。

二、研究内容与主要技术方法

研究人员提出了一种数据驱动框架，该框架结合统计机器翻译（SMT）模型和微调后的大型语言模型（LLMs），从法律文件中提取关键概念及其关联类别。该框架基于一种融合了法律领域定制实体集合的新型本体。研究采用了两阶段架构设计：第一阶段将复杂的法律文件分割为有意义的段落；第二阶段采用微调后的LLMs从分段文本中提取关键实体。

在技术方法层面，研究主要运用了以下关键技术：一是本体论增强，研究人员扩展了OntoNotes5本体，整合了源自刑事程序文本的实体和领域特定概念；二是参数高效微调（PEFT）策略，特别是低秩适应（LoRA）技术，通过向自注意力层注入低秩矩阵，大幅减少可训练参数数量；三是量化低秩适应（QLoRA）技术，引入NF4数据类型、双重量化和内存峰值管理等优化技术，使得在单个专业GPU上运行大型模型成为可能；四是统计机器翻译（SMT）模型与LLMs的协同应用。研究使用的数据集来自意大利反黑手党和反恐国家管理局（DNAA）提供的真实文件，构建了约1500个样本的数据集，覆盖来自意大利四家法院的100余份法律文件，标注过程由法律从业者和研究人员共同参与以确保高质量。

三、研究结果

本体论增强结果。 研究人员定义了适配刑法领域的增强版OntoNotes本体，通过整合源自刑事程序文本的实体和领域特定概念，确保了对法律语义的更好表征。该本体涵盖了人物（PERSON）、组织（ORGANIZATION）、法律角色（LegalRole）、条款编号（ArticleNumber）等多种实体类型，为法律实体抽取提供了更全面的分类体系。

框架有效性评估结果。 研究人员在来自意大利四家法院的真实数据集上对框架进行了综合评估。通过对比不同微调LLMs的性能，研究验证了所提出框架在法律文件实体抽取方面的有效性。研究结果表明，在低资源语言环境下，对小模型进行领域特定专业化处理是其在NER任务中发挥效用的必要条件。

微调策略效果结果。 研究验证了PEFT和QLoRA技术在法律领域模型微调中的有效性。LoRA技术大幅减少了可训练参数数量（通常超过10000倍），同时保持竞争性性能并避免灾难性遗忘现象。QLoRA技术则使得在隐私和数据敏感性要求严格的场景中，能够在认证和受限环境中进行本地微调，避免将敏感数据传输至外部系统。

四、讨论与结论

在讨论部分，研究人员指出，法律领域NER面临的主要挑战包括数据集的稀缺性、法律语言的复杂性以及隐私保护要求。调查显示，在法律领域工作的研究中，近60%的学术论文不公开数据或代码，主要原因在于所用数据的隐私性。在低资源语言环境下，由于分析文件以意大利语撰写且属于DNAA运作的特定法律领域，专有模型的使用受到限制，因此需要采用在认证和受限环境中部署的模型。

研究结论部分指出，该研究提出了一种数据驱动框架，通过结合SMT模型和微调后的LLMs，基于新型本体从法律文件中提取关键概念及其关联类别。该框架旨在支持法律从业者管理复杂的刑事法律文件，通过增强而非替代现有手动文档管理流程，减少低效并最小化错误，同时保持人工监督。研究的创新点包括：设计了两阶段框架以处理刑事程序中法律文件的复杂结构和专业语言；扩展了OntoNotes5本体以整合法律领域特定概念；在来自意大利四家法院的真实标注数据集上评估了多种微调LLMs的有效性。该研究为法律领域NER提供了一种兼顾准确性和计算效率的解决方案，特别适用于隐私敏感和资源受限的法律应用场景。