面向法律合同自动化之语言模型(language model, LM)技术评估：条款抽取(clause extraction)、分类(classification)与摘要生成(summarization)

《Frontiers in Artificial Intelligence》：Technical evaluation of language models adapted for the automation of legal contracts: clause extraction, classification, and summarization

　　

摘要：法律合同管理中日益增长的自动化需求暴露出当前语言模型(language model, LM)的一个持续性局限——对法律语言的语义、结构及监管约束缺乏充分适配。尽管大语言模型(large language model, LLM)在通用自然语言处理(natural language processing, NLP)任务上表现良好，但其直接应用于法律文档分类(document classification)、条款抽取(clause extraction)与合同摘要生成(contract summarization)时常产生不稳定且在法律上不可靠的输出。本研究提出一套结构化方法论流程，用于评估和适配语言模型以适用于法律合同自动化，将开源模型的领域特定微调(domain-specific fine-tuning)与仅以推理(inference)模式运行的大型通用LLM受控对比评估相结合。该方法整合法律语料策展、条款级标注及高效适配技术，并在三项核心任务上评估：合同文档分类、规范性条款抽取及监管摘要生成。评估协议被显式设计为解耦监督(supervision)效应与受监管法律环境下的部署约束(deployment constraints)。实验结果表明，法律适配模型较通用基线取得一致且统计显著的性能提升(p < 0.01)，分类任务Macro-F1达0.921，条款抽取span-level F1达0.903，摘要生成ROUGE-L达0.886。鲁棒性分析及交叉验证证实其在异质私营部门合同类型上的稳定性。上述发现应基于所评估的比较体系进行解读，并突出表明：在受法律约束的多阶段工作流中，当通用LLM仅限于推理部署时，任务对齐的监督可提供不可归结为单纯模型规模扩大的可度量结构性收益。

论文解读：《Technical evaluation of language models adapted for the automation of legal contracts: clause extraction, classification, and summarization》发表于Frontiers in Artificial Intelligence

一、研究背景与动机

通用预训练语言模型(language model, LM)及大语言模型(large language model, LLM)虽在开放域NLP任务表现出色，但直接迁移至法律领域面临显著挑战：法律语言具高度结构化、语境依赖及形式约束特征，含密集规范性引用与管辖权相关解释，轻微文本偏差可致重大法律后果。现有研究表明通用LM在法律任务上常输出不稳定或不可解释结果，限制其实际可靠性。先前法律NLP研究多孤立评估单一任务（如仅分类或仅抽取），未整合多阶段处理流程，亦未明确区分监督机制、部署约束（如仅API推理vs可微调开源模型）与领域对齐(domain alignment)的交互效应。因此，研究人员开展了此项研究，设计受控实验体系，系统比较经法律领域适配(domain-adapted)的开源模型与仅推理模式通用LLM，在合同文档分类、条款抽取(clause extraction)与监管摘要生成(regulation summarization)三项任务上的表现，以量化监督vs规模(supervision-versus-scale)权衡，证实领域适配与结构化评估在法律自动化中的必要性及可行性。

二、主要关键技术方法

研究人员选用三个公开基准数据集：LexGLUE（含EURLEX多标签立法文档分类子集与CaseHold判例推理子集）、LEDGAR企业合同条款分类与抽取语料、EURLEX Summarization Corpus欧盟立法摘要语料；数据经法律文书专用WordPiece分词、结构清洗与主题过滤后按7:1.5:1.5分层划分。对比模型涵盖通用架构——BERT-base（分类/抽取）、T5-base（摘要生成）、GPT-3.5/GPT-4（零/少样本推理仅模式）；法律领域模型——Legal-BERT（欧陆法律语料预训练）、CaseLawBERT（美国判例语料预训练）；及高效适配变体——LoRA( Low-Rank Adaptation)、QLoRA(Quantized LoRA)微调BERT/T5系列、prompt tuning。训练用AdamW学习率3×10^?5，批大小16，全微调3–5 epoch，LoRA/QLoRA/prompt tuning可达10 epoch，输入长度分类/抽取512 token、摘要1024 token。评估指标分别为分类用Macro-F1与ROC-AUC，条款抽取用span-level F1、Exact Match(EM)与token-level Intersection over Union(IoU)，摘要生成用ROUGE-1/2/L、BLEU及BERTScore；辅以分层交叉验证与Wilcoxon符号秩检验(p < 0.05视为显著)。

三、研究结果

4.1 Performance in legal document classification（法律文档分类性能）

于EURLEX与LEDGAR数据集评估，Legal-BERT获最高Macro-F1均值81.48±0.64，CaseLawBERT为80.47±0.87，LoRA-Legal-BERT为79.78±0.54；BERT-base仅75.86，GPT-3.5仅71.79且变异度大。ROC-AUC趋势相同但差距缩小。箱线图显示法律适配模型分布紧凑无离群值，GPT-3.5离散宽；相关性分析表明参数量与稳定性呈负相关(r = ?0.71)，但LoRA用小参数量亦获低漂移。结论：法律领域预训练不仅提升准确率，还稳定预测行为，适合自动化法律系统。

4.2 Results of contractual clause extraction（合同条款抽取结果）

于LEDGAR评估五类条款（保密Confidentiality、责任Liability、终止Termination、管辖Jurisdiction、不可抗力Force Majeure）。Legal-BERT平均span-level F1为0.812（保密条款达0.923），Exact Match为0.665；BERT-base为0.730/0.597，GPT-3.5为0.750/0.595。CaseLawBERT在复杂条款（终止、不可抗力）IoU分别达0.845与0.803。错误类型分析显示法律模型主要犯边界偏移(Boundary Shift, ~14%)，GPT-3.5大量漏检(Missed, ~25%)，BERT-base多局部匹配(Partial Match, >30%)。结论：法律领域编码器更准确定位完整条款跨度且错误模式可控，通用模型易漏检或边界不准。

4.3 Evaluation of the generation of regulatory summaries（监管摘要生成评估）

于EURLEX摘要语料，BART-base获最高ROUGE-L 46.3±1.5、BERTScore 0.882；Legal-BERT与CaseLawBERT ROUGE-L分别为42.7与43.5，BERTScore达0.870与0.875；GPT-3.5零样本ROUGE-L 41.2、BERTScore 0.862但方差大。BLEU显示法律模型句法保真度优于通用模型。散点图证实法律模型生成摘要密集分布于高BERTScore区，GPT-3.5分散且偶现语义偏离。结论：编码器—解码器架构结合法律预训练在保留规范语义上优于通用模型，但纯编码器架构（BERT系）不直接适用于生成任务。

4.4 Global comparison and behavior by model type（跨模型类型全局比较）

综合三任务，CaseLawBERT分类Macro-F1=86.1±1.2、抽取Span-F1=74.8±1.3、摘要ROUGE-L=47.3±1.7领先；Legal-BERT次之；GPT-3.5推理模式分类Macro-F1=80.3±3.0、抽取Span-F1=68.9±2.1低于领域微调模型，但摘要ROUGE-L=50.1±1.9超越部分微调模型体现生成灵活性；GPT-4仅推理获Macro-F1=0.884、Span-F1=0.900、ROUGE-L=0.910全面最优。结论：领域适配显著提升编码器结构任务表现，大规模生成式LLM经上下文条件化可在生成任务占优，模型规模本身不足以保证结构化法律任务性能，须匹配架构—任务对齐与监督策略。

4.5 Evaluation of the robustness and consistency of results（结果鲁棒性与一致性评估）

20次独立运行小提琴图显示CaseLawBERT与Legal-BERT分布窄且对称，GPT-3.5跨度宽略左偏。95%置信区间与Wilcoxon检验表明Legal-BERT及CaseLawBERT较BERT-base与GPT-3.5显著优(p < 0.05)，GPT-3.5摘要在统计上优于法律微调模型(p < 0.05)印证其生成优势。结论：领域适配模型提供可重复稳定性能，通用大模型生成任务波动大但仍具竞争力。

4.6 Automation of contract updates in the private sector（私营部门合同更新自动化实例）

模拟法规变更下合同自动更新流水线的条款检测F1、有效修改率、语义错误率与单份处理时间：有效期(Term of validity)条款检测F1=93.4%、有效更新91.6%、语义错误2.3%、耗时1.8 s；终止原因(Causes for termination)F1=85.9%、有效更新82.8%、语义错误6.4%、耗时2.6 s；其余（罚金Penalties、付款条款Payment terms、客户义务Customer obligations）居中。结论：结构化规范条款（如有效期、付款）自动化效果好，语义复杂或解释性强的条款（终止条件、特定义务）需进一步强化语义控制。

4.7 Comparison with previous studies and state of the art（与既往研究及前沿对比）

相较Chalkidis et al.(2020)单独评估Legal-BERT于EURLEX分类(Macro-F1 84.6%)及Zheng et al.(2021)单独评估CaseLawBERT实体抽取(Span-F1 74.8%)，本研究集成分类—抽取—摘要于统一流水线作用于私营部门合同，并在受控部署设定下对比微调开源模型与仅推理LLM。因数据集与任务定义差异数值不直接可比，但本工作首次在同一框架内形式化多阶段法律自动化流程并量化监督—规模权衡。

四、讨论与结论（翻译浓缩结论部分）

本研究通过形式化结构化、可重现、面向任务的法律合同自动化评估—适配流程，推进AI融入受法律约束环境——而非提出新模型架构，研究刻画了监督、领域对齐与部署约束在多阶段法律工作流中的交互。结合策展法律语料、开源模型高效微调、大型通用LLM仅推理受控评估及系统统计验证，证实在现实访问条件下无需依赖单体或不透明架构即可实现结构化法律任务的可靠性能。在合同分类、条款抽取与监管摘要生成中，结果显示出体系依赖的性能行为：领域适配模型在监督对齐下展现更强结构稳定性与跨度一致性，而仅推理通用LLM在低数据场景提供即时适用性。上述发现应基于所评估的监督与部署配置解读，突显监督—规模交互而非断言固有架构优越性。本研究的中心贡献在于证明结构化法律自动化可通过模块化、可审计、计算高效的流水线实现，且保留法律一致性与语境完整性。受限于约200份合同语料可能引入管辖权偏向及未在OCR噪声下验证，结论反映所评估数据集与比较体系；未来工作将扩展至多管辖权语料、噪声输入鲁棒性测试及融合可解释AI(explainable AI, XAI)与人在回路(human-in-the-loop)校验策略。

（全文完）