面向气候变化研究文献的细粒度命名实体识别基准：CliReNERgold与CliReNERsilver及23个深度神经模型评估

《Climatic Change》：Named entity recognition for climate change research

　　

人为气候变化科学文献的快速增长，要求采用自动化信息抽取来管理和综合复杂、多尺度的气候现象。尽管研究界日益依赖自然语言处理（natural language processing, NLP），尤其是命名实体识别（named entity recognition, NER），但该领域现有资源缺乏广泛主题覆盖和严格的多专家验证。为弥补这一空白，研究人员介绍CliReNER，一种面向气候研究文献的新型NER资源，包含28个细粒度实体类型。该资源包括两个数据集：CliReNER_silver，一个作者标注数据集；以及CliReNER_gold，一个由12名不同科学背景专家标注的高保真基准。研究人员系统比较CliReNER与现有气候NLP数据集，并在23个深度神经模型上开展全面基准评估，覆盖微调编码器模型、通用NER架构和零样本商用大语言模型（large language models, LLMs）。结果表明，微调通用NER架构（GLiNER_{MEDIUM v2.5}）与最强零样本LLM（Gemini 3.0_PRO）取得接近可比的聚合性能（聚合F1 = 0.6371 对 0.6282），尽管Gemini 3.0_PRO从未接触训练分布。对于传统基于编码器的模型，领域适应变体具有明显优势。两种表现最佳的方法更清楚地通过严格边界精确率加以区分，其中GLiNER_{MEDIUM v2.5}保持持续优势，但该优势无法完全与金标准标注边界约定分离；二者也通过部署成本区分，其在大规模部署时成本低数个数量级。零样本LLM识别实体类型的比率与微调模型相当，但持续表现出更大的边界误差差；少样本提示或微调可能缩小这一差距。研究人员发布数据集、指南和微调模型，以支持气候变化研究中的先进知识抽取。

论文解读：面向气候变化研究的CliReNER命名实体识别资源与多模型基准

研究背景与问题：人为气候变化正在改变天气模式和气候极端事件，并对自然系统和人类系统产生广泛不利影响，地球系统各圈层均可见相关影响。气候研究产出快速增长，文献管理与综合需要自动化信息抽取。研究界日益采用自然语言处理（natural language processing, NLP），尤其是命名实体识别（named entity recognition, NER；即自动识别并分类文本中实体提及的任务）。已有气候NLP资源如BiodivNER、Climate-Change NER、ClimateIE以及ClimaBench、ClimateEval等推进了该领域，但仍存在领域覆盖受限、单标注者或多非专家标注、缺乏高保真多专家广覆盖NER资源等问题；通用域现成NER系统常难以捕捉领域特定术语，而在域内语料上适应或微调的模型通常表现更优。为此，研究人员构建CliReNER，定义28个细粒度实体类型，发布作者标注的CliReNER_silver和12名专家标注的CliReNER_gold，并对23个模型开展系统基准评估，发布标注指南和微调模型。

研究开展与结论意义：研究人员从25种同行评审期刊各取2篇、共50篇全文，构建1,219句标注语料；CliReNER_gold由12名专家按六对专长分组标注，采用加权专家投票（weighted expert voting, WEV）聚合，Krippendorff’s α为0.6984。基准覆盖微调编码器模型、通用命名实体识别模型（Generalist Model for Named Entity Recognition, GLiNER）及零样本商用大语言模型（large language models, LLMs）。结论显示，GLiNER_{MEDIUM v2.5}与Gemini 3.0_PRO聚合性能接近，但严格边界精确率和部署成本可区分二者；传统编码器中领域适应变体具明显优势；零样本LLM类型识别可比但边界误差更大。该研究为气候NLP提供高保真专家基准、较大规模作者标注集、可复现多模型评估和微调模型，支持下游证据综合与知识抽取。

关键技术方法（不超过250字）：样本队列来源于Poleksi? and Martin?i?-Ip?i?整理的气候研究语料，从25种同行评审期刊各取2篇、共50篇全文；从14,187句抽取1,219句（约8.5%）。使用Label Studio和GLiNER_{MEDIUM v2.5}预标注；CliReNER_gold句选择建模为多集多覆盖问题，目标每类型约50例；12名专家按六对专长标注，WEV聚合，报告Krippendorff’s α。模型侧用SpanMarker微调编码器，微调GLiNER small/medium，零样本评测8个商用LLM（temperature 0.1，JSON输出），用nervaluate按strict、exact、partial、type策略评估，5个随机种子。

研究结果：6.1 CliReNER_silver结果：在CliReNER_silver测试集（10%）五种子平均、strict评估下，GLiNER_{MEDIUM v2.5}取得最高Micro F1 0.60，Macro F1 0.58；RoBERTa、INDUS、SciBERT、CliSciBERT、GLiNER_{SMALL v2.5}约0.59 Micro F1。数据存在明显类型不平衡，Macro F1下CliReBERT由第13升至第5，INDUS由第3降至第10，说明前者收益更多来自稀有类型、后者更多来自高频类型；Chemical、Disease、Organism、Ecosystem等表现较强，Field of Study、Mathematical Expression等较弱。

6.2 CliReNER_gold结果：在192句专家聚合CliReNER_gold上，GLiNER_{MEDIUM v2.5}以Micro F1 0.62、Macro F1 0.61最高；Gemini 3.0_PRO与GLiNER_{SMALL v2.5} Micro F1均为0.59，Macro F1分别为0.59和0.57；零样本LLM中Gemini 2.5_PRO、Claude 4.5_OPUS、Claude 4.5_SONNET次之。困难类型跨数据集较一致；唯一实体比（unique entity ratio, UER）与性能负相关，LLM回归斜率最平（m = ?0.49），对词汇多样性较稳健；strict与type策略差异显示微调模型边界误差较小，LLM类型识别可比但边界误差差（boundary error delta, BED）更大。错误分析显示强模型以语义类型混淆为主，GLiNER_{MEDIUM v2.5}分类错误占64.8%，Gemini 3.0_PRO占54.0%；Mathematical Expression→Quantity、Geographical Feature→Location等反复出现，部分呈层次不对称或坍缩至Other，且与低标注者一致性相关。领域适应方面，Group 1a中INDUS较RoBERTa在Meteorological Phenomenon、Organism、Measuring Device等strict F1显著提升超过13%，但Natural Phenomenon显著较低；Group 1b中CliSciBERT相对SciBERT总体无显著变化，Body of Water提升15%，Person下降14%；Group 1c中10个类型所有领域适应模型均受益，11个类型所有模型退化，显著损失7个、显著增益1个；SciClimateBERT累计strict F1增益0.6013、损失0.6478，较ClimateBERT和EnvironmentalBERT稳健。结论是广泛科学词汇预训练比窄气候文本适应更一致，细粒度类型区分是主要挑战。

6.3 实践建议：通过类型映射和数据集比较，研究人员建议按任务筛选28个类型；ClimateIE适合文档或段落级分类，BiodivNER适合生物多样性窄域，CliReNER适合异质气候文献的细粒度抽取；GLiNER_{MEDIUM v2.5}因无需API成本、可本地部署，适合大规模重复流程；商用LLM适合小规模探索但边界需谨慎；微调编码器中领域适应变体优于通用骨干。模型选择应综合资源、任务和边界精度。

讨论总结与研究结论翻译：讨论强调两种最佳路线聚合F1接近，但严格边界精度和部署成本是实际区分；LLM零样本边界误差高，少样本或微调可望缩小；领域适应收益主要来自广泛科学词汇暴露，而非窄域替代；当前28类扁平体系存在未建模层次和定义模糊，未来可实证修订为分层体系；未来工作包括微调NuNER等通用NER模型、改进标注聚合、开展命名实体链接和关系抽取以构建气候变化研究领域知识图谱。

研究结论翻译：研究人员介绍CliReNER，一种面向气候变化研究文献指数增长与复杂性而设计的新型命名实体识别数据集。通过定义28个细粒度实体类型并借助12名领域专家，研究人员构建了高保真专家标注基准CliReNER_gold和较大规模作者标注数据集CliReNER_silver。通过对23个模型的全面基准评估，研究表明参数高效、专用NER架构尤其是GLiNER_{MEDIUM v2.5}取得与最强零样本LLM接近的聚合性能（聚合F1 = 0.6371 对 Gemini 3.0_PRO的0.6282），尽管后者未接触训练分布；两者最清楚地区分于严格边界精确率，其中GLiNER_{MEDIUM v2.5}保持持续优势，以及部署成本，其大规模使用成本更有利。传统编码器模型分析发现，预训练中接触广泛科学词汇比适应窄聚焦气候变化研究文本带来更一致增益；最先进商用LLM对高词汇多样性表现稳健，但零样本设置下存在系统性边界检测错误，说明精确信息抽取仍需任务特定微调或少样本适应。除基准数值外，CliReNER的实际价值在于为下游NLP流程提供结构化实体类型：抽取的Meteorological Phenomenon、Natural Disaster和Quantity等实体可填充可查询的气候反馈链记录，直接支持大规模证据映射。逐类型混淆和标注者间一致性模式也指向分类体系的具体下一步：研究人员将标注指南视为动态文件，观察到的反复混淆尤其集中于Meteorological Phenomenon/System/Physical Phenomenon簇以及Method与Intellectual Artefact之间，提示未来可基于实证将若干类型组织为层次关系而非扁平同级类型。最终，CliReNER为未来气候变化NLP研究提供基础；通过公开发布数据集、标注指南和微调模型，研究人员旨在促进自动知识图谱构建和关系抽取等下游应用，使科学界更好综合关键、多尺度气候驱动因素。