面向生态文献综述中可扩展结构化元数据提取的上下文工程大型语言模型

《Methods in Ecology and Evolution》：Context-engineering large language models for scalable structured metadata extraction in ecological literature reviews

　　

每年在生态学和保护生物学领域出现数十万篇同行评审文章和灰色文献报告，这产生了对可扩展综合工具的迫切需求。研究人员证明，基于Transformer的大型语言模型（Large Language Models，LLMs）在嵌入到实用的专家在环（expert-in-the-loop）流程中时，提供了一条无需深厚AI专业知识即可依赖的前进道路。在本研究中，研究人员对九种高排名LLM（五种标准型与四种推理增强型）在四种上下文感知提示策略（从基本零样本到高级指令格式）下进行了基准测试，以从摘要中提取结构化字段（研究地点、生物群系、分类单元）。研究结果显示，尽管某些模型在测试字段中表现最佳，但没有单一LLM在所有任务中占优。然而，富含上下文的提示推动了所有模型的性能提升。通过映射API延迟、令牌成本和F1得分，研究人员展示了研究人员如何根据速度、预算或性能需求选择最优模型-提示配对。研究人员还提供了关于提示中有效上下文工程以及建立对模型输出信任的验证工作流程的可操作指南。为降低入门门槛，研究人员还引入了LitStructLLM，一个跨平台桌面应用程序，允许用户上传CSV或PDF输入，定制提示，并导出可靠、符合模式的输出，无需编写代码。这项工作强调了人类专业知识与LLM能力的协同作用，为生态学和保护生物学中高效、大规模文献挖掘提供了稳健、透明的流程。

**论文解读：面向生态文献综述中可扩展结构化元数据提取的上下文工程大型语言模型**

**研究背景与问题**

生态学和保护生物学是数据驱动的学科，依赖综合不同领域的研究来指导管理和政策决策。过去十年间，同行评审文献和灰色文献的数量翻了一番。虽然这种增长有助于更好地应对栖息地丧失和气候变化等挑战，但也使得人工文献综述越来越难以扩展。文献综合需要识别相关研究、提取研究层面信息并整合发现。然而，一个关键瓶颈是将非结构化文本转换为结构化元数据。关键信息（如国家、生物群系、分类单元和使用的传感器）嵌入在异构文本中，必须转换为结构化格式（如CSV表格）以进行趋势分析、元分析和证据综合。这一步仍然劳动密集且容易出错，因此需要可扩展的自动化提取工作流程。

传统自然语言处理（Natural Language Processing，NLP）工具包，如SpaCy，提供现成的命名实体识别（Named-Entity Recognition，NER）和文本分类流程，但通常难以处理特定领域词汇或新型实体类型，需要任务特定的注释和微调。早期的预Transformer序列模型（如RNN/LSTM架构）可以传递上下文，但捕获长距离依赖的能力有限。Transformer架构通过自注意力机制同时建模局部和全局上下文克服了这些限制。基于Transformer的大型语言模型（Large Language Models，LLMs），如GPT系列，因此可以在没有任务特定训练数据的情况下进行零样本或少样本提取结构化信息，从而在多样化的非结构化科学文本中实现更稳健和可泛化的提取。

自2019年GPT-2发布以来，LLM领域迅速发展，来自OpenAI、Meta、Google、xAI、DeepSeek等供应商的数十种模型涌现。ChatGPT及其在学术界的应用自2022年发布以来一直是关于其使用伦理的活跃辩论中心，主要集中在学术写作、编码、教育以及能源和水消耗方面。同时，LLM正在改变科学工作流程，特别是在生物医学领域，它们被广泛用于提取结构化信息以进行证据综合和元分析。生态学和保护生物学也开始看到LLM在证据综合中的潜力，过去两年这一领域迅速扩展。多项研究表明，通用LLM可以从非结构化文本中高精度提取关键生态实体，如分类单元和研究地点，在许多情况下超过任务特定NER流程的性能，并且还可以推断实体间的生态关系。

尽管兴趣日益增长，但LLM辅助生态学元数据提取的证据仍然分散。最近的研究开始评估多个模型、提示方法和元数据字段在生态提取工作流程中的表现。然而，关于模型选择和提示如何在不同提取任务中交互（这些任务在上下文模糊性上系统性地不同）的重要问题仍然存在。虽然LLM在通用基准测试上存在差异，但它们的输出可能反映偏见和领域差距，这在生态学中尤其相关，因为目标字段通常是隐式的且依赖于上下文（例如区分焦点分类单元或重叠的生物群系类别）。提示设计已知会影响其他领域的提取质量，在生态学中也是如此。基于这些工作，研究人员在更广泛的模型集合上检查提示，并明确测试跨越模糊性梯度的任务，包括推理导向模型是否降低对提示设计的敏感性。

为解决这一差距，研究人员开发了一个专家在环（expert-in-the-loop）流程，结合系统提示优化、跨具有不同推理能力的模型（从Vals AI基准测试中选择的高排名模型）的评估，以及从生态文本中结构化提取的定量验证。使用500个手动注释的摘要，研究人员比较了来自四个供应商的九种LLM（包括推理和非推理变体）在四种提示策略（从基本到指令）下的表现。使用F1得分以及API延迟和令牌成本评估每个模型-提示组合，以量化成本-时间-性能权衡。该设计允许提供基于证据的答案，回答三个应用问题：（1）模型选择对提取性能的影响有多大，（2）提示策略如何改变跨越模糊性梯度任务的性能，（3）哪些模型-提示组合为实际审查工作流程提供最佳效率-性能平衡。最后，为支持可重复采用，研究人员发布了LitStructLLM，一个跨平台桌面应用程序，允许从不同供应商的模型中使用提示从非结构化文本中提取元数据，无需编码。

**研究方法**

研究人员使用了一个专家在环流程，包含两个阶段：提示开发（使用100个随机子集迭代优化提示）和定量验证（在400个独立注释子集上评估冻结提示）。案例研究数据集来自自主生态系统监测文献的500个随机摘要（Qi et al., 2025）。手动注释了七个字段，跨越从显式到上下文依赖的梯度：国家、生物群系、分类学王国、平台、传感器、研究类型和应用。前三个字段用于模型和提示策略的基准测试，后四个用于评估所选模型-提示配置的可迁移性。提示策略包含四种样式：基本（零样本）、分类（约束输出标签集）、思维链（显式推理步骤和示例）和指令（迭代优化，结合明确任务定义、输出格式强制和消歧规则）。在提示开发过程中，要求模型为每个提取标签提供简短理由，领域专家审查理由以识别重复失败模式并相应修改提示。使用单个参考模型（gpt-4o-mini）进行提示优化，然后将最终提示应用于所有模型。研究人员选择了九种高排名且价格合理的推理和非推理LLM，来自顶级供应商，基于vals.ai上截至2025年5月23日的MMLU-PRO排行榜。模型包括非推理变体（GPT-4o mini、GPT-4o、GPT-4.1、Gemini-2.0-flash-001、deepseek-chat）和推理优化变体（GPT-4o mini-Reasoning、Gemini-2.5-pro-preview-03-25、grok-3-mini-fast、deepseek-reasoner）。控制系统级指令：“你是专注于从科学文本中提取信息的生态研究助手。不要编造数据。”温度设置为0（如果支持）。评估指标为加权F1得分，用于多标签分类。对于基本提示，使用模糊匹配标准化响应。记录API延迟和令牌成本。统计使用Friedman检验和Wilcoxon符号秩检验比较上下文样式。所选最佳模型-提示配置（Directive-context OpenAI o4-mini）应用于剩余四个字段进行端到端验证。

**研究结果**

**3.1 模型选择对结构化数据提取的关键程度如何？**

模型选择影响最终F1得分，但最强模型之间的差异不大，且没有单一明确赢家。在指令上下文中，国家提取在所有模型上一致较高（88%-97%），而更依赖上下文的字段（王国77%-90%，生物群系77%-86%）F1得分范围较低。顶级模型表现接近，例如生物群系最佳三个模型相差约2% F1，王国约1%，表明一旦上下文指定良好，多个模型可提供可比性能。GPT-4o在国家（96%）和生物群系（86%）上取得最高指令F1，GPT-4.1在王国（90%）上最高。最弱表现者主要在生物群系和王国上落后。生物群系在所有上下文中最低最佳案例F1，错误集中在边界类别，最常见混淆涉及海岸、海洋和珊瑚礁标签。

**3.2 不同上下文工程策略对提取性能的影响程度如何？**

通过上下文规范的提示设计成为所有九种LLM提取F1得分的主要驱动因素。基本提示产生大量唯一标签（生物群系1673个，王国47个），需要大量后处理。而分类、思维链和指令提示严格遵循预定义标签集，无需后处理。Friedman检验显示上下文样式对所有三个字段有显著影响（国家：χ2=16.7, p<0.005；王国：χ2=16.3, p<0.005；生物群系：χ2=19, p<0.005）。成对事后比较（Wilcoxon符号秩检验，Holm校正）表明，最大的改进来自添加输出约束（基本到分类），显著提高了国家（p_adj<0.05）和生物群系（p_adj<0.05）的F1。对于生物群系，分类到思维链弱显著（p_adj<0.1），而思维链到指令不显著（p_adj>0.1），表明一旦标签空间和关键消歧规则建立，收益递减。总体而言，结构化上下文规范，特别是约束输出标签集和明确定义模糊类别，贡献了可达到性能收益的很大一部分，通常超过仅模型选择带来的差异。

**3.3 实践者应考虑的成本-时间-性能权衡**

指令提示下，响应时间从约1.6秒到101.9秒不等，例如Gemini-2.0-flash-001平均1.58秒/摘要，而deepseek-reasoner平均101.92秒/摘要。成本方面，GPT-4o成本最高（约$0.0035/500词摘要），deepseek-chat成本最低（约$0.0004/500词摘要）。综合考虑时间、成本和性能，o4-mini脱颖而出，在指令提示下提供接近顶级的F1得分（国家95%，生物群系86%，王国88%），中等延迟（7秒）和中等成本（$0.002/500词摘要）。

**3.4 最佳模型-提示配置向其他提取任务的迁移**

将推荐配置（Directive-context OpenAI o4-mini）应用于剩余四个字段：研究类型F1=94%，应用F1=99%，传感器F1=96%，平台F1=98%。即使对于需要消歧的任务（如区分“采样”与“监测”或确定传感器是否真正搭载在焦点自主系统上），这些强劲结果也表明精心设计的上下文感知提示可以可靠地从非结构化摘要中提取细微元数据。

**讨论与结论**

大型语言模型为扩展生态文献综述提供了前所未有的机会，能够自动、上下文感知地提取元数据和见解，覆盖数千篇文档，速度和广度前所未有。研究人员展示了基于Transformer的LLM使大规模、基于上下文的生态文献挖掘既可行又经济，前提是工作流程优先考虑有效的提示设计，并且在结构化提示下可以实现高提取性能，同时最小化后处理。虽然OpenAI的模型通常领先，但没有单一模型占主导地位，因此实践者应测试几种顶级LLM（包括开放权重选项），并选择最能平衡成本、速度和性能的模型。高级提示样式（思维链和指令格式）将F1得分提高10%-27%，对于细微的上下文依赖类别（如焦点分类单元）至关重要。为支持采用，研究人员发布了LitStructLLM，一个跨平台桌面应用程序，允许通过API访问多个供应商的LLM进行基于提示的元数据提取，无需编码。

LLM能够一次挖掘数千篇出版物，解锁了生态学和保护生物学的几个变革性应用。首先，研究人员可以以前所未有的规模绘制子领域的空白和趋势，展示方法、焦点分类单元或地理区域随时间的变化。其次，通过批量提取分类数据，LLM可以突出研究努力的地理和分类差异，指导资助者和政策制定者关注研究不足的地区或物种，帮助更公平地调整保护优先事项。第三，LLM在证据综合方面有前景。虽然当前研究聚焦于摘要，未尝试提取定量指标，但临床领域的早期工作表明LLM可以从全文自动提取效应量和统计结果。更广泛地说，一旦可靠的结构化提取和验证工作流程就位，LLM还可能协助文献综述的其他阶段，如跨研究连接概念、综合发现和识别研究空白。

LLM提取工作流程可以大幅降低大规模文献挖掘的技术障碍，使领域研究人员能够运行标准化流程，而无需构建专用NLP模型或维护机器学习基础设施。同时，AI可能通过集中资源并取代本地专业知识而加剧不平等。为应对这一问题，研究人员的工作流程通过透明提示、理由和验证，使领域专家保持参与，确保本地知识仍处于中心地位。LLM还促进多语言提取，更好地整合本地语言文献和土著知识，而新兴的多模态模型有望将提取扩展到全文文章中的图表和地图。

随着LLM快速发展，我们的基准应被视为时间戳快照而非持久排名。本研究的主要贡献是上下文工程和专家在环验证的通用工作流程，以及一致提高格式合规性和提取性能的实用指南。即使推理优化模型在最小提示下也显示出有限增益，但在详细、理由驱动的指令指导下显著改进，强调上下文工程仍是生态学中可靠LLM提取的关键技能。尽管幻觉仍然是一个问题，但提示引导、文本基础的提取不易产生编造，且在显式约束下本研究中未观察到此类情况。

上下文感知提示设计是任务特定的，且指南针对基于API的工作流程而非Web聊天界面（如ChatGPT）优化。API调用通常是无状态的，允许每个摘要独立处理，而持久聊天会话可能引入意外上下文漂移。API还允许一致的系统角色指令和固定参数以减少输出变异性。未来工作可以探索强化式方法进行提示优化，迭代提供正确和错误提取示例以进一步校准模型输出。如果仔细提示工程仍不足，这可能反映通用LLM难以捕获的领域特定复杂性，此时用户可改用更强大（且更昂贵）的模型，或在任务特定注释数据上微调预训练Transformer，以较低推理成本和更高准确性交换额外注释和训练努力。

即使专家注释者也会出错，这一点在LLM生成的理由促使研究人员在提示优化期间修改了一些自己的标签时得到强调。从科学文本中手动提取已知具有非平凡错误率，特别是随着疲劳累积。相比之下，最佳模型-提示配对处理摘要约7秒，而人类注释需1-1.5分钟，将专家角色从提取者转变为验证者。通过专注于抽查理由和纠正边缘案例，领域专家可以降低总体错误负担，同时大幅提高效率。研究人员将提取视为多标签分类任务，并使用F1得分评估性能。对于涉及连续值的任务，MAE或RMSE等指标可能更合适。最终，指标选择应反映预期工作流程中错误的实际成本。

传统基于规则或机器学习驱动的NLP流程对于直接任务仍然有效，例如列出每个提到的分类单元名称或地理编码明确地名，这些任务上下文最小且存在定义良好的词典。相反，当“提及”与“研究”的分类单元区别重要时，或提取传感器类型或方法细节等专业字段时，LLM的上下文推理和零样本/少样本适应性使其更稳健。随着生态研究在技术和元数据要求上的持续多样化，LLM将越来越多地填补传统工具留下的空白，实现灵活、领域无关的复杂上下文依赖信息提取。

在评估的高排名模型中，只有两个是开放权重，其余是封闭模型，这限制了开放性和可重复性。封闭模型通常通过特定供应商访问，而开放权重模型也可通过第三方平台访问，减少单一供应商依赖。然而，这些平台仍控制模型可用性，旧版本被弃用并替换为新版本。因此，基于API的访问（无论是开放权重还是封闭模型）仍受外部控制，不能保证可重复性。完全可重复性需要本地部署，其中模型权重和执行环境可固定。因此，评估中缺乏本地部署的模型是可重复基准测试的局限性。较小的、可本地部署的模型是提高可重复性的重要方向，尽管其性能证据仍不一致。虽然LLM能够实现快速、大规模元数据提取，但它们带来可观的环境成本，凸显了与AI专家合作开发更小、领域特定模型的价值。简单的上下文感知提示可以产生准确结果，而未来工作可以专注于轻量级、任务特定的开放模型，用于高效提取位置和生物群系等特征。最终，结合领域专业知识与开放LLM工作流程可以提高生态文献综述的严谨性、通量和可重复性。

**结论翻译**：研究人员展示了基于Transformer的大型语言模型（LLMs）在嵌入到实用的专家在环流程中时，提供了一条无需深厚AI专业知识即可依赖的前进道路。通过比较九种LLM在四种提示策略下的性能，研究人员发现结构化上下文规范（特别是约束输出标签集和明确定义模糊类别）是性能提升的主要驱动因素，且没有单一模型在所有任务中占优。研究人员还引入了LitStructLLM，一个跨平台桌面应用程序，用于基于提示的元数据提取，无需编码。这项工作强调了人类专业知识与LLM能力的协同作用，为生态学和保护生物学中高效、大规模文献挖掘提供了稳健、透明的流程。