《ISPRS International Journal of Geo-Information》：Research on Methods for Linking Geoscience Literature and Geoscientific Data Based on Large Language Models
编辑推荐：
地球科学文献与数据集之间的自动关联对于提升数据复用、可重复性以及知识发现至关重要，然而现有方法常常难以处理隐式数据集引用、异构时空表达以及不一致命名规范等问题。为解决这一问题，研究人员提出了一种文献—数据关联框架，该框架集成了候选片段检索、基于大语言模型（LL
地球科学文献与数据集之间的自动关联对于提升数据复用、可重复性以及知识发现至关重要，然而现有方法常常难以处理隐式数据集引用、异构时空表达以及不一致命名规范等问题。为解决这一问题，研究人员提出了一种文献—数据关联框架，该框架集成了候选片段检索、基于大语言模型（LLM）的结构化抽取、归一化处理与知识图谱构建。该框架首先通过基于BM25的检索、正则表达式（regex）过滤以及白名单辅助评分识别候选片段，随后采用模式约束（schema-constrained）提示词抽取数据集名称及其关键属性，包括时间覆盖范围、空间范围、分辨率、提供机构和数据角色。随后，抽取结果被归一化为规范形式，并导入基于Neo4j的知识图谱中，以连接论文、数据集、机构与区域。跨期刊基准实验表明，该框架取得了93.79%的精确率、90.66%的召回率和92.20%的F1值。针对多种LLM骨干模型开展的对比实验进一步表明，该框架在专有模型与开源模型上均保持有效；消融实验则证实，候选检索与归一化是实现均衡抽取性能的两个最具影响力的组成部分。所构建的知识图谱为文献—数据关联提供了结构化表示，并支持对数据集复用模式、溯源关系以及跨文档连接的探索。这些结果表明，将经过严格约束的LLM抽取与检索及归一化相结合，为将非结构化地球科学文献转化为结构化、可复用知识提供了一条稳健且可解释的路径。
该论文发表于《ISPRS International Journal of Geo-Information》，聚焦于地球科学领域中“文献—数据”关联自动化这一关键基础问题。随着地球科学论文与开放数据资源快速增长，如何从海量文献中系统识别数据集引用、恢复其时空属性，并将其转化为可检索、可复用、可验证的结构化知识，已经成为支撑数据复用、科学可重复性和大规模知识发现的重要前提。现有方法虽然在科学文献实体识别、关系抽取和数据引用研究方面取得进展，但在地球科学场景下仍面临显著瓶颈：其一，数据集在论文中常以隐式方式出现，往往借助研究区域、时间范围、观测平台或产品描述来指代，而非通过数字对象标识符（DOI）等标准标识直接引用；其二，地球科学文本存在明显的时空异构性，不同论文对时间跨度、空间范围、尺度单位、区域名称和机构名称的表达方式差异很大；其三，已有研究通常将抽取、归一化和关联视为相互分离的任务，导致相同数据集在跨文档环境下难以稳定聚合，最终限制了知识组织与语义检索能力。正是在这一背景下，研究人员开展本研究，旨在建立一套从非结构化文献证据到规范化数据实体的完整工作流。
研究人员提出了一个“检索→抽取→归一化→关联”的多阶段框架，用于自动连接地球科学文献与地球科学数据集。该框架的核心思想并非将大语言模型（LLM）作为单独终点，而是将其嵌入候选识别、证据约束、结构化抽取、属性标准化和知识图谱建模的整体流程中。研究结果表明，该方法在跨期刊测试基准上取得了较高且均衡的精确率、召回率与F1值，说明其能够有效识别显式和隐式数据集提及，并将其转化为可关联、可查询的规范记录。进一步地，研究构建的Neo4j知识图谱不仅保存了论文、数据集、机构、区域等实体及其关系，而且能够支持数据复用分析、溯源追踪、区域数据发现和属性级检索。这一研究的重要意义在于，它将地球科学文献中的数据证据由分散叙述转化为结构化知识基础设施，为建设可互操作（interoperable）、可扩展、面向人工智能（AI-ready）的地球科学数据生态提供了方法论支撑。
在技术方法上，作者主要使用了四类关键方法。首先，对来自多种期刊的论文文本进行预处理，并利用BM25、正则表达式（regex）和白名单词表联合完成候选片段检索，以提高召回率并抑制噪声。其次，基于模式约束提示（schema-constrained prompting）的LLM执行结构化抽取，将数据集名称、时间范围、空间范围、机构、分辨率、DOI/URL和数据角色等字段输出为JSON。再次，通过编辑距离相似度与语义嵌入余弦相似度结合的混合相似度策略进行归一化，并借助地名词典、机构名录和数据集别名词典实现规范映射。最后，将规范化结果导入Neo4j构建知识图谱。样本队列来源于多个地球科学期刊，训练集1000篇，测试集200篇，并由具备地学与地理信息背景的标注人员完成人工标注。
在正文研究结果方面，论文首先在“4.1. Dataset and Benchmark”中构建并说明了扩展的跨期刊地球科学文献基准。研究人员从多个期刊收集训练集与测试集，并将PDF统一转换为Markdown文本，以减少版式差异影响。测试集中共标注出1349个金标准数据集提及，并增加97个负例实例用于混淆矩阵评估。标注工作由六名具有地理信息学、遥感、地理科学或计算机科学背景的研究生完成，经双人独立标注与专家裁决得到最终真值。互标一致性结果显示，提及级平均F1为0.85，data_role字段的Cohen’s kappa为0.81，结构化属性归一化一致性为0.87，说明该基准具备较好的标注可靠性。该部分结论表明，研究为后续方法评估提供了跨期刊、跨写作风格且具有较强可信度的测试基础。
在“4.2. Data Extraction”中，研究人员评估了提出框架在跨期刊测试基准上的抽取性能。结果显示，系统获得TP = 1223、FP = 81、FN = 126、TN = 16，对应精确率93.79%、召回率90.66%、F1值92.20%。该评估采用提及级匹配策略，并在归一化后对预测提及与人工标注进行语义对齐。研究同时给出了95%置信区间，分别为精确率[92.35%, 94.97%]、召回率[88.99%, 92.10%]、F1值[91.09%, 93.13%]，说明结果具有较小抽样不确定性。该部分通过实验说明，所提方法在异质性更强的跨期刊环境中仍能稳定识别地球科学数据集提及，并为后续知识图谱构建提供可靠上游输入。
在“4.3. Prompting Strategy, Efficiency, and LLM Backbone Comparison”中，作者围绕提示策略、重复调用效率以及模型骨干进行了系统比较。首先，在“4.3.1. Prompting Strategy Comparison”中，零样本提示（zero-shot）、少样本上下文提示（few-shot in-context）和模式约束提示三者进行比较，结果表明模式约束提示在总体表现和有效JSON输出率上最优。这说明固定字段约束不仅降低了格式错误，也提高了后续归一化和图谱入库的可行性。其次，在“4.3.2. Performance–Efficiency Trade-Off of Repeated LLM Calls”中，研究人员比较了不同重复调用次数的性能与成本权衡，发现从1次增加到2次可显著提升F1值，而由2次增加到3次仅带来极小性能增益，却显著增加API调用和token成本，因此2次调用被视为较优平衡点。再次，在“4.3.3. Baseline and LLM Backbone Comparison”中，作者将所提方法与SciBERT序列标注基线、BM25 + SciBERT分类基线及多种LLM骨干进行对比。结果表明，完整框架优于纯Transformer科学文本抽取基线，也优于仅依赖LLM推理的配置；GPT-5.2表现最佳，Qwen2.5-72B-Instruct在开源模型中效果较好，Llama-3.1-8B-Instruct虽具竞争力但召回率更保守。该部分结论显示，性能提升并不单纯来自某一模型，而来自检索、结构化抽取、归一化和关联策略的整体协同。
在“4.4. Ablation Study”中，作者通过消融实验证明各模块的独立贡献。移除BM25候选检索后，召回率由90.66%下降至84.72%，F1值由92.20%降至87.21%，说明候选检索对于保留有效数据集证据至关重要。移除正则过滤后，精确率明显下降而召回变化较小，表明该模块主要承担噪声控制功能。移除白名单辅助评分后，精确率、召回率和F1值均下降，说明该信号有助于提升地学领域相关候选的覆盖率。若同时移除正则过滤与白名单评分，性能进一步恶化，证明二者在检索阶段具有互补性。移除后处理与归一化后，F1值由92.20%降至89.80%，其中召回下降尤为明显，说明别名解析、时空表达统一与属性规范化对于稳定的数据集级匹配不可或缺。LLM-only配置表现最弱，进一步证明单独依赖LLM不足以实现稳健的地球科学文献—数据关联。该部分总结出，BM25候选检索和归一化是影响均衡性能的两个关键模块。
在“4.5. Knowledge Graph Construction and Usability Evaluation”中，研究人员将抽取并归一化后的结果导入Neo4j，构建地球科学知识图谱。图谱包含Article、Dataset、Institution和Region四类核心节点，并通过USE、PROVIDED_BY、LOCATED_IN和HAS_ATTRIBUTE等关系进行连接，从而显式表达论文、数据集、机构、区域及其属性之间的语义关联。为了检验图谱的实际可用性，研究设计了40个代表性Cypher查询任务，覆盖数据集复用分析、溯源追踪、区域数据发现和属性级检查四类场景。结果显示，图谱总体查询精确率达到94.65%，人工核验准确率达到94.88%，平均响应时间为19.2 ms。该部分说明，构建出的知识图谱并非仅用于可视化展示，而是能够支持高效、准确、结构化的关系路径查询，有助于发现跨论文的数据使用模式和机构—区域—数据之间的关联结构。
讨论部分进一步解释了方法优势、实验结果及局限。在“5.1. Advantages of the Proposed Framework”中，作者指出该框架的主要优势在于混合式架构，将检索、规则过滤与LLM推理结合起来，在精确率、召回率和语义灵活性之间实现平衡；同时，通过后处理与归一化将文本提及转化为稳定的数据实体，增强了跨文献一致性与图谱可集成性。在“5.2. Interpretation of Experimental Results”中，作者认为高精确率反映了系统抑制伪阳性和弱证据预测的能力，高召回率则说明其能够找回大量隐式和变体表达的数据集提及；此外，模型在时间和空间字段上的较高准确性表明，领域敏感提示设计有效引导了LLM理解地球科学文本中的数值表达和时空描述，而机构名称、数据来源和描述性属性等标准化程度较弱的字段仍是误差集中区域。在“5.3. Comparison with Previous Approaches”中，作者强调本研究并非单纯提升命名实体识别，而是将任务重新界定为文献—数据关联问题，并通过统一工作流将候选识别、抽取、归一化和图谱关联连接起来，这是相较早期抽取导向方法的重要扩展。在“5.4. Limitations and Future Work”中，作者明确指出若干局限，包括对底层LLM行为的依赖、幻觉（hallucination）风险、模型家族差异带来的结果波动、区域命名和数据版本演化带来的归一化难题，以及当前基准仍受限于特定期刊集合和标注范围。未来工作将考虑引入证据片段定位、引文级核验、不确定性评分、人工参与低置信度审查，以及更复杂的图推理与更大规模知识库部署评估。在“5.5. Implications for Geoscientific Data Infrastructure”中，作者指出，该研究展示了人工智能辅助的文献—数据关联在地球与环境科学基础设施中的潜力，可推动元数据标准化、数据复用评估和跨学科协作，并为建设可扩展、可互操作、面向知识驱动应用的地球科学数据生态系统提供支撑。
论文结论部分指出，本研究提出了一种通过大语言模型驱动抽取与知识图谱构建相结合的地球科学文献—数据集关联一体化框架。通过整合BM25检索、正则增强过滤、提示工程驱动的LLM抽取以及系统化后处理，该方法在修订后的跨期刊地球科学文献基准上实现了较强的抽取性能。结果表明，当对话式LLM与领域感知启发式策略和归一化方法结合时，能够有效弥合非结构化科学文本与结构化地球科学数据实体之间的鸿沟。与依赖任务特定重训练的系统不同，该流程提供了一个模块化工作流，统一支持数据集提及检测、结构化属性抽取、归一化和基于图的关联。研究还表明，该框架在多种专有与开源LLM骨干上均保持有效，且由此构建的Neo4j知识图谱可支持数据复用分析、溯源追踪、区域数据发现和属性级检查。总体而言，该研究证明了，基于LLM的自动抽取与结构化知识图谱建模相结合，为连接学术文献与地球科学数据提供了一条可扩展路径，并推进了可重复、可互操作、以数据为中心的地球科学研究生态系统建设。
