评估和推进用于土壤与水资源保护任务的大型语言模型:以黑土地区为例
《Journal of Cleaner Production》:Evaluating and advancing large language models for soil and water conservation tasks: Case study of the black soil region
【字体:
大
中
小
】
时间:2026年08月29日
来源:Journal of Cleaner Production 10.7
编辑推荐:
• 首次提出了一个用于评估大语言模型(LLM)在土壤和水资源保护领域应用的框架。• DeepSeek-R1在多种土壤和水资源保护任务中表现出色。• 监督式微调提升了LLM在土壤和水资源保护方面的能力。
引言
土壤和水资源保护是防止土壤侵蚀的关键措施,也是减轻全球气候变化和构建生
• 首次提出了一个用于评估大语言模型(LLM)在土壤和水资源保护领域应用的框架。• DeepSeek-R1在多种土壤和水资源保护任务中表现出色。• 监督式微调提升了LLM在土壤和水资源保护方面的能力。
引言
土壤和水资源保护是防止土壤侵蚀的关键措施,也是减轻全球气候变化和构建生态稳定环境与社会的重要组成部分(Liu等人,2020年)。经过数十年的发展,该领域积累了大量的理论成果和数据资源(Tarolli等人,2025年)。仅在学术研究中,全球每年就发表了超过一万篇相关论文,涵盖了土壤侵蚀机制、水土流失监测和生态恢复技术等主题(Borrelli等人,2021年;李洋等人,2025a年)。在工程实践中,各国也积累了丰富的技术规范和管理经验,共同形成了一个广泛的应用知识体系(Ahuchaogu等人,2022年)。随着知识量的指数级增长及其碎片化的加剧,有效利用这些知识在土壤和水资源保护中面临着严峻挑战。在科学研究中,研究人员必须从大量分散的文献中提取关键信息,并识别研究热点和空白点。这种密集的知识整合显著限制了研究效率(Xiao等人,2023年)。在工程实践中,由于缺乏系统的指导,许多非专业人士难以独立解读法规条款并进行工程参数计算,这常常导致理解偏差和计算错误,从而增加任务风险(Mammo和Debisa,2025年)。同时,土壤和水资源保护的工作模式已从专家主导转向多方协作,参与者范围从大学和研究机构扩展到地方政府、农业技术人员和农民。非专业人士在理解和应用领域知识时面临不同程度的认知障碍(Mutungi等人,2025年),对知识服务的需求也在持续增长。传统的知识服务形式,如搜索引擎、专家咨询和技术培训,存在语义理解有限、交互性差和效率低的问题,无法满足复杂多样化的任务需求。因此,迫切需要高效智能的知识辅助方法。
近年来,人工智能的快速发展产生了一系列由AI驱动的智能工具和自动化系统,这些工具已被广泛应用于解决生产和日常生活中的实际问题。AI驱动的自动化现在涵盖了多个技术领域,可以优化复杂的业务流程、支持任务级别的决策并提高整体运营效率。在这些推动进步的关键技术中,机器人流程自动化(RPA)、无代码平台和大语言模型(LLM)是推动该领域发展的三大核心技术(Jin等人,2025年)。其中,LLM的兴起引发了人工智能的变革性转变,重塑了研究范式和实际应用(Zhao等人,2026年)。通过大规模预训练和上下文化表示学习,LLM能够捕捉深层语义关系,并支持跨领域的自然语言交互,从而满足复杂和异构的任务需求(李杰等人,2025b年;周等人,2025年)。基于这些能力,LLM在多个高度专业化的领域展现了显著的应用潜力。在医学领域,Med-PaLM成为第一个通过美国医学执照考试(USMLE)的模型。其继任者Med-PaLM 2通过微调和“集成精炼”策略将MedQA得分提高到86.5%,在临床咨询评估中超越了全科医生,并在辅助诊断方面表现出接近专家的水平(Singhal等人,2023年,2025年)。这一趋势扩展到了法律实践(Schweitzer等人,2025年;Trozze等人,2025年)、金融服务(吴等人,2023年;杨等人,2023年)、产品生命周期评估(Balaji等人,2025年;杜等人,2024年)和药品政策咨询(陈等人,2025年)。这些进展表明,LLM正成为信息密集型任务中知识整合和决策支持的有价值工具,为有效利用土壤和水资源保护中大量碎片化知识提供了有希望的途径。
然而,LLM存在幻觉问题,这一缺陷限制了它们在特定领域任务中的可靠性(Huang等人,2025年)。幻觉是指生成流畅但事实错误或无根据的内容,从而误导用户并干扰他们的决策(Alansari和Luqman,2026年)。这主要是因为领域知识通常分散在专门的材料和非结构化文本中,因此LLM的原始训练语料库难以全面覆盖这些知识,留下了知识盲点(Ling等人,2025年)。可以通过领域适应、检索增强生成以及整合结构化知识源和专家监督来缓解幻觉问题(Tonmoy等人,2024年)。在这些策略中,特别是监督式微调(SFT),可以直接将领域知识注入模型,而无需依赖外部知识库,使其适应特定领域的语言规范和推理模式。这提高了LLM在特定领域任务中的表现,并减少了知识密集型场景中的事实不一致性(Sarzaeim等人,2026年)。WaterGPT是一个在环境保护领域应用这种方法的代表性研究。通过在对高质量的问答数据进行Llama3-8B的微调,它在水工程任务上的准确率提高了135.4%,在水研究任务上提高了18.8%,并且在研究空白识别等子任务上与GPT-3.5相当,同时提供了更好的透明度和数据隐私保护(徐等人,2025c年)。因此,要将LLM应用于土壤和水资源保护,必须澄清以下关键问题:现有基础模型(如GPT-4o和DeepSeek-R1)在执行土壤和水资源保护任务时的准确性如何?它们的表现在不同类型任务(如知识任务和计算任务)上如何变化?此外,当这些基础模型出现幻觉时,监督式微调策略能否有效地转移到该领域?
但是,识别模型的能力边界和验证监督式微调的效果都依赖于一个与目标领域特性相匹配的专用评估框架。目前主流的基准测试,如MMLU-Pro和BIG-Bench,设计用于跨学科和广泛覆盖。它们主要评估模型在通用知识和数学推理方面的整体表现,但缺乏对特定领域知识和应用计算能力的深入评估,因此不能直接应用于专业领域(Wang等人,2024年;Ye等人,2023年)。在医学和法律领域,已经相继提出了HealthBench和LegalBench等专用框架。这些框架紧密关注各自领域中的核心能力,构建了多维度的不同类型任务,并已在实践中得到广泛验证(Arora等人,2025年;Guha等人,2023年)。相比之下,土壤和水资源保护领域仍然缺乏这样的专用框架。这使得无法系统地评估LLM在土壤和水资源保护任务中的实际能力,也无法可靠地验证监督式微调在该领域的应用效果。这大大限制了LLM在该领域的应用,因为它难以有效利用大量碎片化的知识。
鉴于此,本研究构建了SWC-KC(土壤和水资源保护-知识与计算)评估框架,以系统地评估LLM对土壤和水资源保护领域知识的掌握和应用,以及它们的逻辑推理能力(图1A)。该框架包括两个核心任务:知识(基础知识、规范知识、研究知识)和计算(给定公式的场景、没有公式的场景),并从记忆、理解、应用、分析、评估和创造六个维度全面评估模型能力(Hui,2025年)。鉴于全球范围内土壤和水资源保护任务的空间异质性,需要进行区域特定的研究,以实现更精确、有针对性的评估(Ji等人,2025年)。因此,本研究选择了黑土地区作为一个代表性案例。该地区对全球粮食安全具有战略重要性,并在土壤和水资源保护方面积累了大量的理论成果和实践经验。然而,由于地表类型多样和管理任务复杂,它仍然面临严重的侵蚀和退化问题,这凸显了提高领域知识利用效率的紧迫性(Rui等人,2025年)。这些特点为考察LLM在土壤和水资源保护任务中的能力提供了理想的场景。
在SWC-KC框架内,本研究系统地整合了与黑土地区土壤和水资源保护相关的权威报告、技术规范和研究文献作为语料库。根据内容互斥原则,使用分层抽样将语料库分为评估子集和微调子集,然后分别从这两个子集构建了评估数据集和微调数据集。在此基础上,选择了八个 mainstream 模型并在评估数据集上进行了测试,以确定它们在土壤和水资源保护任务中的能力边界(图1B),包括DeepSeek-V3、DeepSeek-R1(Sandmann等人,2025年;Shean等人,2025年;Tordjman等人,2025年)、Hunyuan-turbos-latest、Hunyuan-T1-latest、Qwen3-235B-A22B(非思考模式和思考模式)、GPT-4o-mini 和 Claude-sonnet-4(罗军等人,2025a年;马等人,2025年;张等人,2024年)。此外,还使用微调数据集对两个开源模型(Qwen3-14B和DeepSeek-R1-Distill-Qwen-14B)进行了监督式微调,并在同一评估数据集上比较了微调前后的模型表现(图1A),以验证监督式微调策略在土壤和水资源保护中的有效性和应用潜力。这为该领域特定模型的开发提供了参考,也为土壤和水资源保护工作流程的智能转化(如基层知识传播、工程决策和科学研究)提供了科学基础。
**基于SWC-KC的评估和微调数据集构建**
借鉴布鲁姆的认知目标分类法(罗洋等人,2025b年),本研究围绕每个认知层次的核心能力要求(表1)开发了SWC-KC评估框架,并结合了土壤和水资源保护领域的当前知识状况和实际应用场景。框架将测试任务分为两大类:黑土地区土壤和水资源保护的知识问答任务(知识)。
**基础模型在知识任务中的表现**
DeepSeek-R1在基础知识和规范知识任务中的表现明显优于其他模型(p < 0.05),分别达到了52.47%和58.49%的准确率(图3A),表明其具有 strong 的事实信息提取和结构化规则解析能力,以及相对丰富的土壤和水资源保护领域知识储备。Hunyuan-turbos-latest、DeepSeek-V3 和 Qwen3-235B(非思考模式)在基础知识任务中的排名紧随 DeepSeek-R1 之后。
**基础模型的能力边界和任务适应特性**
基于SWC-KC框架,本研究构建了一个评估数据集,并首次定量界定了基础模型在土壤和水资源保护领域任务中的能力边界。主流基础模型在知识任务上的准确率介于40%到60%之间,总体上未达到通过水平。这一结果与医学和法律等领域的评估结果形成鲜明对比。
**作者贡献声明**
赵军琪:撰写——原始草稿、正式分析、数据整理
鞠梦辰:撰写——审稿与编辑、监督、项目管理、方法论、概念化
董梅:撰写——审稿与编辑、监督、项目管理
张一超:正式分析、数据整理
唐凯金:正式分析、数据整理
刘欣:正式分析、数据整理
杨凯:正式分析、数据整理
罗涵:撰写——审稿与编辑、资源管理、利益冲突声明
作者声明,他们没有已知的财务利益或个人关系可能影响本文的报告内容。
**致谢**
本研究得到了中国国家重点研发计划(2024YFD1501104)、杨凌科技计划项目(2024NY-04)和陕西省自然科学基础研究计划(2025JCYBMS-285)的支持。
赵军琪 | 邱梦辰 | 董梅 | 张一超 | 唐凯金 | 刘欣 | 杨凯 | 罗涵 | 张楚天 | 刘刚
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号