Mini-CarbonLLM：一种资源高效的知识增强框架，用于碳中和工程中的环境决策支持

《Environmental Modelling & Software》：Mini-CarbonLLM: A Resource-Efficient Knowledge-Augmented Framework for Environmental Decision Support in Carbon Neutrality Engineering

　　• Mini-CarbonLLM 支持碳中和工程知识任务。
• LoRA 和 RAG 使得在本地 GPU 上的资源-conscious 部署成为可能。
• 一个多源管道整合了指令、文献和百科全书。
• 一个包含 949 个问题的基准测试覆盖了五个碳中和子领域。
• 目标准确率达到了 80.57%，并且部署效率也得到了量化。

引言
工业脱碳已成为当代工程实践的核心挑战，因为各行业需要在保持生产力、安全性和经济可行性的同时减少排放。在这种情况下，工程师、研究人员和决策者必须处理分布在整个技术文献、标准、政策文件、碳核算规则以及新兴低碳技术报告中的高度异构的知识。因此，与碳中和相关的任务超出了传统的数据处理范围，越来越多地涉及到知识密集型活动，如术语解释、证据比较、路径分析和跨领域知识集成。这些任务涵盖了多个技术和机构维度，包括碳捕获、利用与储存（CCUS）、矿物碳酸盐化、海洋碱化、碳足迹核算、碳交易以及低/零碳能源技术（Ma 等，2024；美国国家科学院等，2021；McQueen 等，2020；Beerling 等，2020；Zhang 等，2020；Müller 等，2020；Tang 和 Luo，2014；Deshmukh 等，2023；Rahman 等，2020）。由于这些知识来源分散在地质学、生态学、化学、材料科学、工程学和经济学等多个学科中，工业脱碳在复杂的工程环境中日益成为一个知识整合问题（Yang 等，2022；Lu 等，2022；de Coninck 和 Benson，2014；Evro 等，2024）。
这种日益增长的复杂性暴露了传统信息访问和知识管理工作流的局限性。传统的搜索引擎、文档仓库和基于规则的专家系统可以支持文档检索和基本信息访问，但它们往往无法满足用户对上下文解释、术语规范化和跨异构来源的证据综合的需求。在工业脱碳环境中，用户经常需要比较减排路径、解释核算规则、追踪技术假设，并基于零散且不断变化的证据评估政策影响。这些要求超出了传统检索导向工作流的能力，从而对能够支持基于证据的解释和以决策为导向的分析的智能知识服务产生了日益增长的需求。近年来，大型语言模型（LLMs）在语义理解、上下文生成和人机交互方面显示出了强大的潜力，为工程和工业环境中的 AI 增强型知识服务开辟了新的可能性（Zhou 和 Xiao，2024）。然而，直接将通用 LLM 应用于工业脱碳仍然存在问题。这些模型通常在广泛的网页规模语料库上进行训练，往往在专门的工程环境中缺乏足够的领域对齐性、事实可靠性和术语精确度。在知识密集型的工业应用中，这些弱点可能导致内容错误、技术概念的解释不稳定以及证据的可追溯性差，从而限制了实际可用性。
为了解决这些问题，最近的研究探索了垂直领域 LLM 和跨专门领域的领域适应策略。现有研究表明，参数高效微调（PEFT）、指令微调和检索增强生成（RAG）可以通过增强领域知识对齐性来提高模型在专业场景中的性能，同时减少全参数重新训练的计算负担，相关的 RAG 研究还表明，专利文档中的结构化技术知识可以支持工程设计知识的检索和生成（Siddharth 和 Luo，2024）。已经为医学、法律、农业、地理科学和环境应用开发了领域导向模型，证明当有适当的语料库、指令数据和评估框架支持时，LLMs 可以有效地适应专门的任务。在能源和环境领域，HouYi（Bai 等，2023）展示了领域导向建模在可再生能源和碳预测方面的价值；BB-GeoGPT（Zhang 等，2024b）验证了轻量级适应在地理空间知识理解中的可行性；K2（Deng 等，2024）展示了检索增强知识建模在地理科学中的好处。这些研究提供了重要的方法论参考，但大多数仍然专注于单独的子领域或定义狭窄的任务。许多研究还需要大量的计算资源，或在动态知识更新、证据集成和跨场景部署方面存在局限性。对于工业脱碳来说，仍然缺乏能够同时支持广泛知识覆盖、专业准确性和基于证据的响应生成的资源高效且可复制的框架。
在这种背景下，本研究开发了 Mini-CarbonLLM，这是一个资源高效的知识增强框架，用于工业脱碳知识工作和决策支持。该框架基于 GLM-4-9B 构建，通过低秩适应（LoRA）结合检索增强生成，从而在推理过程中将内部领域适应与外部证据注入相结合。这种双路径设计旨在解决工业应用中的两个实际需求：首先是在有限的计算资源下实现轻量级部署和迭代更新；其次是在处理快速变化的技术和政策信息时可靠地访问可更新的外部知识。为了支持这一目标，我们构建了一个多源知识管道，整合了 50,000 条通用指令、5,382 条与碳中和相关的指令、6,096 篇专业论文以及大约 60,000 条经过策划的百科全书条目。我们还建立了一个涵盖五个子领域的基准测试套件——CCUS、负排放、低/零碳技术、政策和策略以及碳核算和市场机制——以评估系统在工程导向知识任务中的性能。通过将适应、检索和评估组织在一个统一的工作流中，Mini-CarbonLLM 不仅作为一个问答模型，而且作为一个智能知识服务框架，用于复杂的工业脱碳场景。

本研究的主要贡献有三个方面。首先，我们提出了一个资源高效且可复制的工业脱碳知识整合框架，能够在可访问的硬件上进行部署和迭代更新。其次，我们构建了一个多源领域知识管道和一个涵盖五个代表性碳中和子领域的基准测试套件，为工程导向的评估和比较提供了可重用的资源。第三，我们通过客观基准测试、LLM 辅助的主观评估和样本化的基于证据的分析，提供了轻量级领域适应与检索增强证据基础之间互补性的实证评估。这些结果描述了领域特定的性能和本地部署的可行性，但没有确立经过人类验证的主观优越性或领域级别的决策效果。总体而言，本研究旨在为碳中和知识任务提供一个可复制的 metodological 参考，其模块化设计可能为未来在其他环境领域中的适应提供信息，在这些领域中，可靠性、可解释性和可重复性至关重要。

部分摘录
**基础模型**
本研究采用开源的大型语言模型 GLM-4-9B 作为基础模型，并在本地进行部署。GLM-4-9B 由 Zhipu AI 和清华大学知识工程组共同开发，包含约 90 亿个参数，在推理、编码和知识密集型任务中表现出色（GLM 等，2024）。此外，其开源配置支持多语言处理、长上下文理解等增强功能。

**训练流程**
本节概述了 Mini-CarbonLLM 的训练和集成工作流程，包括针对碳中和特定应用的 LoRA 和 RAG 的实现。通过对 GLM-4-9B 基础模型进行轻量级重新训练并整合外部知识检索机制，该模型在保持强通用语言理解的同时，获得了处理碳中和任务复杂语义的专门能力。

**结果评估**
本节描述了评估方法，并讨论了模型在碳中和导向客观问题上的详细表现。评估涵盖了本研究开发的模型（GLM-Finetune、GLM-RAG、Mini-CarbonLLM），并将其与广泛使用的商业模型（GPT-4o、Gemini-1.5 Flash、Kimi 和 ERNIE Bot-3.5）进行了比较。在评估时，这些商业系统代表了先进的 LLM 接口，而 GLM-4-9B 被选为当代模型。

**局限性分析**
尽管 Mini-CarbonLLM 在碳中和任务中表现出整体上的强大性能，但仍存在一些结构性局限性，特别是在知识适应范围、语义一致性和 LoRA 与 RAG 模块内的输出控制方面。虽然该模型在识别领域特定术语和检索多源知识方面表现出显著的能力，但在知识整合、事实不一致性和生成方面也存在不平衡。

**结论**
本研究提出了并实现了 Mini-CarbonLLM，这是一个为碳中和工程设计的垂直领域大型语言模型。该模型基于 GLM-4-9B 构建，整合了 LoRA 与 INT4 和 RAG 的双路径架构。通过整合专业文献和通用百科全书来源构建了领域知识库，并配有一个包含 700 个客观问题和 249 个开放式问题的评估套件。Mini-CarbonLLM 在客观问题上实现了平均准确率。

**CRediT 作者贡献声明**
郑一军：验证、数据策划。
刘娴：概念化。
何路豪：写作——审稿与编辑、写作——初稿、概念化。
周永章：调查、资金获取、形式分析、数据策划。
马建华：写作——审稿与编辑、写作——初稿、可视化、概念化。

**数据可用性**
本研究在 https://github.com/Geoma183/MiniCarbonLLM_v1.01 上公开可得。公共仓库还包括基准测试组成元数据、源文档、质量控制记录、污染检查输出和评估分析材料，以支持透明度和可重复性。对于版权敏感的来源，记录了出处和再分发界限，以明确发布材料的范围。仓库还包括错误分析模板。

**利益冲突声明**
作者声明他们没有可能影响本文工作的已知竞争利益。

**资助**
本研究得到了国家关键研究与发展计划（2022YFF0801201）、广西重点领域研究与发展项目（AB24010156）、中国国家自然科学基金（U1911202）和广东省重点领域研究与发展项目（2020B1111370001）的支持。

**利益冲突声明**
? 作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

**作者名单**
马建华 | 周永章 | 刘娴 | 何路豪 | 郑一军