FireKnowLLM：利用专家指导的微调技术，实现可靠的消防知识问答

《Displays》：FireKnowLLM: Leveraging expert-guided fine-tuning for reliable firefighting knowledge question answering

针对通用大语言模型在火灾安全知识问答中的不足，提出FireKnowLLM模型，通过LoRA方法微调专家标注的57K消防问答数据集，结合结构化响应模板和多维度安全评估，显著提升专业准确性和安全性，减少不安全行为。

　　

朱明军|邵明

上海消防救援局，中国上海，200051

摘要

火灾事件仍然是一个持续的全球性挑战，需要准确且符合安全标准的消防知识来支持火灾预防、应急响应和监管监督。然而，通用的大型语言模型（LLMs）由于缺乏领域专业性和专家指导，往往无法在消防领域提供可靠和专业的答案。为了解决这个问题，提出了FireKnowLLM，这是一个针对消防领域的定制大型语言模型，用于可靠地回答消防相关问题。该模型使用参数高效的低秩适应（LoRA）方法，在一个大规模的、由专家注释的消防问答数据集上进行微调，以实现与法规一致的知识获取。此外，还设计了标准化的指令格式和结构化的响应模板，以提高答案的准确性、完整性和安全性合规性。FireKnowLLM通过自动指标、专家人工评估和以安全为导向的对抗性测试进行了评估。实验结果表明，与基础模型相比，在专业准确性和完整性方面有显著改进，其安全性能也接近领先的商业API。值得注意的是，与未经微调的开源替代品相比，FireKnowLLM显著减少了不安全的跟随行为。

引言

火灾灾害是最频繁和最具破坏性的紧急情况之一，对人类生命、财产和社会稳定构成严重威胁[1]，[2]。仅2025年上半年，中国的消防救援队就响应了大约124.2万起紧急事件，其中包括55.2万起与火灾相关的事件，占所有事件的40%以上，导致2000多人伤亡[3]。在全球范围内，AccuWeather估计2025年初的加州野火造成的直接经济损失超过了1500亿美元[4]。尽管这些影响非常严重，但相当一部分火灾事件可归因于公众对基本消防安全知识的了解不足[5]，[6]。目前，公众主要通过在线资源、专业手册和线下专家咨询等传统渠道获取消防知识，但这些渠道往往效率低下，受到时间和空间的限制，并且缺乏互动性。因此，权威消防安全知识的传播仍然有限，难以建立全面和可持续的火灾预防和应急响应意识[7]，[8]，[9]，[10]。随着大型语言模型（LLMs）的迅速发展，人工智能在自然语言理解、推理和生成方面展现了强大的能力，使得其在灾害监测、应急响应和风险评估等领域的应用成为可能[11]，[12]。最近的研究探索了使用LLMs分析灾害期间的社交媒体数据、生成结构化的灾害报告以及协助应急决策，凸显了它们在安全关键场景中的潜力[13]。Colverd等人[14]开发了FloodBrain系统，通过结合网络信息检索和LLMs来生成结构化的洪水灾害报告，而Goeks和Waytowich[15]提出了DisasterResponseGPT，通过上下文学习来生成灾害响应行动计划。

尽管取得了这些进展，但使大型语言模型在消防领域发挥可靠助手的作用仍然具有挑战性。现有的努力尚未达到专业消防知识传播和互动式应急咨询的要求。特别是，以下关键挑战仍然存在：

• •
  如何确保消防知识传递的专业准确性和安全性合规性？ 大多数基于LLM的系统是为情境感知、响应规划或调查工作流程设计的，而不是通过互动式问答来提供权威和符合安全标准的消防知识。高质量、由专家注释的消防数据集的缺乏进一步限制了可靠性，可能导致不完整或不安全的指导[16]，[17]。
• •
  如何有效地将通用LLMs适应到消防领域？ 尽管在医疗保健和法律等领域，领域适应性微调已被证明是有效的，但针对消防知识传播的系统性研究仍然很少。现有的消防问答工具通常是静态的、互动性较弱，并且难以快速整合法规更新，这限制了它们的实际应用性[18]。

虽然本研究的技术组成部分——参数高效的微调和指令调整——在自然语言处理（NLP）中是成熟的范式，但将其应用于消防知识传播需要解决一般领域适应经常忽略的独特安全关键约束。这项工作的贡献不在于算法本身的新颖性，而在于将专家隐性知识系统地编码到结构化、符合安全标准的训练框架中的方法论。这种定位体现了对领域可靠性和实际部署能力的优先考虑，而不是渐进的技术修改。

为了解决通用大型语言模型在消防知识问答方面的适用性有限的问题，本研究提出了FireKnowLLM，这是一个基于Qwen3-32B的LLM，使用低秩适应（LoRA）在一个大规模的、由专家注释的消防问答数据集上进行微调，旨在通过互动式问答提供准确且符合安全标准的消防知识[19]，[20]。图1展示了FireKnowLLM的总体方法论概述，说明了数据集构建、领域适应和多维度评估的主要组成部分。这项工作的贡献总结如下：

• 我们整理了FireSafety-57K，这是一个大规模的消防问答数据集（包含57K个样本，涵盖训练、法规和监督领域），其中包含了专家注释的安全协议和结构化的响应模板，解决了安全关键领域中高质量、符合法规的训练数据稀缺的问题。
• 我们建立了一个专门为消防知识系统设计的多维度安全评估框架，其中包括对抗性测试和基于专家的安全合规性评估，以确保在高风险场景中的可靠部署。
• 我们证明了参数高效的适应（通过LoRA）是一种有效的实施方法，可以将专家整理的知识注入通用LLMs，从而在专业准确性和安全意识方面取得显著提升，而不会发生灾难性的遗忘。

方法论

方法论

如图2所示，FireKnowLLM遵循一个包括数据集构建、基于LoRA的领域适应和多维度评估的三阶段流程。每个阶段的详细信息将在以下部分中介绍。

实验设置

本研究采用LLaMA-Factory框架进行参数高效微调。LoRA适配器模块被注入到注意力投影层中，即$q_{\text{proj}}$$k_{\text{proj}}$$v_{\text{proj}}$。LoRA配置采用了$r=8$的秩，$\alpha =16$的缩放因子，以及0.05的丢弃率，从而在适应能力和参数效率之间取得了平衡。模型使用$\alpha =16$的学习率进行了三个时代的微调。$3\times 10^{?4}$进行训练。训练在包含四个NVIDIA硬件的平台上进行

结论与未来工作

本研究表明，在安全关键的垂直领域，领域适应的价值不一定在于算法的新颖性，而在于严格的专家知识整理和系统的安全验证。FireKnowLLM建立了一个可复用的基础设施——包括FireSafety-57K数据集和多维度评估框架——用于在消防实践中部署可靠的AI助手。

FireKnowLLM结合了专家指导的基于LoRA的微调和结构化

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作基于上海消防救援局的数据治理倡议。