LoRA-SFIE-LLM：用于采煤机故障信息提取的协同式LoRA与RAG检索优化方法

《Knowledge-Based Systems》：LoRA-SFIE-LLM: Synergistic LoRA and RAG retrieval optimization for shearer fault information extraction

　　

• •
  为提取采煤机故障信息，构建了专用领域数据集。
• •
  提出了结合LoRA微调与RAG检索优化的LoRA-SFIE-LLM模型。
• •
  RAG检索优化提升了大语言模型在信息提取方面的性能。
• •
  该方法可在资源匮乏的领域实现高效的信息提取。

引言

采煤机是全机械化开采工作面的核心设备，其可靠性直接关系到矿山生产安全。对采煤机故障信息进行结构化表示，能够提供实时洞察，从而为智能决策提供有力支持[1]。然而，这一领域长期面临资源匮乏的挑战，包括标注数据稀缺、专业术语复杂以及工作环境高度动态等问题。传统的信息提取方法依赖于大量标注样本和固定场景建模，导致其泛化能力不足，难以适应采煤机故障这类复杂的场景[[2], [3], [4], [5]]。为应对传统方法的局限性，近期研究越来越多地聚焦于利用大语言模型来处理资源匮乏、高度专业的采煤机故障相关信息[6]。

诸如ChatGLM[7]和Qwen[8]这样的大语言模型，在语义理解、复杂逻辑推理以及针对信息提取任务的高效上下文学习方面展现出卓越的能力[9]。通过注入领域知识并调整场景，大语言模型正逐渐被应用于医疗、法律、金融等专业领域[10]。不过，将这些模型直接应用于特定领域的文本时仍存在诸多挑战。首要挑战在于如何有效地表示和内化领域知识[11]。由于大语言模型通常是在通用网络语料上预训练的，当用于特定领域的信息提取任务时，很容易出现事实错误或语义混淆的问题[12,13]。这一问题的根源在于预训练数据中缺乏特定领域的知识，且缺乏生成信息提取任务所需结构化输出的相关训练。提示学习通过设计模板为大语言模型注入领域知识及特定任务的输出格式，为解决这一问题提供了一种部分方案[14]，但仅靠提示往往难以将领域知识深度整合到模型的参数中[15]。因此，人们开发出了参数高效微调技术来缓解这些问题。低秩适配通过引入低秩适配器来整合领域知识，为有效适配提供了可行路径，且仅需微调少量参数即可实现[16]。然而，微调本质上是一种静态的知识固化过程，它无法在不重新训练的情况下融入新知识，这限制了模型在面对新兴故障模式或动态环境中的实时更新操作流程（如采煤机故障诊断）时的快速适应能力[17]。为解决这一局限，人们提出了检索增强生成技术，该技术将模型与存储有实时故障数据、最新技术文档以及其他与采煤机故障相关的信息的外部知识库相连[18]。该知识库会定期更新，确保其知识内容始终与行业发展保持同步。这样一来，经过微调的大语言模型在执行信息提取任务时，就能够从外部知识库中获取动态更新的信息[19]，从而显著提升提取结果的准确性和时效性。

因此，为了解决资源匮乏条件下的采煤机故障信息提取问题，本研究提出了基于Qwen2.5-7B的LoRA-SFIE-LLM框架，这是一种用于采煤机故障信息提取的大语言模型框架。该框架结合了LoRA微调与RAG检索优化技术，以实现领域知识的有效内化以及通过外部知识实现动态增强。具体而言，首先采用少样本提示策略构建特定任务的提示模板，从而有效激发大语言模型对采煤机故障文本进行深度语义解析的能力。随后，运用LoRA技术进行参数高效微调，使大语言模型能够快速掌握采煤机故障领域的专业知识。最后，通过数据监控和定期更新获得的实时故障案例和技术文档会被存储在外部知识库中。借助所提出的带有重排功能的RAG检索优化策略，可以检索这些向量化的知识，从而准确获取关键信息，有效弥补静态模型在整合最新外部知识方面的不足。

本文的主要贡献如下：

• (1)
  针对资源匮乏条件下的采煤机故障信息提取需求，构建了专用领域数据集，通过术语标准化和数据增强手段实现了术语统一并扩展了训练数据规模。
• (2)
  提出了LoRA-SFIE-LLM框架，将该框架结合了基于LoRA的领域适配技术与基于RAG的外部知识增强技术，以此提升资源匮乏的采煤机故障领域的信息提取效率。
• (3)
  提出了一种RAG检索优化策略，用于整合最新的外部领域知识，从而无需重新训练大语言模型即可提升信息提取性能。
• (4)
  在所构建的采煤机故障数据集上进行的全面实验表明，该方法提升了大语言模型在特定领域任务上的性能，为资源匮乏领域的信息提取提供了可行的解决方案。

本文的其余结构如下：第2节系统梳理了信息提取、大语言模型微调以及RAG相关的研究进展；第3节介绍了所提出的方法；第4节展示了实验结果并进行了分析；最后，第5节对全文进行总结，并提出了未来的研究方向。

章节要点

信息提取

信息提取是自然语言处理领域的一项基础任务，其作用是将非结构化文本转化为结构化知识[20]。最初，Eftimov等人[21]采用基于规则的方法进行信息提取。之后，Li和McCallum[22]运用基于条件随机场的统计机器学习方法，借助标注数据让模型自动学习统计规律。不过，这些传统方法严重依赖人工设计的规则或特征。

方法论

图1展示了LoRA-SFIE-LLM的总体工作流程。在本研究中，Qwen2.5-7B模型通过LoRA微调被应用于采煤机故障领域。对于每一条非结构化的输入文本，首先将其编码为向量表示形式。接着，通过RAG检索优化技术，基于向量相似度搜索从外部知识库中检索相关知识，并对候选片段进行重排。之后，将选定的上下文片段与原始输入文本相结合。

数据集

数据收集与预处理：由于公开可用的采煤机故障信息提取数据集十分稀缺，本研究专门构建了一个专用数据集。数据来自A矿，包含183份设备维护记录和206份故障维修报告。这些报告中详细记载了故障现象、故障部件位置、维护措施、更换的零件以及专家给出的解决方案。此外，还从网络资源中收集了37份采煤机使用手册，并将其与上述数据结合使用。

结论

为解决大语言模型在采煤机故障领域的局限性，尤其是其缺乏深入的领域知识以及无法有效整合实时信息的问题，本文提出了LoRA-SFIE-LLM模型。通过系统实验得出了以下主要结论：

• (1)
  关于提示策略选择的实验表明，少样本提示能够有效激发大语言模型对专业文本进行深度语义解析的能力，进而提升该模型在特定领域信息提取任务中的性能。

资金支持

本研究未获得公共部门、商业机构或非营利组织任何形式的专项资助。

数据获取方式

支持本研究结论的相关数据，可在合理请求下向本文的通讯作者获取。

CRediT作者贡献说明

王云瑞：撰写——审稿与编辑、资源协调、项目指导。郑兆阳：撰写——初稿撰写、结果验证、方法设计。隋新桐：资源协调、项目管理、形式化分析。Man Yv：资源协调。

CRediT作者贡献说明

王云瑞：撰写——审稿与编辑、项目指导、资源协调。郑兆阳：撰写——初稿撰写、结果验证、方法设计。隋新桐：资源协调、项目管理。Man Yv：资源协调。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

作者感谢西安科技大学智能生产控制实验室的各位同事在研究过程中给予的支持与帮助。

王云瑞|郑兆阳|隋新桐|Man Yv