《Machines》：Progressive Fine-Tuning and Adaptive Dual-Path Evidence Augmentation Framework for Industrial Equipment Maintenance
编辑推荐：
工业设备维护知识分散于技术手册、历史工单和现场经验之中。快速检索这些异构来源并生成准确指导，对于减少停机损失和保障操作安全至关重要。通用大语言模型（Large Language Model, LLM）在开放域问答中表现良好，但其预训练语料缺乏工业维护术语和诊断
工业设备维护知识分散于技术手册、历史工单和现场经验之中。快速检索这些异构来源并生成准确指导，对于减少停机损失和保障操作安全至关重要。通用大语言模型（Large Language Model, LLM）在开放域问答中表现良好，但其预训练语料缺乏工业维护术语和诊断推理模式，导致直接应用时出现严重错误。基于语义相似度的检索增强生成（Retrieval-Augmented Generation, RAG）可引入领域知识以减少幻觉（hallucination），但无法保留因果方向和程序顺序约束。这一局限可能在逻辑上使检索到的证据失配，并误导维护决策。现场查询在措辞和信息完整性上也各不相同，常包含设备缩写、口语化转写和遗漏的关键细节，使得固定的检索和响应策略不可靠。本文框架将渐进式微调（progressive fine-tuning）与双路径证据融合（dual-path evidence fusion）相结合。研究人员使用困惑度（perplexity）驱动的样本难度分区来组织两阶段微调，使模型先学习基础领域知识再进行复杂诊断推理，从而缓解领域幻觉。并行的知识图谱（Knowledge Graph, KG）检索与向量检索利用图谱拓扑保留已记录的关方向，并利用源程序提供操作序列信息。由检索必要性和实体匹配状态驱动的三级路由器，为信息完整度不同的查询选择直接回答、向量检索或联合图谱-向量检索。独立测试、噪声查询实验和盲法专家评估表明，答案准确性、逻辑一致性和噪声鲁棒性均有所提升。相对基础模型，两阶段微调使BLEU和ROUGE分别提高约14%和7%。结果表明，渐进式领域学习和结构化外部证据可为工业设备维护提供可靠的决策支持。
**工业设备维护智能问答：渐进式微调与自适应双路径证据增强框架解读**
**一、研究背景与问题提出**
工业设备维护直接关系到生产连续性、设备寿命和现场操作安全。维护人员需要综合技术手册、历史工单、故障案例和现场经验来识别设备状态、诊断故障原因并确定操作步骤。这些知识来源在来源、结构和表达方式上差异显著，而现场查询往往包含缩写、非规范用语和信息遗漏。Bhardwaj等人发现，维护记录中的领域词汇和否定表达直接影响设备健康状态的识别。因此，维护知识获取必须超越词汇或语义相似度层面，识别出不完整表达背后的设备对象、故障症状和维护意图。大语言模型（Large Language Model, LLM）的自然语言理解和生成能力为降低维护知识获取门槛提供了新途径，但开放域语言能力不能替代工业领域知识。
将通用大语言模型直接应用于工业维护仍面临可靠性障碍。开放域预训练语料未能充分覆盖设备型号、故障代码、部件关系及专业操作规程，生成内容可能缺乏依据或与领域事实不一致，构成具体的大语言模型幻觉（hallucination）工业风险。领域微调可将专业知识编码到模型参数中，但参数化知识难以及时更新，且无法在生成过程中提供可验证的外部证据。检索增强生成（Retrieval-Augmented Generation, RAG）通过在推理时访问外部文本缓解了这一局限。Tang等人开发了基于维护知识的RAG助手用于增材制造设备，并使用诊断有向无环图评估故障分析过程。然而，基于相似度的检索主要识别与查询相似的段落，本身无法保留故障-原因方向、部件层次结构或操作步骤顺序。对于不完整或模糊的现场输入，固定检索路径可能引入无关证据；当设备和故障实体明确时，纯文本检索又可能遗漏可约束推理的结构化关系。
知识图谱（Knowledge Graph, KG）通过实体和有向关系来表示设备、部件、故障和维护动作，补充了文本检索所缺乏的结构约束。针对设备点检故障，CausalKG将点检知识图谱与因果关知识相结合以加强根因分析。这表明显式关系可以保留已记录的故障方向与知识路径，但图谱检索仍依赖实体链接质量和关系覆盖率，无法完整捕获维护手册中的参数、条件和操作细节。向量检索则擅长召回语义相关的源文本，但仅凭相似度无法保证关系方向和程序顺序。因此，两种证据类型必须在保留各自优势的前提下进行选择、去重和逻辑对齐。
上述问题引出三个相互关联的技术挑战。第一，维护语料包含基础术语、陈述性事实和多步诊断案例，联合训练可能使频繁且易学的表达主导优化过程，导致复杂推理样本学习不充分。第二，向量检索的语义召回与图谱检索的关系约束必须在同一生成上下文中协同运作，不得在证据来源之间使故障对象、关系方向或操作顺序失配。第三，查询的领域相关性和实体信息完整度因输入而异，对所有输入采用相同检索流程会增加计算成本并可能放大检索噪声。本研究因此旨在在有限训练和部署资源条件下，改善领域适应、证据一致性和复杂输入条件下的答案可靠性。
**二、研究方法概览**
为实现上述目标，研究人员的框架将渐进式微调与双路径证据融合相结合。在训练阶段，样本困惑度（perplexity）组织两阶段LoRA（Low-Rank Adaptation，低秩适应）微调：第一阶段使模型先学习专业术语和基础维护知识，第二阶段再学习多步故障诊断和维护推理模式。在推理阶段，向量检索和知识图谱检索并行运行：向量路径根据语义相关性从维护文档中检索文本，图谱路径匹配实体并在限定跳数内扩展以获得有向关系和相关知识路径；融合模块将两种证据类型组织成统一上下文。由外部检索需求和实体匹配状态联合控制的三级路由器（three-level router），为当前查询选择直接回答、向量检索或联合图谱-向量检索。
关键技术方法包括：（1）困惑度驱动的两阶段LoRA微调，使用冻结的基础模型ChatGLM3-6B计算训练样本困惑度，按固定阈值τ
p=87.2将样本分为约70%低困惑度子集和30%高困惑度子集，第一阶段在低困惑度子集上优化LoRA参数，第二阶段继承第一阶段参数并在高困惑度子集上继续训练；（2）双路径证据检索与融合，向量通道使用BGE嵌入模型和HNSW近似最近邻索引进行语义检索，图谱通道通过模糊字符串匹配将查询短语链接到知识图谱中的规范实体，并从锚实体出发沿有向边进行最多K跳邻域扩展；（3）三级检索路由，根据查询意图导出的检索必要性二元决策d(q)和实体匹配状态，选择Route 0（直接回答）、Route 1（仅向量增强回答）或Route 2（联合图谱-向量增强）；（4）评估数据集方面，研究人员从棉纺并条机维护领域独立构建了IM500-Eval（含500道经专家验证的维护问答对）和含2002个样本的噪声二元判别集，训练集约1000个监督微调问答对来源于制造商文档、企业维修记录和公开技术资料。原型系统在单服务器环境（24 GB GPU）中测试，使用FP16精度、批量大小4、AdamW优化器、初始学习率5×10
-5、余弦退火调度和3个训练轮次，LoRA秩r=8、缩放系数α=32，应用于注意力模块的Q、K、V线性映射。
**三、研究结果**
*困惑度引导渐进式微调的效果*：在IM500-Eval上，两阶段LoRA的BLEU、ROUGE-1、ROUGE-2和ROUGE-L分数分别为6.0711、24.5900、7.7643和16.8372，均高于基础模型，相对提升分别为14.26%、7.37%、8.38%和6.19%。在控制训练样本、样本曝光次数、LoRA配置和评估流程不变、仅训练顺序不同的条件下，两阶段LoRA在全部四项指标上超过单阶段LoRA，验证了困惑度引导渐进式训练策略的有效性。
*双路径证据增强的整体效果*：研究人员的完整方法在IM500-Eval四项生成指标上均取得最高值。相对于无外部检索的两阶段LoRA，BLEU、ROUGE-1、ROUGE-2和ROUGE-L分别提升6.32%、2.69%、3.36%和2.28%；相对于仅图谱增强配置，四项增益分别为9.56%、9.33%、4.30%和2.97%。仅知识图谱增强配置在任何指标上均未超过两阶段LoRA，其BLEU和ROUGE-1分别为5.8912和23.0981——图谱关系补充了部件、故障症状和维护动作之间的结构连接，但仅图谱证据无法覆盖手册中的参数和操作细节。
*噪声输入下的判别能力*：在2002个噪声样本的二元判别任务中，基础模型正确选择1108次（准确率55.34%），两阶段LoRA正确选择1451次（准确率72.48%），研究人员的完整方法正确选择1702次（准确率85.01%），超过基础模型和两阶段LoRA。仅知识图谱增强配置准确率为68.38%，低于两阶段LoRA。该结果与开放域生成指标方向一致。
*专家评估与原型性能*：盲法专家评估中，研究人员的完整方法在专业准确性（9.8分）、工业安全性（9.6分）、逻辑一致性（9.6分）和语言流畅性（9.5分）上获最高均分，答案完整性（8.5分）与ChatGPT-4.0并列。原型测试中，双路径混合检索平均响应时间1.12秒，维护指令流式生成速度26.5 tokens/s，知识图谱可视化渲染时间1.35秒，页面请求平均响应时间0.82秒。
**四、讨论与结论**
两项受控比较提供了方法有效性的主要证据：单阶段LoRA与两阶段LoRA仅训练顺序不同，四项生成指标和噪声判别准确率均支持困惑度引导渐进式训练；无检索配置、仅图谱配置与完整方法使用相同生成器和评估协议，结果支持完整双路径证据配置。IM500-Eval测量开放域答案生成，2002个噪声样本测量非标准输入下的答案判别，盲法专家评估补充了工程师对专业质量、安全措辞和逻辑一致性的判断，原型测试报告了单服务器交互性能，各评估层面结果指向一致方向。
研究结论指出：本研究解决了工业设备维护中的领域幻觉、检索证据逻辑失配和对非规范查询适应不足的问题。方法结合了困惑度引导的两阶段LoRA微调、向量与知识图谱双路径证据融合以及基于意图和实体状态的三级检索路由。在IM500-Eval上，两阶段LoRA的BLEU、ROUGE-1、ROUGE-2和ROUGE-L分别为6.0711、24.5900、7.7643和16.8372，均高于基础模型和单阶段LoRA；完整方法进一步将四项分数提升至6.4545、25.2526、8.0254和17.2213，并在2002个噪声样本中实现1702次正确选择（准确率85.01%）。在五位工程师匿名评估中，研究人员的完整方法在专业准确性、工业安全性、逻辑一致性和语言流畅性上取得所比较配置中的最高均分，并在答案完整性上与ChatGPT-4.0并列。上述结果验证了困惑度引导渐进式领域适应与双外部证据在当前设备维护任务上的联合有效性，并表明完整方法可支持交互式单服务器原型。
研究同时承认若干局限性：当前验证限于棉纺并条机维护及本研究构建的评估集，框架对其他设备类型和公开基准的泛化性尚待确立；原型在单服务器环境中评估，更大规模部署下的性能尚未检验。未来工作将扩展方法至其他设备类型，在公开或开放构建的维护数据集上进行评估，整合设备图像和操作信号，并改进知识更新、证据溯源和人工确认机制。
