《Machine Learning with Applications》：RAG-augmented LoRA fine-tuned LLM for structured bearing fault diagnosis in Industry 4.0 predictive maintenance
编辑推荐：
研究人员提出一种轴承故障诊断流程，将21特征传感器到文本表示、检索增强生成（retrieval-augmented generation, RAG）与LLaMA 3.2 3B的低秩适配（low-rank adaptation, LoRA）相结合，以生成包含故障
研究人员提出一种轴承故障诊断流程，将21特征传感器到文本表示、检索增强生成（retrieval-augmented generation, RAG）与LLaMA 3.2 3B的低秩适配（low-rank adaptation, LoRA）相结合，以生成包含故障类别、严重程度、引用信号特征的解释以及维护建议的结构化报告。在文件级CWRU划分上，该大语言模型（large language model, LLM）达到78.45%宏F1（macro-F1），而支持向量机（support vector machine, SVM）为93.15%，随机森林（random forest, RF）为91.21%。在严格跨负载实验中，LoRA训练、验证和检索索引仅使用0-1 HP记录，评估使用完整的2-3 HP集共2 308个窗口。同一适配器在每条提示使用三个检索案例进行训练，并在推理时分别在有检索和无检索条件下评估；该比较不涉及独立训练的模型。对于随机种子42，检索将LLM宏F1从19.91%提高到67.89%；在另外五个训练种子上，均值从45.38±15.25%提高到66.01±8.19%，且检索在每个种子中均更优（配对t检验p=0.015）。SVM、随机森林和一个紧凑的原始信号InceptionTime网络（五个种子）仍比LLM更准确，分别为87.48%、89.42%和84.04±6.29%。在单种子检查中，检索深度k=1-7和三种句子编码器之间宏F1变化不大，而运行元数据和期望频率文本的贡献未得到证实。在Paderborn上，固定的CWRU训练模型达到21.02%宏F1，而使用目标特定FAISS（向量相似度检索库）索引进行目标域LoRA微调得到77.33%，低于随机森林（80.39%）；这是目标域适配，而非跨数据集泛化，且Paderborn划分是记录不相交但非轴承不相交。可读性指数仅表征语言复杂性，并非人类可解释性的证据。
研究背景与问题：滚动轴承是旋转机械中最易失效的部件，在电机、泵、涡轮和输送机非计划停机中占比很高。Industry 4.0（工业4.0）通过物联网连续采集振动、温度、电流信号，为数据驱动诊断和预测性维护（predictive maintenance, PdM）奠定基础。经典方法依赖快速傅里叶变换（fast Fourier transform, FFT）、包络分析或手工特征加机器学习分类器，但存在三类持续问题：常规分类器通常只给类别预测，解释、严重度估计和维护指导需额外模型或规则组件；负载或转速变化导致特征分布漂移时性能下降；系统孤立运行，难以纳入维护日志、历史维修先例等外部上下文知识。LLM（大语言模型）具备推理、上下文理解和零样本泛化能力；BearLLM等多模态框架虽可行，但架构复杂、未纳入检索机制且未嵌入明确Industry 4.0部署语境；FD-LLM在CWRU上微调开源LLM用于分类和解释生成，但据作者所知无检索组件，且模型规模约为本研究的2.5倍。因此，本研究目的不是提出新分类器或声称先进精度，而是在避免窗口泄漏的记录级协议下，评估紧凑RAG增强LLM相对于特征基线和原始信号基线的贡献与不足；其意义在于以开放子4 B参数模型和较低算力产生类别、严重度、引用信号特征的解释及维护建议相统一的结构化报告，并编码Industry 4.0运行元数据。
研究人员开展的研究与结论意义：研究人员构建了由信号分段、特征提取、传感器到文本编码、检索增强上下文构建和LLM诊断组成的流程，在CWRU与Paderborn数据上开展分布内分类、严格跨负载泛化、零样本迁移和目标域适配，并与SVM、RF及紧凑InceptionTime比较。结论是LLM并未超过常规分类器；检索在负载偏移下显著改变同一适配器的行为，但绝对精度仍低；Paderborn结果仅证明目标域适配而非跨数据集泛化。其意义在于明确RAG-LoRA LLM在结构化轴承诊断中的能力边界及可计算测量的输出属性。
关键技术方法概括（约240字）：研究人员将48 kHz振动信号按窗长16 384、步长4 096（75%重叠）分段，提取7个时域与14个频域特征，并以键值文本编码21维特征及转速、负载、期望故障频率等元数据。模型为4-bit NF4量化的LLaMA 3.2 3B-Instruct，采用LoRA（r=16，α=32，dropout=0.05）注入注意力与MLP投影。RAG使用all-MiniLM-L6-v2句向量与FAISS IndexFlatIP，主实验k=3，并过滤同录音文件案例。对照包括SVM、随机森林及紧凑InceptionTime。样本队列来源为CWRU 48 kHz驱动端40个文件（3978窗）和Paderborn 64 kHz FAG-6203数据（239录音、5975窗）；CWRU按录音文件划分，跨负载实验仅用0-1 HP训练、验证和索引，2-3 HP测试。
研究结果：
4.4 实验1：分布内分类（CWRU）——通过文件级划分的976个留出窗口单次运行，LLM宏F1为78.45%，SVM为93.15%，RF为91.21%；LLM类别F1为Ball 0.54、Inner Race 0.83、Normal 1.00、Outer Race 0.77；检索Hit@1=55.23%、Hit@3=82.27%仅为类别一致性；可读性仅描述语言复杂性，未进行人工理解评估。
4.5 实验2：严格跨负载泛化——LoRA训练、验证和FAISS索引仅用0-1 HP，完整2-3 HP测试集2308窗；同一适配器在推理时有/无检索比较。种子42的RAG将宏F1从19.91%提高到67.89%；720例仅RAG正确、91例仅无RAG正确，McNemar检验p<0.001；录音文件聚类bootstrap的RAG减无RAG宏F1差为0.442，95%置信区间0.186–0.556。五种子RAG均值66.01±8.19%，无检索45.38±15.25%，差20.63±11.30，配对t检验p=0.015，Wilcoxon p=0.0625；每个种子提高12.3–40.2点；InceptionTime为84.04±6.29%。数值一致性检查中，2096个故障预测均命名预测类别对应频带，2095个（99.95%）引用频带能量和期望频率在10%和3 Hz内，误分类故障中为99.88%；该检查仅验证数值复制保真。
4.6 实验2b：检索和输入组件分析——单种子探索显示，k=1–7时宏F1为66.7–69.2%且无清晰趋势，每增加一个案例提示约增440 tokens；三种句子编码器为63.5–69.0%，Hit@1最高者宏F1最低；去除运行元数据为50.2%，去除期望频率文本为62.2%，两者均去除为66.1%，呈非单调，单种子不能得出结论。
4.7 实验3：零样本CWRU→Paderborn——固定CWRU模型宏F1为21.02%（准确率23.67%，宏精确率39.59%，宏召回率24.82%）；1200个测试窗中预测Ball 816个（68%），Outer Race仅18个；表明不迁移，且结果混合域偏移与提示格式偏移。
4.8 实验4：Paderborn目标域适配——239个录音产生5975窗，划分4275/500/1200；LoRA和Paderborn FAISS索引仅用4275训练窗；故障目标统一使用Medium占位，故不验证严重度；划分为记录不相交但非轴承不相交，验证和测试轴承码均出现在训练集。目标域微调后LLM宏F1为77.33%，零样本为21.02%，RF为80.39%，SVM为63.90%；这解释为目标域适配而非跨数据集泛化，绝对分数可能高估。
4.9 汇总——CWRU分布内SVM/RF高于LLM；跨负载五种子RAG LLM为66.01±8.19%，低于SVM 87.48%、RF 89.42%和InceptionTime 84.04±6.29%；Paderborn目标域适配LLM 77.33%低于RF 80.39%、高于SVM 63.90%，零样本为21.02%。
讨论部分总结：主要经验结论不是LLM为更优故障分类器，而是检索源域案例在负载偏移下实质影响LLM行为；该效应随训练种子在12–40点间变化，LLM绝对水平也有8.2点标准差。统计上，75%重叠窗口需录音文件聚类bootstrap补充；五对种子的Wilcoxon检验最小只能达p=0.0625，t检验应视为指示性；分布内CWRU、Paderborn、敏感性分析和组件消融均为单次运行。自然语言输出提供不同于SVM、RF、InceptionTime的功能，但不能与“常规模型不可解释”混同；解析率、可读性和数值复制保真度均不能独立证明诊断正确性、维护有用性或人类可解释性。与“常规分类器+规则报告生成”相比，该组合在本研究中更准确、确定且易审计，且本LLM训练目标本身由确定性模板生成；LLM框架的优势为设计动机假设而非实测结果，需直接比较报告正确性、延迟、维护工作量和专家评分。Paderborn支持窄结论：零样本不迁移；目标域适配可恢复但RF更高；严重度未验证，共享轴承使分数可能乐观。与原始信号网络比较不应视为先进基准；CWRU结果强烈依赖划分方式。限制包括：RAG对比为推理时消融，未训练无检索适配器；种子复制仅覆盖跨负载；多项实验为单次运行；仅评估一个紧凑原始信号网络；Paderborn非轴承不相交、基线未调参、零样本提示格式变化；无维护专家评估；无边缘设备延迟、吞吐或内存基准。
研究结论部分翻译：本研究评估了结合特征提取、传感器到文本编码、LoRA适配和RAG的结构化轴承诊断流程。结果不支持LLM优于常规分类器的论断。CWRU分布内LLM宏F1为78.45%，SVM为93.15%，RF为91.21%。严格跨负载实验中，同一适配器推理加入检索使种子42 LLM宏F1从19.91%升至67.89%，五种子均值从45.38%升至66.01%，每个种子均提高；SVM、RF和紧凑原始信号InceptionTime仍更高（87.48%、89.42%、84.04%）。单种子分析未显示清晰依赖检索深度或句子编码器，未证实运行元数据或期望频率文本获益。Paderborn固定CWRU模型为21.02%，目标域LoRA微调并重建检索索引后为77.33%，低于RF的80.39%；这证明目标域适配而非零样本跨数据集泛化，且划分共享轴承。生成报告最好视为结构化模型输出，其格式、语言复杂性和数值一致性可计算测量；诊断忠实性和实用性仍需维护专家直接评估。未来工作应优先多种子复制分布内和Paderborn实验、采用轴承不相交Paderborn划分、与调优原始信号CNN、TCN和Transformer模型比较、开展多种子表示与检索设计消融，并由维护从业者评估。
