TabEng-QLoRA：一种基于重要性引导的量化低秩微调方法，能够对大型语言模型进行具备批判性思维能力的表格到文本的转换 作者：Seda Bayat Toksoz 和 Gultekin Isik

《Electronics》：TabEng-QLoRA: Criticality-Aware Tabular-to-Text Adaptation of Large Language Models via Saliency-Guided Quantized Low-Rank Fine-Tuning Seda Bayat Toksoz and Gultekin Isik

　　摘要
将大型语言模型（LLMs）应用于工业故障分类受到表格传感器数据与基于文本的输入之间的不匹配，以及在边缘硬件上微调十亿参数模型的高内存成本的阻碍。本文提出了TabEng-QLoRA框架，该框架有三个主要贡献：（1）一个基于关键性的序列化模块，它将表格传感器记录转换为结构化的提示，并将故障关键特征放置在语义上显著的位置；（2）一个基于显著性的排名分配机制，该机制在500个样本的校准集上分析层层激活范数，并为适配器分配三个等级的排名（r ∈ {8, 16, 32}）；（3）一个前馈域路由器，用于自动选择适配器（准确率为98.1%，延迟为0.6毫秒）。在三个公共基准测试（AI4I预测维护数据集）上使用三种基础模型（LLaMA-3-8B、Mistral-7B和Qwen2-7B）进行的实验表明，TabEng-QLoRA的平均宏F1分数为0.908，比标准的QLoRA高出10.6%，而且所需峰值GPU内存仅为4.6-5.2 GB。该框架在接近完全微调的同时，在跨设备迁移学习方面也具有优势（零样本宏F1分数为0.743，而基于20%目标领域数据的XGBoost则为0.341，因为XGBoost无法进行零样本迁移）。消融实验结果证实了这三个组件的贡献具有统计学意义（p < 0.001）。

1. 引言
预测性维护（PdM）是现代工业制造中的关键策略，它使维护方式从反应式或基于时间的维护转变为数据驱动、基于状态的条件维护，从而减少了计划外停机时间并提高了资产利用率[1,2]。其经济影响巨大：据估计，计划外停机每年给工业制造商造成的损失为500亿美元[1,2]，其中轴承故障占到旋转机械故障的约40-50%[3]。现代PdM系统利用机器学习分析传感器数据流（包括温度、振动、转速、扭矩和工具磨损测量值），并在故障发生之前进行预测[4,5]。传统上，PdM分类依赖于随机森林、支持向量机和XGBoost等传统机器学习方法，这些方法直接应用于结构化的表格传感器数据[6,7]。这些方法在基准数据集上表现良好；例如，在AI4I 2020预测维护数据集上，梯度提升方法的二进制故障检测任务F1分数超过了0.99[6,7]。然而，这些方法在实际工业应用中面临三个实际限制：（i）它们需要手动特征工程来捕捉特征间的依赖性，例如过载故障中扭矩和转速之间的非线性交互；（ii）它们无法利用维护日志、操作员笔记或设备手册中的非结构化信息；（iii）它们缺乏迁移学习能力，当部署到新类型设备或制造过程中时需要重新训练[8,9]。结合深度学习和优化技术的混合AI方法也已在智能制造环境中探索用于PdM[10]，这表明了向更丰富的数据驱动解决方案发展的趋势，尽管这些方法也面临着跨设备类型泛化的类似挑战。
大型语言模型（LLMs）提供了一种不同的方法，可能解决这些限制。基于Transformer架构[11]构建的模型，如LLaMA-3[12]、Mistral-7B[13]和Qwen2[14]在上下文推理、迁移学习和跨不同领域的泛化方面表现出色[15]。最近的研究探索了LLMs在工业故障诊断中的应用：FD-LLM[16]通过模态对齐和模糊语义嵌入调整大型语言模型以适应复杂设备的故障诊断，实现了与专门深度学习方法相当的故障分类准确性。此外，基于字符串的时间序列信号分词表明，当给定适当的文本表示时，LLMs可以处理振动数据以进行故障分类[8]。关于机器学习和深度学习在故障诊断[17]以及预测性维护[1]中的综合评论也证实了向更丰富数据表示发展的趋势。然而，目前有两个障碍限制了LLMs在预测性维护分类中的实际应用。
第一个障碍是表格传感器数据与LLMs期望的顺序文本格式之间的模态差异。工业传感器数据本质上是表格化的——带有物理单位和工程语义的结构化数值读数——而LLMs则是为顺序文本处理设计的。这种差异不仅仅是格式问题：当表格记录被简单地连接成原始数字字符串（例如，“298.1, 308.6, 1551, 42.8, 120”）时，物理意义、单位语义和特征间的关系就会丢失。最近关于LLMs的表格到文本转换的研究表明，带有领域上下文的结构化序列化显著提升了分类性能[18,19]。此外，序列化过程中变量的顺序和语义权重直接影响Transformer层间的注意力分布：位于序列边界的特征由于Transformer自注意力中的“首要性-新颖性”偏见而获得更强的关注[20]，而带有更丰富上下文线索的特征（例如物理单位、操作阈值）生成更具信息量的令牌嵌入。因此，在高频工业传感器环境中，解决序列化设计中的这一领域差异对于有效的基于LLM的故障分类至关重要，因为在这些环境中，精确的数值携带了通用序列化无法保留的领域特定诊断信息。
第二个障碍是计算成本。完全微调一个70亿参数的LLM需要大约28-80 GB的GPU内存和数小时到数天的训练时间[21,22]，远远超出了工业边缘设备可用的计算资源。参数效率高的微调（PEFT）方法解决了这一障碍；在可用的选项中，QLoRA[22]特别适合工业边缘部署，原因有几个。与插入额外层并增加推理延迟的适配器模块[23]相比（这对实时监控是一个关键问题），QLoRA仅修改现有注意力层中的低秩投影，几乎没有延迟开销。与前缀调优[24]相比，后者在输入序列之前添加可训练的软令牌，并且对提示长度敏感（已经受到序列化传感器数据的限制），QLoRA独立于输入序列操作。最重要的是，QLoRA结合了4位NormalFloat量化和低秩适应，将内存需求降低到大约4-6 GB，符合NVIDIA Jetson Orin等工业级GPU的约束（8-16 GB）。然而，标准的QLoRA在所有Transformer层上应用统一的排名分解，隐含地假设每一层对故障分类的贡献是相同的。在PdM背景下，这一假设尤其成问题，因为故障关键特征需要在特定Transformer层中集中表示能力[25,26]。
因此，本文提出了TabEng-QLoRA（表格到文本工程自适应量化低秩适应）框架，该框架有三个主要贡献：
（1）一个结构化的表格到文本序列化管道，它将每一行表格传感器数据转换为包含物理单位、操作上下文和故障模式语义的领域上下文化自然语言提示，并通过领域专家知识和数据驱动的重要性排名来确定故障关键特征（第3.1节）。
（2）一个基于关键性的显著性排名分配机制，该机制从校准集中计算层层激活范数，并通过三级百分位数方案分配适配器排名：高于第70百分位数的层分配高排名（r = 32），第30到第70百分位数之间的层分配中等排名（r = 16），低于第30百分位数的层分配低排名（r = 8）（第3.2节）。
（3）一个基于单层前馈分类器的轻量级工程域路由器，实现98.1%的领域分类准确率，推理开销为0.6毫秒，能够自动选择三个评估领域中的适配器（第3.3节）。
该框架在三个公共预测维护基准测试中进行了评估——AI4I 2020预测维护数据集[7]、机器预测维护分类[27]和CWRU轴承数据集[28]——使用了三种开源基础模型（LLaMA-3-8B、Mistral-7B和Qwen2-7B）。结果表明，与标准QLoRA相比，平均宏F1分数提高了10.6%，在轴承故障分类上的准确率达到13.6%，所有改进都具有统计学意义（p < 0.001，Cohen’s d = 2.41）。该框架在4.6-5.2 GB的峰值GPU内存范围内运行，同时将可训练参数减少了98.9-99.5%（这一范围反映了不同基础模型和领域特定显著性配置对分配给每个排名层的层比例的影响）。
本文的其余部分组织如下。第2节回顾相关工作。第3节介绍所提出的方法论。第4节描述实验设置。第5节报告结果和讨论。第6节讨论局限性。第7节总结本文。

2. 相关工作
2.1. 预测性维护和故障分类
预测性维护已经从基于规则的故障监测发展到先进的数据驱动方法。传统的机器学习方法，包括随机森林、SVM和梯度提升，已被广泛应用于表格传感器数据的故障分类[6,7]。AI4I 2020预测维护数据集已被用来评估这些方法，其中XGBoost和集成方法在二进制故障检测任务上的F1分数超过了0.99[6]。对于多类故障类型分类，根据类别不平衡处理和特征工程的不同，性能范围从0.85到0.96不等[6,29]。深度学习方法，特别是CNN和LSTM，在基于振动的轴承故障数据集上实现了高精度，分类率在受控环境中超过了98%[30,31,32]。结合深度学习和群体智能优化的混合AI模型也已被应用于智能制造中的PdM，展示了联合利用学习到的表示和元启发式搜索在机器人平台中进行故障识别的价值；然而，这些方法仍然不是基于LLM的，并且没有解决我们的框架所针对的模态差异或边缘部署限制。更广泛地说，这些方法通常需要特定于信号的预处理，并且在没有进行实质性重新工程的情况下无法跨设备类型泛化[33]。
2.2. 用于工业故障诊断的大型语言模型
将LLMs应用于工业故障诊断的研究越来越多。FD-LLM[16]通过模态对齐和模糊语义嵌入调整LLMs以适应复杂设备的故障诊断，展示了语言模型可以实现与专门深度学习方法相当的故障分类准确性。另外，基于字符串的时间序列信号分词表明，当给定适当的文本表示时，LLMs可以处理振动数据以进行故障分类[8]。关于机器学习和深度学习在故障诊断[17]以及预测性维护[1]中的综合评论证实了向更丰富数据表示发展的趋势。然而，目前有两个障碍限制了LLMs在预测性维护分类中的实际应用。
第一个障碍是表格传感器数据与LLMs期望的顺序文本格式之间的模态差异。工业传感器数据本质上是表格化的——带有物理单位和工程语义的结构化数值读数——而LLMs是为顺序文本处理设计的。这种差异不仅仅是格式问题：当表格记录被简单地连接成原始数字字符串（例如，“298.1, 308.6, 1551, 42.8, 120”）时，物理意义、单位语义和特征间关系就会丢失。最近关于LLMs的表格到文本转换的研究表明，带有领域上下文的结构化序列化显著提升了分类性能[18,19]。此外，序列化过程中变量的顺序和语义权重直接影响Transformer层间的注意力分布：位于序列边界的特征由于Transformer自注意力中的“首要性-新颖性”偏见而获得更强的关注[20]，而带有更丰富上下文线索的特征（例如物理单位、操作阈值）生成了更具信息量的令牌嵌入。因此，在高频工业传感器环境中，解决序列化设计中的这一领域差异对于有效的基于LLM的故障分类至关重要，在这些环境中，精确的数值携带了通用序列化无法保留的领域特定诊断信息。
第二个障碍是计算成本。完全微调一个70亿参数的LLM需要大约28-80 GB的GPU内存和数小时到数天的训练时间[21,22]，远远超出了工业边缘设备可用的计算资源。参数效率高的微调（PEFT）方法解决了这一障碍；在可用的选项中，QLoRA[22]特别适合工业边缘部署，原因有几个。与插入额外层并增加推理延迟的适配器模块[23]相比（这对实时监控是一个关键问题），QLoRA仅修改现有注意力层中的低秩投影，几乎没有延迟开销。与前缀调优[24]相比，后者在序列化传感器数据已经受限的情况下对提示长度敏感，QLoRA独立于输入序列操作。最重要的是，QLoRA结合了4位NormalFloat量化和低秩适应，将内存需求降低到大约4-6 GB，适合工业级GPU（如NVIDIA Jetson Orin）的约束。然而，标准的QLoRA在所有Transformer层上应用统一的排名分解，隐含地假设每一层对故障分类的贡献是相同的。在PdM背景下，这一假设尤其成问题，因为故障关键特征需要在特定Transformer层中集中表示能力[25,26]。
因此，本文提出了TabEng-QLoRA（表格到文本工程自适应量化低秩适应）框架，该框架有三个主要贡献：
（1）一个结构化的表格到文本序列化管道，它将每一行表格传感器数据转换为包含物理单位、操作上下文和故障模式语义的领域上下文化自然语言提示，通过领域专家知识和数据驱动的重要性排名来确定故障关键特征（第3.1节）。
（2）一个基于关键性的显著性排名分配机制，该机制从校准集中计算层层激活范数，并通过三级百分位数方案分配适配器排名：高于第70百分位数的层分配高排名（r = 32），第30到第70百分位数之间的层分配中等排名（r = 16），低于第30百分位数的层分配低排名（r = 8）（第3.2节）。
（3）一个基于单层前馈分类器的轻量级工程域路由器，实现98.1%的领域分类准确率，推理开销为0.6毫秒，能够在三个评估领域中自动选择适配器（第3.3节）。
该框架在三个公共预测维护基准测试中进行了评估——AI4I 2020预测维护数据集[7]、机器预测维护分类[27]和CWRU轴承数据集[28]——使用了三种开源基础模型（LLaMA-3-8B、Mistral-7B和Qwen2-7B）。结果表明，与标准QLoRA相比，平均宏F1分数提高了10.6%，在轴承故障分类上的准确率达到13.6%，所有改进都具有统计学意义（p < 0.001，Cohen’s d = 2.41）。该框架在4.6-5.2 GB的峰值GPU内存范围内运行，同时将可训练参数减少了98.9-99.5%（该范围反映了不同基础模型和领域特定显著性配置对分配给每个排名层的层比例的影响）。
本文的其余部分组织如下。第2节回顾相关工作。第3节介绍所提出的方法论。第4节描述实验设置。第5节报告结果和讨论。第6节讨论局限性。第7节总结本文。这三个组件的交互方式如下：序列化模块（第3.1节）决定了故障关键特征在文本提示中的位置，这反过来又影响了显著性分析模块（第3.2节）所测量的激活模式——因为位于显著位置的特征会在专门处理这些特征的层中产生更强的激活，所以显著性分数本质上反映了具有故障意识的信息流。然后，领域路由器（第3.3节）根据该领域的显著性轮廓选择适配器集的排名配置。这种紧密的耦合意味着改变序列化模板会产生不同的显著性分布，从而产生不同的排名分配，确保框架能够全面适应每个领域的诊断结构。图1显示了TabEng-QLoRA框架的总体架构，包括四个阶段：表格到文本的序列化、带有排名分配的显著性分析、特定领域的适配器训练和领域路由器的部署。该图是使用AI辅助工具创建的，随后由作者根据出版商关于AI生成图像的政策进行了审查和编辑。

3.1. 结构化表格到文本的序列化
序列化流程（如图2所示）将每个表格数据记录x = {f1, f2, …, f?}及其特征名{n1, n2, …, n?}和物理单位{u1, u2, …, u?}转换为结构化的自然语言提示T(x)。该流程遵循三个原则：(i) 明确包含特征名和单位以提供物理上下文；(ii) 将故障关键特征放置在语义上显著的位置（提示的开头和结尾），以利用Transformer注意力机制中的首要性-近期敏感性[20]；(iii) 添加指定分类目标和可用故障类别的任务指令。图2展示了三个工程领域的表格到文本序列化示例，其中包括具有故障意识的特征排序和序列化原则。该图是使用AI辅助工具创建的，随后由作者根据出版商关于AI生成图像的政策进行了审查和编辑。形式上，序列化函数T将每个记录映射到一个文本提示：
(1)

其中，是领域上下文前缀，编码了故障关键特征及其名称、值和单位，编码了辅助特征，提供了分类指令，Ε表示字符串连接。

特征关键性确定
每个数据集/领域的故障关键特征集是通过结合领域专家知识和数据驱动的验证的兩阶段程序确定的。首先，领域专家根据已建立的工程故障机制（例如，扭矩和工具磨损是机械故障的主要原因）识别候选的关键特征。其次，通过使用在每个数据集上训练的初步梯度提升模型计算排列特征重要性来验证这些专家选择：排列重要性超过中位数重要性的特征被保留为关键特征。表1总结了每个数据集/领域的关键特征分配及其确定依据。

3.2. 基于显著性的排名分配
基于显著性的排名分配机制使用从训练数据中均匀抽取的500个小样本集来评估每个Transformer层的重要性。对于每个层l，显著性分数S(l)定义为隐藏状态激活的Frobenius范数的平均值：
(2)

其中，是输入T(x)在层l的隐藏状态激活，Σ表示Frobenius范数。

显著性度量的合理性
使用隐藏状态激活的Frobenius范数作为故障相关信息处理的代理，基于两个观察结果。首先，关于Transformer层特化的研究[25,43]表明， actively处理任务相关信息的层显示出比主要传递信息且变换最小的层更高的激活幅度。其次，具有故障意识的序列化设计确保故障关键特征占据语义上显著的位置，使它们在专门处理这些特征的层中不成比例地贡献于激活幅度。因此，激活范数较高的层是那些最参与处理提示中故障诊断内容的层。我们承认激活范数不是一个完美的代理：它们也可能反映了一般的句法处理或提示长度效应。然而，基于范数的度量提供了一个计算上不昂贵的单次估计（与需要反向传播的基于梯度的重要性度量相比），并且如消融研究（第5.3节）所示，结果的非均匀分配始终优于均匀排名分配，从经验上验证了这一代理的有效性。

3.3. 工程领域路由器
对于多领域部署，TabEng-QLoRA为每个工程领域（制造过程监控、旋转机械诊断和轴承故障分类）维护单独的LoRA适配器集。在推理时，一个轻量级的领域路由器R(·)将输入提示分类为三个工程子领域之一，并将其路由到相应的适配器集。路由器实现为基于来自冻结的LLM主干层第一个Transformer层的平均池化嵌入的单层前馈分类器：
(4)

这种设计仅使用第一个Transformer层进行路由，仅增加了0.6毫秒的推理延迟。路由器在适配器训练之前，使用来自所有三个数据集的带有领域标签的样本训练了10个时代。路由器训练采用80/20的训练/验证分割，并采用提前停止策略（耐心度3）。在保留的验证集上的领域分类准确率为：制造98.1%，旋转机械97.4%，轴承99.2%。

3.4. 量化低秩适应集成
TabEng-QLoRA将具有故障意识的适配器与QLoRA的4位NormalFloat (NF4)量化方案集成。基础LLM参数使用块大小为64的块级量化方式量化为NF4（量化常数本身也量化为8位）。这将基础模型的内存占用从约28 GB（FP16）减少到约5 GB，同时在去量化后通过bfloat16计算保持前向传递的准确性。

3.5. 工程领域路由器
对于多领域部署，TabEng-QLoRA为每个工程领域（制造过程监控、旋转机械诊断和轴承故障分类）维护单独的LoRA适配器集。在推理时，一个轻量级的领域路由器R(·)将输入提示分类为三个工程子领域之一，并将其路由到相应的适配器集。路由器实现为基于来自冻结的LLM主干层第一个Transformer层的平均池化嵌入的单层前馈分类器：
(4)

这种设计仅使用第一个Transformer层进行路由，仅增加了0.6毫秒的推理延迟。路由器在适配器训练之前，使用来自所有三个数据集的带有领域标签的样本训练了10个时代。路由器训练采用80/20的训练/验证分割，并采用提前停止策略（耐心度3）。在保留的验证集上的领域分类准确率为：制造98.1%，旋转机械97.4%，轴承99.2%。算法1：基于显著性的排名分配

输入：
- 冻结量化的LLM模型M，具有L层
- 校准集D_cal（|D_cal| = 500）
- 序列化函数T(·)
- 百分位阈值（p_low = 30, p_high = 70）
- 排名集R = {r_low = 8, r_mid = 16, r_high = 32}

输出：
- 每个层l（l ∈ {1, …, L}）的排名分配r(l)

1. // 第一阶段：计算逐层的显著性分数
2. for l = 1 to L do
3: S(l) ← 0
4: end for
5. for each sample x in D_cal do
6: Serialize: prompt ← T(x)
7: Forward pass-through M, recording hidden states h_l for all layers
8: for l = 1 to L do
9: S(l) ← S(l) + ||h_l(prompt)||_
10: end for
11: end for
12: for l = 1 to L do
13: S(l) ← S(l)/|D_cal| // 平均Frobenius范数
14: end for

2. // 第二阶段：计算百分位阈值
16: P_low ← Percentile({S(1), …, S(L)}, p_low)
17: P_high ← Percentile({S(1), …, S(L)}, p_high)

3. // 第三阶段：分配排名
19: for l = 1 to L do
20: if S(l) ≥ P_high then
21: r(l) ← r_high // 高显著性层
22: else if S(l) ≥ P_low then
23: r(l) ← r_mid // 中等显著性层
24: else
25: r(l) ← r_low // 低显著性层
26: end if
27: end for
28: return {r(1), r(2), …, r(L)}

第三阶段（领域特定适配器训练）：
- 使用AdamW优化器和余弦退火算法（初始学习率2 × 10^-4，热身比率0.03）对每个领域初始化和训练LoRA适配器，训练5个周期，批量大小为8，梯度累积分为16步，启用梯度检查点。目标模块包括q_proj、k_proj、v_proj、o_proj。

4. 第四阶段（路由器训练和部署）：
- 在所有领域的标记样本上训练领域路由器。在推理时，路由器对输入进行分类并分配到相应的适配器集。

4. 实验设置
4.1. 数据集
使用了三个公共的预测性维护基准数据集：
- AI4I 2020预测性维护数据集[7]：包含10,000个模拟制造过程传感器数据样本，具有五个传感器特征（空气温度、工艺温度、旋转速度、扭矩和工具磨损）以及产品品质。主要任务是6类故障类型分类（无故障、工具磨损故障、散热故障、电源故障、过应力故障和随机故障）。类别不平衡严重：大约96.7%为无故障，3.3%为总故障。
- Machine Predictive Maintenance Classification [27]：一个Kaggle数据集，包含10,000个工业设备样本，具有六个传感器特征和二元/多类标签。用于旋转机械的故障类型分类，涵盖五种故障模式以及正常运行。
- CWRU轴承数据集[28]：凯斯西储大学轴承故障数据集，包含来自驱动端和风扇端轴承的加速度计测量值。振动信号被预处理成每个窗口的九个统计特征。分类涵盖10种轴承状态类别（正常、内圈、外圈和球体故障，以及三种严重程度）。

4.2. 基础模型
根据它们的架构多样性和已建立的性能，选择了三个开源基础模型：
- LLaMA-3-8B [12]（Meta，组合查询注意力机制，8.03B参数）
- Mistral-7B-v0.1 [13]（Mistral AI，滑动窗口注意力机制，7.24B参数）
- Qwen2-7B [14]（阿里巴巴，RoPE结合YaRN缩放，7.07B参数）

4.3. 基线
TabEng-QLoRA与七种方法进行了比较，这些方法涵盖了传统机器学习和PEFT方法：
- 直接应用于表格数据的传统机器学习基线：
(i) 使用scikit-learn v1.3训练的随机森林（500棵树，最大深度不受限制，每个叶子的最小样本数=2）；
(ii) 使用xgboost v2.0和通过贝叶斯搜索优化超参数的XGBoost（max_depth = 8, learning_rate = 0.05, n_estimators = 500, subsample = 0.8, colsample_bytree = 0.8）。
- 基于LLM的PEFT方法，使用第3.1节描述的相同表格到文本序列化模板：
(iii) 标准LoRA [21]，统一排名r = 16，应用于q_proj、k_proj、v_proj、o_proj，FP16精度，LoRA alpha = 32，dropout = 0.05；
(iv) QLoRA [22]，统一排名r = 16，NF4 4位量化，支持双量化，相同的目标模块和LoRA超参数；
(v) AdaLoRA [40]，初始排名r = 16和基于SVD的动态分配（目标排名预算相当于QLoRA的总参数数），FP16；
(vi) DoRA [41]，在r = 16处进行权重分解适配，FP16；
(vii) 完全微调到FP16（上限参考）。
所有基于LLM的方法使用相同的优化器（AdamW），学习率（2 × 10^-4），热身比率（0.03），批量大小（8），梯度累积（16步）和周期数（5）。

4.4. 实施细节
实验在NVIDIA A100 40 GB GPU上进行，使用PyTorch 2.1、Hugging Face Transformers 4.36、PEFT 0.7和BitsAndBytes 0.42。超参数设置如下：学习率2 × 10^-4，权重衰减0.01，热身比率0.03，最大序列长度512个令牌，LoRA alpha α = 2r，LoRA dropout 0.05。目标模块包括q_proj、k_proj、v_proj、o_proj。对于类别不平衡的数据集，应用了逆频率类别权重。每个实验使用五个随机种子（42、123、456、789和1024）重复进行；报告平均值±标准差。统计显著性通过带Bonferroni校正的配対t检验进行评估；效应大小以Cohen’s d表示，并提供95%的自助法置信区间（10,000次重采样）。

4.5. 超参数敏感性分析
基于显著性引导的排名分配机制的两个主要超参数是用于将层次划分为高、中和低排名层的百分位阈值，以及分配给每个层的排名值。为了评估这些选择的敏感性，我们对三种阈值配置（第20百分位、第80百分位、第30百分位和第40百分位）和三种排名集（{4, 8, 16}、{8, 16, 32}和{16, 32, 64}进行了网格搜索，这些组合在所有三个数据集上的LLaMA-3-8B上进行了评估。结果总结在表2中。所选配置（第30/70百分位，排名{8, 16, 32}）实现了最高的平均宏F1（0.908），代表了模型容量和参数效率之间的最佳平衡。（第20/80百分位）阈值只将排名32的适配器分配给20%的层，导致容量过度集中，性能下降1.1-1.8%。（第40/60百分位）阈值过于广泛地分配了排名32的适配器（40%的层），增加了可训练参数但F1回报减少（≤0.3%）。{4, 8, 16}排名集始终表现不佳（-2.1-3.4%），因为高显著性层的容量不足。{16, 32, 64}排名集略微提高了F1（≤0.4%），同时增加了0.4-0.7 GB的GPU内存。所有九种配置的宏F1都在0.033范围内，表明该框架对确切的阈值并不非常敏感。

4.6. 评估指标
主要指标：宏F1分数（考虑类别不平衡）和准确性。次要指标：精确度、召回率和每个类别的F1。效率指标：可训练参数（绝对值和百分比减少）、峰值GPU内存（GB）、训练时间（小时）和推理延迟（ms/样本）。统计指标：配対t检验p值、Cohen’s d效应大小和95%自助法置信区间。

5. 结果和讨论
5.1. 总体性能比较
表3和图3展示了三种模型和三个数据集的平均结果。TabEng-QLoRA在所有PEFT方法中实现了最高的平均宏F1（0.908 ± 0.014），比标准QLoRA高出10.6%（0.821），比AdaLoRA高出5.2%（0.863），比DoRA高出6.4%（0.853）。值得注意的是，TabEng-QLoRA的性能接近于完全微调（0.927），同时只需要0.5-1.1%的可训练参数，并且使用的GPU内存减少了83-85%（4.9 GB vs. 32.6 GB）。
表3. 所有方法、模型和数据集的总体性能比较。
图3. 所有方法之间的总体性能比较。TabEng-QLoRA在PEFT方法中实现了最高的宏F1，缩短了标准QLoRA和完全微调之间的82%的差距。
与表格机器学习基线的比较。在传统的机器学习方法中，当直接应用于表格特征时，XGBoost实现了0.953的宏F1——在领域内评估中优于所有基于LLM的方法。这一结果是预期的，并且与已建立的发现一致，即梯度提升方法在干净的表格基准测试中表现出色[45]。这种比较需要仔细解释，因为两种方法家族在根本不同的假设下运行。XGBoost在来自单一设备类型的完全标记的数据上训练和测试，这代表了实践中并不总是可能的条件。它无法结合诸如维护日志或警报历史之类的非结构化上下文；部署到新的设备类型时需要完全重新训练；也无法利用故障描述和传感器读数之间的语义关系。因此，TabEng-QLoRA不能作为干净的单领域基准测试中梯度提升的替代品。相反，如第5.8节所示，基于LLM的框架在数据稀缺、多领域或跨设备部署的情境中具有优势，这些情境下表格机器学习方法需要大量的标记重新训练数据。

5.2. 按领域和模型分析
表4和图4展示了AI4I 2020和CWRU基准数据集的按数据集和模型划分的宏F1分数（机器预测性维护分类结果因空间原因从模型表中省略；其总体贡献包含在表3中，并显示出与AI4I 2020一致的模式）。
表4. 每个数据集和每个模型的宏F1分数（AI4I 2020和CWRU；表3中的机器预测性维护结果是聚合的）。
图4. 所有三种基础模型在每个数据集上的宏F1比较。误差条显示了五个随机种子的±1标准差。
TabEng-QLoRA在轴承故障分类领域的改进最为显著，其在模型中的平均F1达到了0.879，而QLoRA为0.774（+13.6%）。这一显著提升反映了两个因素：（i）显著性分析识别出在处理来自振动信号的统计特征时，中间和后期变换器层的重要性高度集中；（ii）基于关键性的序列化将最具辨别力的特征（RMS振幅和峰度）放置在突出的提示位置。

5.3. 核心稳定性分析
在制造领域（AI4I 2020），TabEng-QLoRA实现了0.912的平均F1，而QLoRA为0.843（+8.2%）。在三种模型中，LLaMA-3-8B始终表现最佳，其次是Mistral-7B和Qwen2-7B。关键的是，TabEng-QLoRA相对于QLoRA的改进在所有模型中都是一致的：在AI4I上为+8.2%（LLaMA-3）、+8.2%（Mistral）、+8.1%（Qwen2）；在CWRU上为+13.7%（LLaMA-3）、+13.6%（Mistral）、+13.2%（Qwen2）。这一狭窄的改进范围（模型间相对改进的标准差为0.2-0.3个百分点）表明该框架的好处与模型无关，不依赖于特定的架构选择，如组合查询注意力（LLaMA-3）、滑动窗口注意力（Mistral）或YaRN缩放的RoPE（Qwen2）。在多种注意力机制下的一致改进表明，基于显著性的排名分配捕捉了层专业化的模型通用属性。

5.4. 消融研究
表5和图5展示了隔离每个组件贡献的消融结果。结果揭示了组件重要性的清晰层次结构。
表5. 消融研究结果，显示了各个组件的贡献。
图5. 消融研究结果，显示了TabEng-QLoRA各个组件对整体宏F1性能的边际贡献。最大的消融效果来自移除表格到文本的序列化（平均F1降低了6.8%）：用原始数字连接替换结构化提示（例如，“298.1, 308.6, 1551, 42.8, 120”）严重降低了性能。这种下降是因为原始连接剥离了物理上下文（单位语义、特征名称和领域框架），这使得LLM的预训练语言理解无法参与分类。没有这种上下文，模型必须在微调过程中从头开始学习纯粹的数字模式，这对于表格机器学习方法来说更为合适。
移除基于显著性的排名分配使F1降低了4.3%。这表明，在所有层上统一分配排名16浪费了在故障分类中贡献最小的层的适配器容量，而未充分提供给处理故障相关信息最活跃的层。非均匀分配在最重要的地方分配了模型容量，产生的效果大致相当于将统一排名从16增加到32，但总参数成本较低（57.3 M vs. 75.4 M）。
移除领域路由器使F1降低了2.1%，反映了使用特定于领域的适配器而不是在三个工程领域中共享的单一适配器的好处。移除基于关键性的特征排序使F1降低了1.8%，证实了故障关键特征的优先级-最近性定位提供了适度但统计上显著的好处。
将NF4替换为FP16对F1几乎没有影响（+0.3%，p = 0.42），同时将GPU内存增加了三倍，验证了4位量化对于这项任务来说是可以忽略不计的。
与基本扁平化相比，“无表格到文本序列化”的消融直接量化了结构化序列化相对于基本扁平化（原始值的简单字符串连接）的优势。6.8%的F1差距表明，结构化的语义格式化——包括特征名称、物理单位、领域上下文和分类指令——提供了相对于简单方法的显著定量价值。

5.5. 显著性分布分析
对学习到的显著性分布的分析（图6）揭示了特征性的工程领域签名，提供了关于不同变换器层如何贡献于故障分类的可解释见解。图6. 三个工程领域中LLaMA-3-8B的层次显著性轮廓，显示了推动非均匀排名分配的领域特征激活模式。制造领域（AI4I 2020）展示了双峰显著性轮廓，层2-8（输入标记化和特征编码）和层26-32（输出分类）的激活范数升高。这种模式反映了制造任务对精确数字编码（早期层）和复杂多特征交互建模（后期层）的依赖。双峰结构与BERTology研究[43,44]的发现一致，这些研究表明早期的变压器层专门用于表层模式编码，而后期层则捕获任务特定的抽象。相比之下，轴承故障领域显示出一个单峰显著性峰值，集中在第14-22层（中间变压器层）。这种分布对应于中间表示阶段，其中从振动信号中提取的统计特征被整合到与故障相关的抽象中。中间层的这种集中性与变压器可解释性研究[25]的观察结果相符，即中间层负责语义组合——在这里，将个别振动统计特征（RMS、峰度）组合成更高级的故障特征。排名-深度相关性。表6量化了LLaMA-3-8B（32层）的分配排名与层深度之间的关系。在制造领域，10个排名-32层中有6层位于第1-8层（早期）和第26-32层（后期），这与双峰分布一致。在轴承领域，10个排名-32层中有8层位于第12-24层（中间）。这种领域依赖的排名-深度关系解释了为什么统一分配的表现不佳：单一的固定排名分布无法同时适应双峰（制造）和单峰（轴承）的模式。表6显示了按层深度区域分配的排名分布（LLaMA-3-8B，32层）。旋转机械数据集显示出介于制造和轴承领域之间的分布，这与其混合特征类型一致。这些模式可以在变压器层专门化文献的背景下得到解释：将更高的排名分配给特定深度区域反映了真正的计算专门化，而不是任意的特征。与已知推理模式的关系。观察到的排名分配与Tenney等人[25]记录的“经典NLP流程”重新发现一致，他们表明变压器层经历了从词汇处理（早期层）到语法解析（中间层）再到语义推理（后期层）的进展。在制造领域，早期和后期层的高排名分配表明，故障分类需要精确的数值编码（词汇层）和复杂的跨特征推理（语义层）。轴承领域的中间层集中表明，故障识别主要依赖于中间组合表示，而不是后期层的推理，这与轴承故障分类的10个类别相比，制造领域的6个类别具有复杂的特征相互作用（例如，扭矩×旋转速度用于过载故障）是一致的。5.5 计算效率分析。表7总结了计算效率指标。TabEng-QLoRA与标准QLoRA的峰值GPU内存（4.9 GB）相同——比完全微调（32.6 GB）大约低85%，从而大幅节省了能源，这与关于大规模NLP训练环境成本的发现[46]一致。训练时间仅比标准QLoRA增加了5.2%（2.3小时 vs 2.1小时），其中45秒（0.6%）归因于显著性分析阶段。推理延迟为每个样本76.4毫秒，与QLoRA（74.8毫秒）相当，考虑到额外的0.6毫秒领域路由开销。表7。跨方法的计算效率指标。自适应排名分配的成本。显著性分析阶段为每个领域增加了45秒的计算时间，这在整个训练阶段是的一次性成本。由于分析是在冻结的量化模型上仅使用前向 passes 执行的，因此不会抵消训练期间节省的内存，因为不需要额外的梯度计算或优化器状态内存。排名分配本身（百分位数计算和层级分配）可以忽略不计（<0.01秒）。总的来说，自适应机制使训练时间增加了大约0.6%，同时提供了4.3%的F1分数提升，这是一个有利的成本效益比。提示丰富性与推理延迟的权衡。序列化提示的范围从68个标记（AI4I 2020，五个特征）到142个标记（CWRU，九个特征），使用第3.1节中描述的结构化模板。与基本扁平化（约25-45个标记）相比，结构化序列化使输入长度增加了大约2.5-3.0倍。这直接影响了推理延迟：每个样本76.4毫秒的延迟包括领域路由开销（0.6毫秒）和更长的提示处理时间。对于需要每个样本响应<100毫秒的实时工作坊监控应用，当前框架在可接受范围内。对于需要<10毫秒延迟的应用，需要进行优化（例如，提示压缩、推测解码），这超出了本文的范围。表8提供了详细信息。表8。按领域划分的提示长度和推理延迟。结构化序列化导致的推理延迟增加（2.1-7.5毫秒，取决于领域）相对于它提供的6.8%的F1分数提升来说是适度的，并且与典型的PdM监控间隔（几秒到几分钟）兼容。5.6 每类分析和少数类性能。表9展示了使用LLaMA-3-8B的AI4I 2020数据集的每类宏观F1分数。TabEng-QLoRA相对于QLoRA在少数故障类别中获得了最大的提升：工具磨损故障（+13.4%）、随机故障（+11.3%）和电源故障（+8.2%）。这些类别正是关键性感知序列化和基于显著性的排名分配提供最大 benefit 的地方，因为少数类别最依赖于模型从少数关键特征中提取区分性信息的能力（例如，扭矩和工具磨损之间的相互作用用于过载故障）。表9。AI4I 2020数据集的每类宏观F1分数（LLaMA-3-8B）。5.7 统计显著性分析。TabEng-QLoRA与PEFT基线之间的所有成对比较都具有统计显著性（配对t检验，采用Bonferroni校正，调整后的p < 0.001），除了TabEng-QLoRA与使用LLaMA-3在机器PdM上的完全微调相比（p = 0.04，边缘显著）。效应大小是通过在五个随机种子、三个模型和三个数据集上对宏观F1分数进行配对t检验计算得出的（每次比较总共n = 45个配对观察值）。所有比较的效应大小都很大：Cohen’s d = 2.41（与QLoRA整体相比），d = 1.87（与AdaLoRA相比），以及d = 2.08（与DoRA相比）。每个领域的效应大小：轴承故障为d = 2.84，制造为d = 2.12，旋转机械为d = 1.95。观察到的较大效应大小反映了在严格控制实验条件下的运行间一致的低方差（σ ≈ 0.014–0.019）（固定架构、相同的序列化模板和标准化预处理）。方法内的方差仅反映了种子间的变化，而不是跨研究的变化；在这种狭义的研究内意义上计算的Cohen’s d预计将远大于跨异构研究报告的d值。原始的每个种子、每个模型和每个数据集的宏观F1分数可以根据请求从作者处获得。Bootstrap 95%置信区间用于评估与QLoRA相比的宏观F1提升：[9.4%，11.8%]整体，[12.1%，15.2%]轴承，[6.4%，8.7%]制造，[8.5%，11.1%]旋转机械。5.8 转移学习分析。基于LLM的方法相对于传统ML的一个关键优势是转移学习能力。为了评估这一点，我们进行了零样本跨设备转移实验，其中在一个数据集上训练的模型在另一个数据集上进行评估，而无需任何重新训练，仅使用领域路由器选择最接近的适配器。表10展示了完整的跨数据集转移矩阵。表10。TabEng-QLoRA零样本跨数据集转移宏观F1（三个模型的平均值±标准差）。整体平均宏观F1为0.743。TabEng-QLoRA在所有跨数据集对中的平均宏观F1为0.743，而标准QLoRA为0.621（相对提升+19.6%）。XGBoost无法进行零样本转移，因为它需要在目标领域数据上进行完全重新训练；其0.341的条目代表了一个非零样本参考基线（仅在20%的目标数据上重新训练），不应被视为直接可比较的零样本结果。跨任务泛化讨论。转移结果表明，关键性感知框架捕获的故障表示比统一的QLoRA更具泛化能力，这可能是因为结构化序列化结合了物理单位和领域上下文，使LLM能够在不同类型的设备之间形成类比（例如，“高振动表明机械退化”，从轴承推广到旋转机械）。然而，我们注意到这三个评估的领域共享共同的物理故障模式（机械应力、热退化和振动）。在根本不同的工业过程之间（例如，从铣削到化学加工）学习到的排名分布的转移程度仍然是一个未解决的问题。研究这种跨过程转移——以及领域特定的显著性轮廓是否具有可以用于快速适配器初始化的结构相似性——是未来工作的一个重要方向。5.9 实际部署考虑。对于考虑将TabEng-QLoRA用于实际工业部署的实践者来说，有几个实际因素值得讨论。该框架的4.9 GB峰值GPU内存要求与工业级边缘GPU（如NVIDIA Jetson AGX Orin（32 GB）和更有限的Jetson Orin Nano（8 GB）兼容，以及工厂服务器室中常见的企业GPU也兼容。每个样本76.4毫秒的推理延迟适用于几秒到分钟的监控间隔（振动监控和过程控制中是典型的），但对于需要<10毫秒实时控制的应用程序则需要优化。在典型的部署工作流程中，实践者将（1）使用第3.1节中的指南准备特定于领域的序列化模板（大约1-2小时的领域专家咨询）；（2）运行显著性校准阶段（每个领域45秒）；（3）训练特定于领域的适配器（在单个GPU上2.3小时）；（4）部署带有适配器集和领域路由器的冻结量化主干网络。步骤2-4可以自动化，且不需要超出超参数选择的机器学习专业知识。6. 局限性。应承认几个局限性。首先，当直接应用于领域条件下的表格特征时，传统ML方法（XGBoost、随机森林）在这些干净的基准数据集上的表现优于所有基于LLM的方法。拥有完全标记的单一领域表格数据的实践者应优先选择梯度提升方法，因为它们具有更高的准确性和更低的计算成本。基于LLM的方法在最以下情况下最为适用：（i）新设备类型的标记故障数据稀缺；（ii）维护日志、操作员笔记或警报信息与传感器读数一起可用；或者（iii）需要向未见过的设备类型进行零样本部署，而无需重新训练。其次，表格到文本的序列化引入了一个可能丢失原始数值精度信息的模态转换步骤。第三，CWRU轴承数据经历了两个阶段的转换（振动信号→统计特征→文本），直接与专门的振动处理架构进行比较并非预期用途。第四，评估仅限于分类任务；扩展到基于回归的剩余使用寿命预测需要适应性协议。第五，三层排名方案（8/16/32）代表了一个离散近似；连续排名优化可能会带来进一步的改进。第六，虽然评估了三种基础模型，但在新架构上的验证仍然是未来的工作。第七，领域路由器假设目标工程子领域属于训练期间看到的三个类别之一。在真正的工厂部署中，当出现完全新的设备类型时，路由器可以（i）使用来自新设备的100-200个标记样本快速重新训练（在单个GPU上大约10分钟），或者（ii）通过开放集识别技术或触发标准QLoRA的“未知领域”类别进行扩展。这些扩展留待未来的工作。7. 结论。本文介绍了TabEng-QLoRA，这是一个集成了三个组件的框架，用于基于LLM的工业故障分类：关键性感知的表格到文本序列化、基于显著性的自适应排名分配，以及轻量级的工程领域路由器。该设计解决了实际LLM部署中的两个基本障碍：表格传感器数据和基于文本模型之间的模态差异，以及边缘部署的计算限制。在三个公共基准和三个基础模型中，组合设计的平均宏观F1得分为0.908，而标准QLoRA为0.821，在相同的4.9 GB峰值GPU内存占用下，并且仅增加了5.2%的训练时间。最大的收益（13.6%）发生在轴承故障分类中，其中显著性分析揭示了中间层的激活集中，这是统一排名分配无法利用的。消融实验确认每个组件都独立贡献，并且从4位量化到FP16的改进在准确性上没有统计学显著性，验证了量化损失可以忽略不计，而内存节省是显著的。逐层显著性轮廓揭示了特定于领域的激活模式——制造故障的双峰和轴承缺陷的单峰中间层——这有助于解释为什么非均匀排名分配优于均匀分配。这一发现表明，微调任务的结构，而不仅仅是模型架构，决定了哪些变压器层最具信息性。了解这一点具有实际意义：显著性分析只需要在500个样本上进行一次校准，并且每个领域大约增加45秒，使其在工业部署工作流程中可行。未来的工作有几个方向。首先，将框架扩展到同时处理非结构化维护日志和表格传感器读数可以减少对手动特征工程的依赖，并更充分地利用LLM的自然语言能力。其次，将方法适配于剩余使用寿命回归，而不仅仅是故障分类，将扩大其适用性。第三，开发一种动态提示优化机制，根据实时模型损失反馈自动调整序列化结构——而不是依赖固定模板——可以改善对新传感器配置的适应能力。第四，研究跨流程的迁移学习（例如，从机械加工到化学加工）将有助于明确该框架的泛化能力边界。第五，评估具有更严格限制的其他基础模型和硬件（例如配备8GB内存的NVIDIA Jetson Orin Nano设备）将有助于确定实时、设备内工业监控的实际性能极限。最后，将该框架扩展到更多领域（>10个），并研究适用于具有多样化设备类型的复杂制造环境的层次化路由策略，将推动其在工业规模上的应用。