CNN–Transformer–KAN：一种带可检视KAN分类头(Inspectable KAN Classification Head)的混合深度学习框架用于工业过程故障诊断

《Information》：CNN–Transformer–KAN: A Hybrid Deep-Learning Framework with an Inspectable KAN Classification Head for Industrial Process Fault Diagnosis

　　

摘要：检测与识别工业化工装置的故障对安全稳定运行至关重要，现代监控系统日益依赖深度学习从多变量传感器数据中对故障进行分类。其实际推广障碍在于信任问题——大多数深度学习诊断器通过操作人员无法检视的分类层做出决策，难以观察模型如何将过程信号映射到特定故障。本研究以田纳西-伊斯曼(Tennessee Eastman, TE)过程（一种标准模拟化工装置传感器数据基准）为对象进行故障诊断，探讨能否使最终决策阶段具备直接检视性且不损失精度。研究人员提出CNN–Transformer–KAN（CTKAN），一种混合模型：采用一维卷积(1D CNN)编码器学习局部时序模式，采用Transformer编码器捕获全局时间步间依赖关系，并使用Kolmogorov–Arnold Network(KAN)头进行分类——其可学习的B样条(B-spline)激活函数可逐一绘制与检查，取代常规多层感知机(Multilayer Perceptron, MLP)。在TE基准上，CTKAN在十次独立运行中取得Macro-F1为91.38 ± 0.26%，与CNN + Transformer + MLP消融实验(91.21 ± 0.32%)及等容量MLP头变体(91.43 ± 0.37%)在随机种子差异范围内相当。主要发现并非更高分数：等容量下KAN与MLP头在精度上统计无差异，因此KAN头的价值是在不造成可测精度损失的前提下，为分类阶段增加可直接检视的视图，帮助过程工程师在安全关键场景下对诊断器区隔故障的方式进行合理性校验。

论文解读：CNN–Transformer–KAN混合深度学习方法用于工业过程故障诊断

研究背景与问题提出

工业化工过程（如石油炼制、制药、聚合）在复杂强耦合条件下运行，设备故障或过程偏差可导致环境污染、经济损失及人身安全事故。传统基于多元统计分析的故障诊断方法（如主成分分析Principal Component Analysis, PCA、偏最小二乘法Partial Least Squares, PLS）依赖线性假设，难以捕捉复杂化工过程中的非线性动态。深度学习方法（一维卷积神经网络Convolutional Neural Network, CNN_1D、长短期记忆网络Long Short-Term Memory, LSTM、Transformer）虽能提取非线性特征，但其分类层通常为多层感知机(Multilayer Perceptron, MLP)，内部决策边界不可直接检视，属于"黑箱"操作，在安全关键场景中难以让操作人员信任与审计。现有可解释人工智能(eXplainable AI, XAI)技术（如SHAP、梯度归因）为事后近似解释，并未使分类层本身具结构性透明。Kolmogorov–Arnold Network(KAN)将固定节点激活函数替换为边上可学习的单变量B样条(B-spline)函数，使每条边上的激活函数可直接绘制检视，为构建"可检视(by construction)"的分类头提供了可能。本文以标准Tennessee Eastman(TE)过程基准为研究对象，探讨用KAN作为分类头能否在不牺牲精度的前提下提供分类层直接检视能力。该论文发表于《Information》。

主要关键技术方法

研究人员以TE基准数据集为实验对象，选取50个过程变量、时间窗长度T=20，构建21类（1类正常+20类故障）多变量时间序列分类任务。所提CTKAN模型含三阶段：①局部特征提取——2块残差1D CNN（核大小k=3，隐藏维度d=128，有效感受野约9个时间步）将标准化输入映射为时序局部特征序列H_c∈?^T×d；②全局依赖建模——加入正弦位置编码后送入2层多头自注意力(Multi-Head Self-Attention, MHSA) Transformer编码器（头数h=8，前馈内维d_ff=256，GELU激活），输出上下文增强序列H_t∈?^T×d；③可检视分类——对H_t做时间维均值池化加层归一化(Layer Normalization)得窗口级描述向量z∈?^d，送入两层KAN头（隐元数64），每条边激活函数为SiLU基项加G=5网格的三阶B样条展开，最终经softmax输出21类后验概率。端到端训练采用多类交叉熵损失、Adam优化器（初始学习率1×10^?3，权重衰减1×10^?4，批大小128，余弦退火调度100轮），保留验证集最高Macro-F1的检查点。设置2×2因子消融（有无Transformer阶段×有无KAN头）及等参数量MLP头对照，十次独立随机种子重复实验，辅以配对t检验与Wilcoxon符号秩检验、超参数敏感性分析（B样条网格大小G∈{3,5,7,10}，CNN核大小k∈{3,5,7}），并对KAN头学习到的边激活曲线做可视化，用积分梯度(Integrated Gradients, IG)将最具非线性的潜变量维度归因至原始TE过程变量。

研究结果

4.1 实验设置(Experimental Details)

采用TE基准标准训练/测试划分及分层验证集划分，各模型按典型配置训练。2×2因子消融以始终含CNN编码器为基础，分别开关Transformer阶段与KAN头。

4.2 TE数据集上主要对比结果(Main Comparison Results on the TE Dataset)

CTKAN获Macro-F1 91.38 ± 0.26%，优于单独CNN_1D(90.23 ± 0.47%)、双向LSTM(89.75 ± 0.42%)，与单独Transformer(91.28 ± 0.26%)、CNN+Transformer+MLP(91.21 ± 0.32%)在种子变异范围内相当，属竞争性能。

4.3 消融研究(Ablation Study)

去除Transformer阶段平均Macro-F1约90.36%，加入后约91.30%，提升约0.94个百分点，证实全局自注意力提供超越CNN局部感受野的有价值信息。同架构下KAN头与MLP头性能差异在种子变异范围内（无Transformer：90.48±0.38% vs 90.23±0.47%；有Transformer：91.38±0.26% vs 91.21±0.32%），无统计显著优势。等参数量对照（MLP头≈526k参数）达91.43±0.37%，与CTKAN(91.38±0.26%)配对差异均值?0.05百分点，95%置信区间[?0.45, 0.35]含零(p=0.79)，证实KAN头不靠额外参数量换取精度，其核心价值是可检视性。

4.4 可检视性分析(Inspectability Analysis)

t-SNE显示各模型特征空间分离情况供定性参考。Transformer最终层平均自注意力矩阵近均匀(≈1/T=0.05±4%)，各类别平均注意向量呈微弱时态偏向。KAN首层可学习B样条激活曲线可直接逐条绘制，响应范数显示不同输入通道非线性程度各异，最非线性通道呈S形或峰值响应，线性通道仅起缩放作用——此为MLP头无法提供的分类层内部变换检视。通过积分梯度追溯最非线性潜维度至原始50个TE过程变量，归因集中于少数变量（尤变量21占21.3%），表明可检视曲线可与具体物理测点关联。

4.5 难诊断故障分析(Analysis of Hard-to-Diagnose Faults)

对公认较难故障IDV(3)（进料温度阶跃）：CTKAN 94.2±1.0%、Transformer 94.0±1.0%、CNN+Trans.+MLP 93.6±1.0%均优于CNN_1D91.6±0.7%。IDV(9)（进料温度随机波动）：CTKAN 82.5±1.1%略高于Transformer 81.4±1.5%及CNN+Trans.+MLP 81.0±1.0%。IDV(15)（冷凝器冷却水阀卡涩）：全体模型均困难，Transformer 46.1±1.8%优于CTKAN 39.4±4.0%，暗示纯全局注意力对该故障略优；混淆矩阵显示IDV(15)与IDV(16)互相大量误判，源于两故障在低幅值20步窗内本征重叠，属数据层面局限。说明需结合各类故障具体表现选型，不能仅凭聚合Macro-F1判断。

4.6 超参数敏感性与收敛分析(Hyperparameter-Sensitivity and Convergence Analysis)

训练/验证损失约40轮后平稳，百轮预算充足收敛。B样条网格G=3~10时Macro-F1波动不显著(p≥0.58)，G=5兼顾平滑可检视性与参数量（更大G致曲线振荡难解释且无精度收益）。CNN核k=3与k=5性能相当(p=0.73)，k=7微降且参数量大增，确认k=3为精度–简洁最优折衷，符合CNN捕局部、Transformer捕全局的职能分工。

4.7 将可检视潜变量维度关联至过程变量(Linking Inspectable Latent Dimensions to Process Variables)

积分梯度归因图显示每一高非线性KAN输入通道归因集中于少量TE过程变量，验证了"可检视激活曲线→物理传感器"的可追溯性，为工程师提供初步物理意义锚定。

讨论与结论总结

研究人员指出CTKAN在TE协议下取得与等容量MLP头变体相当的Macro-F1(91.38±0.26% vs 91.43±0.37%)，Transformer阶段带来约0.94百分点显著提升且经统计检验确认(p<0.001)，而KAN与MLP头在等容量下性能无统计差异(p=0.79)，故KAN头的引入目的与贡献是使分类层具by-construction可检视性（每条边B样条函数可直接绘图审计），而非追求精度突破。局限性包括：KAN可检视性不等同于故障机理因果解释（需配后置归因如积分梯度建立潜变量–传感器联系）；实验限于单一TE仿真基准，未在真实工厂数据验证；固定20步窗长未系统探索更长观测窗影响。未来工作应拓展至多工业过程/真实数据、深化潜变量至物理变量的因果归因及开展操作员在环的人因效用评估。

论文结论译文：

本文提出CTKAN——一种集成1D CNN编码器、Transformer编码器与具直接可检视边函数的KAN分类头的三阶段混合架构，用于工业过程故障诊断。在所用TE协议下，CTKAN十次独立运行获Macro-F1 91.38±0.26%，与CNN+Transformer+MLP消融实验(91.21±0.32%)及等容量MLP头变体(91.43±0.37%)在种子变异范围内相当；等容量下两分类头性能相仿，故KAN头在TE基准上的区分性益处为分类层可检视性而非峰值精度提升。结果直接回答引言所提研究问题：基于KAN的分类头可在不牺牲与传统MLP头相当预测性能的前提下，为工业故障诊断提供分类层直接检视视图。CTKAN的贡献不在于TE基准上新精度上限，而在于分类层可被构建为自带可检视性。实践中该可检视性可通过可绘制的逐边B样条激活函数供过程工程师部署前核查分类层是否依赖光滑、物理合理的非线性响应而非异常伪影；结合传感器级归因（如第4.7节积分梯度分析）可将可检视曲线追溯至驱动各潜维度的过程变量，为故障归因时关联模型行为与具体测点提供起点。后续优先方向为：(i)在含未建模仿真噪声与工况漂移的真实工厂数据及其他工业过程数据集上验证CTKAN泛化性，借助迁移学习拓展至少标注场景；(ii)完善将KAN潜特征曲线关联原始过程变量的传感器级归因方法。