《Fuel》：Unsupervised fault detection via transformer autoencoder with clustering and transformer-based fault identification in metallurgical cokemaking processes
编辑推荐：
为解决冶金焦化过程中因内部环境复杂、热惯性大、时滞显著及故障数据稀缺导致的故障诊断难题，研究人员提出了一种集成Transformer自编码与聚类算法(TAEC)的无监督故障检测方法，并结合Transformer模型进行故障识别。该研究通过结合一阶加时滞模型与计算流体动力学(CFD)的混合仿真框架生成数据。案例研究表明，所提方法在平均F1分数上显著优于基线方法，为焦炉的安全稳定运行与性能优化提供了有效工具。
冶金焦化是钢铁行业的关键工序，它将炼焦煤在工业焦炉中转化为冶金焦炭和副产品气体。然而，在长期运行中，这些焦炉容易受到各种故障的影响，包括燃烧室气体流动异常、传热延迟和内衬损坏等。这些故障不仅会破坏温度分布和气体成分，降低焦炭质量和能源效率，还可能带来安全隐患。更棘手的是，由于焦炉内部物理化学环境复杂，直接观测内部状况非常困难。此外，该过程还具有显著的热惯性和时间延迟特性，进一步加大了故障诊断的复杂度。传统的故障诊断方法，无论是基于模型的、基于知识的还是数据驱动的方法，在面对这种复杂的非线性、多变量耦合且故障数据稀缺的场景时，往往力不从心。有监督的机器学习方法虽然强大，但需要大量标记的故障数据，而这在实际工业场景中通常难以获得。因此，开发一种不依赖故障标签、能够有效捕捉过程动态和时间依赖关系的无监督故障诊断方法，对于保障焦炉安全稳定运行、维持最优生产性能至关重要。
为了应对这些挑战，来自莫纳什大学工程学院的研究团队在《Fuel》期刊上发表了一项研究。他们提出了一种创新的无监督故障检测与识别框架。该研究的核心是分两步走：首先，利用一种结合了Transformer自编码器与聚类算法的混合模型进行故障检测；然后，再训练一个基于Transformer的分类器对检测到的故障进行具体类型识别。
研究人员开展此项研究主要运用了以下几个关键技术方法：1. 混合过程仿真：构建了一个结合一阶加时滞模型与计算流体动力学的混合仿真框架，用以模拟焦化过程在正常和多种故障工况下的数据，解决了工业故障数据稀缺的问题。2. 无监督特征学习与异常检测：提出了Transformer自编码器与K-means聚类算法集成模型，该模型仅使用正常数据训练，通过自编码器学习动态模式的低维潜在表示，并在潜在空间进行聚类以定义正常操作模式簇，通过计算新样本到最近簇中心的距离来实现异常检测。3. 基于注意力的序列分类：构建了一个基于Transformer架构的监督分类器，利用其自注意力机制建模长程依赖关系和跨变量相关性，对分割并标记的时间序列窗口进行故障类型分类。4. 数据增强与预处理：对正常数据添加随机高斯噪声进行数据增强以提高模型鲁棒性，并采用滑动窗口和标准化处理来构建模型输入。
研究结果
1. 引言：引言部分系统综述了焦化过程故障诊断的挑战与现状，指出了现有方法在应对过程非线性、大时滞及故障数据稀缺方面的不足，从而引出了本研究开发结合TAEC与Transformer分类器的无监督故障诊断框架的必要性。
2. 焦化过程故障检测框架：本章详细阐述了所提出的TAEC故障检测方法。2.1. 数据预处理与增强：通过向正常数据添加高斯噪声生成增强序列，并采用滑动窗口和标准化处理，构建了模型的训练、验证和测试数据集，以提升模型对噪声和波动的鲁棒性。2.2. Transformer自编码器的构建：描述了用于特征提取的Transformer自编码器结构，包括输入投影、位置编码、编码器层（含多头自注意力机制）以及用于生成低维潜在向量的映射层。2.3. 故障检测与评估：介绍了故障检测流程：在自编码器训练后，用其编码器提取所有正常窗口的潜在向量，并用K-means算法进行聚类得到正常模式中心；基于验证集计算异常分数并设定阈值；对于测试窗口，计算其潜在向量到最近正常模式中心的距离，若超过阈值则判定为异常。
3. 焦化过程故障识别框架：本章介绍了用于故障类型识别的Transformer分类器。3.1. 数据分割与标记：将长序列数据分割为固定长度的窗口，并为每个窗口赋予对应的故障类型或正常标签，构建用于监督学习的训练样本。3.2. Transformer分类器的构建：描述了分类器的结构，其编码器部分与TAEC中的类似，但对编码器输出进行全局平均池化后，直接接入分类头（全连接层与Softmax激活函数），使用交叉熵损失函数进行训练。
4. 案例研究的过程仿真与诊断评估：本章介绍了用于生成验证数据的仿真框架及模型评估设置。4.1. 燃烧室的一阶加时滞模型：采用FOPDT模型结合多层感知机来模拟具有大惯性和时滞特性的焦炉燃烧室温度响应动态。4.2. 模拟炭化室加热的CFD模型：使用二维瞬态计算流体动力学模型模拟不同配煤和操作条件下炭化室的温度分布和挥发分生成。4.3. 故障场景与监控变量：定义了8种故障场景（涉及时间常数τ、滞后时间L、燃气流量和热导率的阶跃或斜坡变化），并选择了11个易于观测的过程变量（5种气体组分和6个温度监测点）用于故障诊断。4.4. 诊断评估与模型配置：列出了TAEC和Transformer分类器的主要超参数设置，并明确了准确率、精确率、召回率和F1分数作为评估指标。
5. 结果与讨论：本章展示了详细的实验结果与分析。5.1. 构建过程数据的配煤与操作条件：为获得稳健的评估结果，在10种不同的配煤属性和操作条件下评估了FD和FI模型的性能。过程变量对故障的响应存在显著延迟，凸显了焦炉故障及时检测的挑战。5.2. TAEC模型的故障检测性能评估：5.2.1. 故障检测过程变量的选择：通过网格搜索为每种故障类型选择了能产生最高F1分数的过程变量组合，发现源于同一故障变量的故障通常共享相似的监测变量组合。5.2.2. 故障检测性能：TAEC模型对不同故障类型的检测敏感性不同，对于阶跃型故障和热源扰动（如燃气流量变化）表现出高敏感性和快速响应，对于斜坡型故障则响应较慢。模型在10个案例上取得了平均92.87%的F1分数。5.2.3. TAEC与其他模型在故障检测中的对比分析：与孤立森林、主成分分析、支持向量机、聚类、变分自编码器、门控循环单元自编码器、Transformer自编码器及自编码器聚类等基线方法相比，TAEC在准确率和F1分数上均表现最佳，其优势主要归因于Transformer的长程依赖建模和聚类目标的集成。5.3. Transformer与其他模型在故障识别中的对比分析：将Transformer分类器与双向长短期记忆网络、卷积神经网络、随机森林、极限梯度提升和支持向量机等方法进行比较。结果表明，具有序列建模能力的深度学习模型（尤其是Transformer）在识别动态模式方面具有明显优势，Transformer取得了最高的平均F1分数（87.19%）。5.4. 配煤属性与操作条件对故障检测与识别性能的影响：分析了不同配煤属性和操作条件对诊断性能的影响，结果显示所提方法在不同条件下均能保持稳定的高性能，验证了其鲁棒性。
结论与讨论
本研究成功地开发并验证了一个用于冶金焦化过程的两阶段无监督故障诊断框架。该框架创新性地将Transformer自编码器与聚类算法相结合进行故障检测，并利用Transformer模型进行故障识别。案例研究表明，所提出的TAEC故障检测方法和Transformer故障识别方法在多种故障场景、不同配煤和操作条件下， consistently and consistently consistently 地超越了多种基线方法，平均F1分数分别达到92.87%和87.19%。这项工作的重要意义在于：首先，它为解决工业过程中故障数据稀缺、过程动态复杂且具有长时滞的故障诊断难题提供了一种有效的无监督解决方案。其次，通过利用Transformer架构的自注意力机制，模型能够有效捕捉过程中的长程依赖关系和跨变量相关性，从而提升了对于弱信号和渐变故障的早期检测与准确识别能力。最后，研究所采用的混合仿真框架为在缺乏真实工业故障数据的情况下验证诊断算法提供了可行途径。该研究成果不仅为焦化行业的智能化运维与安全生产提供了有力的技术工具，其方法论对于其他具有类似特性的复杂工业过程的故障诊断也具有重要的借鉴意义。
