基于自注意力机制的串联神经网络和数据预处理的故障诊断设计
《Neurocomputing》:The fault diagnosis design based on concatenated neural network with self-attention mechanism and data preprocessing
【字体:
大
中
小
】
时间:2026年04月26日
来源:Neurocomputing 6.5
编辑推荐:
本文提出一种结合CNN、MLNN和BLSTM的复合神经网络模型,通过协方差分析筛选特征并设计双通道结构,利用CNN提取局部特征,BLSTM捕捉时间模式并嵌入自注意力机制,显著提升故障预测的准确性和鲁棒性,在涡轮发动机和光纤诊断中验证优于传统方法。
Bowen Su|陈晓萍|戴月红|关婷|李元凯
中国电子科技大学航空航天学院,四川省成都市高新区西园路2006号,611731
摘要
机器的预测与健康管理(PHM)是自动化技术中的一个关键领域,随着模型训练和数据处理的快速发展,这一领域受到了持续的关注。传统的PHM模型通常包括视觉、声学和特征分割等多个方面,这需要对这些模型所采用的具体方法进行改进。针对这一问题,本文提出了一种结合卷积神经网络(CNN)、多层人工神经网络(MLNN)和双向长短期记忆网络(BLSTM)的串联模型,该模型能够同时学习数据集中的局部特征和时间模式,作为传统学习方法的改进方案。在构建过程中,通过协方差分析对数据集进行处理,以筛选出具有相关性的输入特征。在CNN的设计中,采用了处理核函数乘积的卷积层,并插入池化层来减小输入数据的宽度,从而加快学习速度。同时,BLSTM在反向时间方向上进行设计,并嵌入了自注意力机制(SAM),通过设计的权重矩阵在注意力头处整合时间单元。最后,总结了适用于这些模型的算法。此外,通过统计指标对提出的模型在涡轮风扇发动机和光纤诊断中的预测能力进行了测试,并与现有的神经网络(NN)模型和机器学习(ML)算法进行了比较。比较结果表明,所提出的模型在非线性逼近和故障检测方面的鲁棒性得到了显著提升。
引言
机器的安全性和可靠性对于装配操作至关重要,因此装配的预测与健康管理(PHM)被视为自动化领域的一个重要课题[1]。在PHM领域,故障特征提取、故障诊断[2]和剩余使用寿命(RUL)预测[3]等方面得到了广泛研究。随着PHM理论的发展,基于智能模型的数据分析在机器学习(ML)算法之上逐渐占据主导地位,由训练模型实现的PHM已成为一个先进的研究方向[3]。
装配的预测旨在通过历史信息预测未来的状态并评估其可接受的性能和剩余使用寿命(RUL)。由于故障系统的复杂性和不确定性[4],[5],RUL预测通常与先进的预测方法相关联。PHM的主要类别包括基于模型的诊断[6],通过系统的物理解释来检测故障;基于知识的诊断[7],[8],利用专家知识和系统的概率分布来检测故障并估计RUL;以及数据驱动的诊断[1],[9],通过训练模型和飞行数据的学习算法来处理不确定的物理现象。鉴于系统的复杂结构和噪声因素,数据驱动的RUL预测被视为一个重要的研究分支。典型的人工神经网络(ANN)和基于ML的分类算法能够实现这些目标。
在数据驱动的RUL预测方面,性能通常与原始数据的特点提取[10]、目标模型的动态构建以及训练算法的逻辑设计密切相关。参考文献[11]提出了一种基于编码器-解码器框架的循环神经网络(RNN),并结合SAM来评估RUL。类似地,参考文献[9]使用长期差分技术和Fibanacci窗口来提取训练数据的特点,以预测整个运行周期的RUL。此外,参考文献[1]设计了一种结合全局上下文捕获的卷积Transformer(CoT),以从原始时间信号中提取局部依赖性和全局交互性。
模型的性能受到训练算法和数据预处理的极大影响,这些因素主要体现在预测准确性上。通过相关的统计指标,可以直观地对比和总结故障系统的诊断结果。例如,参考文献[12]调查了各种预测方法中常用的指标,并对适用于特定应用的指标进行了分类。在讨论各种算法的解释时,参考文献[13]增强了预测指标,以包括结合概率分布信息的能力。另一方面,通过综合数据集中的局部和全局特征,可以提高模型的预测能力。例如,参考文献[14]建立了串联的深度学习模型来对脑肿瘤进行诊断。参考文献[15]提出了一种并行极端学习机(PELM),以克服常规ELM在求解偏微分方程(PDEs)时的准确性不足。此外,为了利用高光谱成像中的内在行为,参考文献[16]结合了改进的CNN和RNN来提取光谱信息并将其分类。
最近,在通过注意力机制提高模态分辨率方面,参考文献[17]提出了一种具有自适应特征融合和信息传输机制的双重退化网络;参考文献[18]将卷积模块与Swin Transformer块集成以实现跨模态融合;参考文献[19]采用双阶段注意力和多尺度特征融合模块来实现跨模态引导;参考文献[20]提出了一种基于卷积的编码器和混合多尺度注意力的双重模型,以提取空间和全局特征,以及解码器中的特征融合模块。然而,现有工作通常只关注提出模型的新颖性,而对局部检测[14]和全局相关性[9]的学习原理改进的具体研究较少;此外,大多数工作未涉及串联模型训练复杂性的推导[21],这可能是其模型持续升级的关键因素。
考虑到最近的研究趋势,本文研究了CNN和BLSTM的并行通道,它们结合了测量数据中的局部和全局特征。通过在学习过程中串联这两个通道,可以预测发动机的故障分布,从而提供PHM指标。在将数据分为两个通道时,CNN用于通过核函数在复制数据表上的相同位移乘积来查找和提取局部信息。同时,BLSTM在隐藏层处理输入数据,以区分并发单元之间的时间模式。为了提高数据的学习效果,在BLSTM的输出端使用SAM通过注意力权重来组合隐藏单元的输出。此外,利用MLNN的局部逼近能力,设计了MLNN和BLSTM的串联模型作为扩展的设计方法。最后,通过对实际系统的PHM进行测试,展示了融合模型的效率。
本文的主要贡献如下:
1.设计了CNN与BLSTM以及MLNN与BLSTM的组合模型,以综合数据集的时间信息和局部信息,有助于获取数据的实质性特征;此外,在时间通道中加入了SAM层,通过改进的注意力头来组合BLSTM的输出,具体来说,注意力头是通过查询、键和值的对组来设计的,其中包含了SAM的掩码矩阵和输出乘积;
2.对涡轮风扇发动机的数据集进行了分布和协方差分析,以去除无关数据并优化训练过程;将所提模型的训练效果与现有模型在多个性能指标上进行了比较;
3.评估了所提模型的时间复杂度;按一系列算法对模型的训练过程进行了排序和描述,以明确使用NN模型的训练方法。
部分摘录
学习模型的初步结果
注意:在本文中,粗体大写字母表示矩阵,粗体小写字母表示向量,表示第i个元素表示长度为的实数向量域;表示大小为的实数矩阵域;表示实数的向上取整表示NN层输出时的激活函数表示向量之间的Hadamard积表示函数的导数关于变量。
为了预测涡轮风扇的RUL
训练方法
本节介绍了所使用的CNN和LSTM的原理,并总结了用所提出的NN训练模型的算法。
训练实验
在本节中,我们使用CMAPSS数据集和光纤数据来预测商用涡轮风扇发动机的RUL和故障情况,使用所提出的CNN-BLSTM模型进行预测。为了展示模型的效果,对FD-003数据集进行了RUL预测的对比测试,该数据集是在发动机的高性能计算(HPC)和风扇退化条件下采样的。使用相同的指标,典型的ML方法包括线性回归(LR)[23]、[24]、Lasso [25]和Ridge [25]等也被用于
结论
为了预测机器的健康指数并评估机器的PHM,提出了一种基于CNN和BLSTM的新型串联NN模型,作为对传统MLNN的改进。首先,对原始数据进行处理以应用于模型分析,具体来说,根据RUL的协方差分布提取测量数据中的重要特征,并剪辑分散的数据集以提高训练准确性。然后在NN的训练中,提取数据的局部特征
CRediT作者贡献声明
Bowen Su:方法论、形式分析。Xiaoping Chen:概念化。Yuehong Dai:调查。Ting Guan:资源。Yuankai Li:概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国航空航天研究项目(编号30103090201)、四川省自然科学基金(编号2024NSFSC0181)和系统与人工智能实验室的先锋基金(编号SSAI202503, HLJGGG20240327517-14)的支持。
Bowen Su 他于2016年获得南京航空航天大学交通运输工程学士学位,2019年和2024年分别获得北航大学和西北工业大学的自动化科学与工程硕士和博士学位。他目前在中国电子科技大学担任助理研究员,主要研究方向是飞行控制系统设计、故障检测等。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号