CMformer：一种同时利用通道与时间依赖性的工业设备状态监测方法

《ADVANCED ENGINEERING INFORMATICS》：CMformer: A condition monitoring method for industrial equipment utilizing both channel and temporal dependencies

　　

•提出CMformer，将工业状态监控转化为时间序列分割任务。•对多通道和长程依赖进行建模，以实现更准确的状态分割。•利用Point-To-Segment注意力机制和零填充卷积位置编码对Transformer进行改造。•使用分段通道增强嵌入，在每个分段内对各传感器进行重新加权。•在真实工业数据集上实现更高的分割精度。引言在现代智能制造环境中，设备故障可能导致巨大的经济损失和安全风险，因此复杂工业设备的可靠运行对于安全和成本控制至关重要[1]、[2]。与此同时，现代工厂中部署的高密度传感器网络持续生成高维度多变量时间序列数据[3]。尽管这些海量传感器数据为状态监控提供了基础，但其强烈的通道间耦合、非线性动态以及长运行周期使得传统分析方法难以提取有价值的模式[4]。因此，细微的退化行为可能在故障发生前一直未被发现[5]。因此，运行状态检测构成了工业系统中预测性维护的一项基本任务[6]。然而，实践中许多现有的OSD解决方案仍依赖于静态报警阈值或人工制定的阶段规则。这些启发式方法难以针对非平稳过程和运行阶段间重叠的传感器模式进行调整。图1展示了真实工业过程中两个关键特性，使得可靠的OSD尤为具有挑战性。首先，时间序列具有强烈的上下文依赖性。相同的局部模式可能根据运行阶段的不同而具有不同的含义。例如，压力是非平稳的，约35 bar的数值可能同时出现在加压阶段的上升阶段和泄压阶段的下降阶段。类似地，两个振荡片段可能具有几乎相同的形状，尽管其中一个发生在稳定生产期间，另一个发生在泄压期间。此类现象使得阈值规则和本地模式匹配不可靠，因为它们忽略了长程时间上下文。其次，占主导地位的重要传感器在不同阶段间发生变化。在加压期间，压力是最重要的信号；在生产期间，电流的稳定性更好地反映运行状况；在泄压期间，必须同时考虑压力和电流。这些依赖关系无法通过静态通道权重或将每个通道视为独立输入来捕获。时间序列分割为OSD提供了一种建模方式。与时序分类（通常对整条序列或窗口分配单一标签）相比，TSS执行逐点标注并明确识别状态转换边界[7]。这种精细的时间粒度保留了系统动态并支持下游高级任务，包括针对特定状态的异常检测、剩余使用寿命估计和控制策略[8]。在具有长运行周期和复杂多阶段行为的工业环境中，准确的TSS对于可靠的设备监控至关重要。对于液压泵场景，每条记录对应一个完整的运行周期，其中包含长停留阶段、短转换阶段以及偶尔出现的异常阶段。因此，实际目标不仅仅是逐点标签序列，而是结构化的状态轨迹以及精确定位的转换边界。早期关于工业状态监控和状态识别的研究大多遵循特征工程范式。信号使用滑动窗口进行分段，提取统计和频谱描述符，并训练浅层分类器（如SVM）进行故障诊断或状态识别[9]、[10]、[11]。这些流程需要大量专家知识来设计窗口大小、频率范围和特征集，且难以适应具有强烈通道间耦合的高维、非平稳过程[12]。深度学习方法减轻了手工特征设计的负担，但在工业TSS方面仍面临挑战。卷积神经网络擅长捕获局部模式，但难以表示扩展工业周期中的长程时间依赖关系和全局多通道交互[13]。循环神经网络包括LSTM和GRU，在处理具有数千时间步的序列时会遭受梯度消失和效率有限的困扰。在实践中，卷积仍然作为前端局部模式提取器是有用的，但工业OSD还需要一种更高层次的机制来表征跨阶段上下文和动态传感器耦合。由自注意力机制驱动的Transformer架构彻底改变了自然语言处理中的序列建模，并最近被应用于时间序列分析。然而，原生Transformer与工业多变量TSS的特性仍然不够匹配。首先，标准自注意力将每个时间索引视为独立标记，导致冗余计算和密集长序列的二次复杂度[14]。在工业监控中，有价值的模式通常出现在连续分段而非孤立点上。基于片段的方法通过将连续样本分组为标记来降低复杂度，但片段间注意力以粗糙的时间分辨率运行，并且本质上丢失了逐点分割所需的细粒度时序信息[15]。其次，大多数基于Transformer的模型要么将多通道传感器数据展平，要么采用静态通道权重，无法显式表示对诊断运行状态至关重要的阶段依赖和时间变化的传感器间关系[16]。这些结构上的不匹配限制了现有Transformer变体在工业OSD中的实际有效性。本文聚焦于工业TSS的两个关键问题：1）如何自适应地建模多个传感器之间随时间变化的相互依赖关系；2）如何在保持逐点分割精度的同时高效捕获多尺度时间依赖关系。为此，我们提出了CMformer，这是一种专为复杂工业过程中的运行状态检测而设计的基于Transformer的模型。传统的点对点自注意力机制既计算成本高，又在语义上与TSS不匹配，因为它直接比较噪声个体样本，而这些样本对状态仅有微弱的信息量。CMformer用逐点到分段注意力机制取代了这种方式。每个时间点作为查询，而键和值由多尺度历史分段构建。通过在匹配之前聚合更丰富的时间上下文，PTSA提高了对噪声的鲁棒性，增强了长程和短程依赖建模，并缓解了过度分割问题。它在键和值上以分段级别运行，从而降低复杂度，同时仍能生成逐步标签。我们在第4.3节中量化其对分段数量和虚假转换的影响。为了捕获跨传感器动态——即"重要传感器"在不同运行阶段之间会发生变化，CMformer进一步引入了分段通道增强嵌入。与其使用静态通道权重，SWCE在有意义的时间分段内学习通道间依赖关系，抑制噪声样本中的虚假相关性，并强调最能解释当前状态的传感器子集。我们的主要贡献总结如下：•我们将工业OSD表述为带有变点定位的多变量TSS，并从真实数据中识别出两个任务定义特征：上下文依赖的时间模式和阶段依赖的通道重要性。•我们提出了CMformer，一种基于Transformer的架构，具有分段通道增强模块，能够自适应地学习时间分段内传感器之间的时变相互依赖关系，使模型能够在每个阶段强调最有信息的信号并产生更清晰的状态分割。•我们设计了一种逐点到分段注意力机制，其中键和值通过对历史分段进行多尺度卷积来生成。PTSA使每个时间点能够从不同尺度的结构化分段中聚合信息，同时保持逐点时间分辨率和提高效率。•我们在三个真实液压泵数据集上进行实验，证明CMformer在整体分割质量和边界定位方面均有提升。本文其余部分结构如下。第2节回顾了关于运行状态检测、时间序列分割和基于Transformer模型的相关工作。第3节详细介绍了所提出的CMformer架构。第4节描述了实验设置并讨论了实验结果。最后，第5节总结并概括研究内容。章节片段运行状态检测运行状态检测旨在从传感器测量中推断工业设备的底层运行阶段或健康状态[6]。工业中的传统解决方案通常依赖于静态报警阈值或人工设计的状态转换规则。虽然易于实现，但这些启发式方法在非平稳动态、时变运行条件和重叠传感器模式下的表现不佳。时间序列分割为OSD提供了比方法更为合理的框架。在本节中，我们首先正式介绍任务的定义。然后，我们介绍所设计CMformer的整体架构，并分别从三个关键设计方面详细介绍CMformer。数据集我们在DC液压泵下线数据集上评估了所提出的方法[6]，该数据集记录了三种直接控制泵变体进行下线测试时的传感器数据。每个样本对应一个完整的运行周期，采样间隔为0.01秒。实验使用由真实采集装置提供的固定多通道传感配置。数据集包含9个传感器通道，每种泵变体有40个标注样本，53结论在本工作中，我们为工业设备多变量传感器时间序列的逐点运行状态分割和变点定位提出了CMformer。CMformer结合了SWCE，后者通过分段特征重校准学习状态依赖的通道交互，以及PTSA，后者将分段级时间上下文注入点级查询中，使得无需牺牲边界分辨率即可建模长程依赖关系。在真实液压泵数据集上的实验证明了该方法的效能。贡献声明李晓蕊：写作—审阅与编辑，写作—原始草稿，方法学，形式化分析，数据整理。袁兆林：写作—审阅与编辑，项目管理。乔浩然：方法学，数据整理。张涛鸿：项目管理。李明：写作—审阅与编辑，项目管理，资金获取。利益冲突声明作者声明没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。致谢作者感谢姚超为本文提供的宝贵建议。本工作受国家自然科学基金资助，中国博士后科学基金资助，以及国家自然科学基金重大项目资助。李晓蕊|袁兆林|乔浩然|张涛鸿|李明