《Internet of Things》：AGDSF-Mamba: Adaptive metric graph diffusion with sparse filtering for mamba guided anomaly detection via spatiotemporal learning in Industrial IoT
编辑推荐：
时空依赖关系优化 基于自适应图扩散的工业物联网多尺度时间序列异常检测模型
刘家康|高荣|叶志伟|邓娇娇|张先涛|张莉|严玲玉
湖北工业大学计算机科学学院，武汉，430068，中国
摘要
在工业物联网（IIoT）系统中识别和检测异常对于维护工业安全至关重要。在IIoT场景中，传感器设备收集大量工业时间序列数据。从这些时间序列数据中提取时空特征以进行异常检测是防止生产过程事故和确保系统安全的关键步骤。然而，现有的工业时间序列异常检测方法在捕捉不断变化的传感器依赖拓扑结构和独特的时间特征方面效果有限，这主要是由于工业生产过程中的各种变化导致的，从而导致检测精度较低。为了解决这些问题，我们提出了一种新的工业时间序列异常检测方法，名为AGDSF-Mamba。具体来说，我们设计了一种自适应度量图扩散模型来学习不断变化的传感器依赖拓扑结构。同时，我们将时间序列数据划分为局部周期部分和全局趋势部分。通过使用精心设计的稀疏掩码变换器网络并引入多尺度卷积模型，我们有效地关注生产过程中的局部重要信息，并识别所有生产过程中的全局关联趋势。此外，基于Mamba模型开发了一种新的时空关联差异感知异常检测方法，以提高异常检测的准确性。在真实世界数据集上的实验表明，AGDSF-Mamba的性能优于现有方法。
引言
如今，随着工业化和现代化的不断推进，工业物联网（IIoT）通过集成先进的传感器网络、通信技术和数据分析技术，实现了工业制造生产和环境的实时记录和感知[1]，[2]，积累了大量的工业传感器数据。这些数据具有典型的时间序列数据特征[3]。在物联网场景中，当面临工业生产任务和环境条件的变化时，信息物理系统会遇到设备缺陷和系统故障等异常问题[4]。因此，利用这些数据通过异常检测算法准确识别工业设备或系统中的潜在异常已成为提高IIoT中信息物理系统健康运行状态和降低人工维护成本的关键手段[5]。
近年来，随着深度学习的快速发展，许多研究人员将基于深度学习的时间序列异常检测方法应用于IIoT场景[6]，[7]，并取得了积极的结果。然而，这些方法在处理具有复杂依赖结构的工业时间序列数据时仍面临挑战[8]，[49]。图神经网络（GNNs）最近在建模变量关系方面展示了出色的能力。一些研究人员利用图卷积神经网络（GCNNs）从工业时间序列数据中提取复杂的关系模式，取得了令人鼓舞的异常检测结果[9]，[10]。此外，许多研究人员通过利用Transformer架构的自注意力机制，有效地捕获时间序列及其内部依赖关系的深层潜在表示，在工业物联网异常检测领域取得了有希望的结果[11]，[12]。然而，在IIoT场景中仍需解决以下挑战：
(1) 目前，大多数多变量时间序列异常检测方法采用图神经网络方法来捕捉传感器之间的空间相关性。传感器及其依赖关系的拓扑结构通过边、节点和权重机制进行建模[13]。然而，这些方法低估了工业生产过程中传感器依赖拓扑结构动态变化对检测性能的影响[10]，[14]。此外，当发生异常时，传感器之间的信息交换也会发生变化，导致传感器之间的实际关系发生偏移。大多数基于GNN的方法缺乏对这种变化的探索[15]。因此，基于图的方法在描述传感器之间的空间依赖关系时与实际情况存在差异。
(2) 在物联网中，由于工业生产的多阶段过程，工业时间序列数据表现出强烈的全局趋势和局部周期性的复杂时间序列模式[16]，[17]。受到Transformer架构在计算机视觉（CV）中显著成功的启发，一些研究人员将其适应于工业物联网（IIoT）场景中的时间序列数据建模，取得了有希望的结果[18]。然而，Transformer网络架构缺乏区分序列中不同时间点重要性的能力，这限制了其在局部周期内提取关键语义信息的能力[50]。此外，趋势在不断演变的生产过程中表现出不同的尺度。基于固定卷积核的现有方法无法使模型足够灵活，以应对非平稳、动态的多尺度趋势。
(3) 在IIoT场景中，当使用时空建模对工业时间序列数据进行异常检测时，数据分布往往不平衡，因为正常样本远远超过异常样本的数量。此外，异常数据表现出显著的差异性、随机性和不确定性[15]。因此，基于时间序列数据的时空表示的重构和预测的现有异常检测方法可能无法检测到异常。
为了解决上述问题，我们提出了一种新的多变量时间序列异常检测模型，用于IIoT场景，名为AGDSF-Mamba。具体来说，我们设计了一种基于自适应度量策略的图扩散方法来学习传感器之间不断变化的依赖结构，进一步适应传感器之间信息交换的灵活变化。同时，我们从两个角度探索工业时间序列数据中的复杂模式：全局趋势和局部周期。对于全局趋势部分，我们引入了多尺度卷积模型来提取所有生产过程中的全局关联模式。对于局部周期性部分，我们将时间序列数据划分为子序列级别的时间段，并实现了基于设计的稀疏二进制掩码矩阵的查询过滤。随后，整合了一个开发的时间戳级别注意力机制，以进一步关注局部周期内的关键时间点。此外，Mamba通过选择性状态空间本质上取代了全局注意力，实现了序列长度的线性时间和空间复杂性。与Transformer和RNN模型相比，它在效率和能力之间取得了突破性的平衡，成为当今最有前途的序列建模架构。受到参考文献[19]，[52]的启发，我们提出了一种基于Mamba架构的时空关联差异感知异常检测方法，以实现更准确的异常检测。本研究的贡献如下：
- 1.
提出了一种基于度量的图扩散策略，在扩散过程中自适应地重建传感器节点拓扑结构，增强了模型对传感器拓扑演变的适应性。这提供了一种新的方法来改善传感器节点之间的信息交换，而不仅仅是实施现有的图扩散方法。
- 2.
设计了一种基于稀疏二进制掩码矩阵的稀疏掩码Transformer网络，通过设计的稀疏二进制掩码矩阵更有效地关注关键时间点，减少了冗余干扰，并促进了关键局部信息的有效捕获。
- 3.
基于Mamba框架[20]设计了一种异常检测方法，改进了时间序列数据的全局关联建模，同时克服了Transformer框架的局限性。这提高了提取时间序列数据中全局和局部关联的时空变化的准确性。
- 4.
广泛的实验结果表明，AGDSF-Mamba的性能优于现有方法，进一步的消融实验研究证实了这一结论。
相关工作
相关工作
时间序列异常检测对于确保IIoT场景中工业生产的可靠性至关重要。在本节中，我们回顾了一些关于工业异常检测的关键和重要研究工作，包括：工业多变量时间序列异常检测、工业异常检测中的图方法以及工业异常检测中的Transformer网络。
问题形式化
在本文中，我们主要关注在IIoT场景中由传感器在不同时间点收集的工业多变量时间序列中的异常检测。首先，我们定义输入序列
，其中输入时间序列的长度为l，，P是传感器的数量。我们使用滑动窗口将长序列划分为一组时间子序列，其中滑动窗口的长度设置为w，划分后的子序列中的样本数量为实验
在本节中，我们基于三个真实公共数据进行了实验，以评估AGDSF-Mamba的有效性。
结论
本文提出了一种新的多变量时间序列异常检测模型AGDSF-Mamba，专为工业物联网场景设计。具体来说，AGDSF-Mamba通过新设计的自适应度量图扩散模型优化了传感器空间拓扑变化的表示。同时，AGDSF-Mamba从全局趋势组件和局部周期组件中全面提取时间特征。
CRediT作者贡献声明
刘家康：撰写——原始草案、验证、软件、方法论、概念化。高荣：撰写——审阅与编辑、可视化、监督、方法论、概念化。叶志伟：监督、项目管理、资金获取。邓娇娇：可视化、数据管理。张先涛：可视化、监督、资源。张莉：可视化、监督、资源。严玲玉：可视化、监督、资源、资金获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
