用于稀疏信号恢复的固定时间神经动态算法及逐元素归一化技术

《Engineering Applications of Artificial Intelligence》：Fixed-time neurodynamic algorithms with element-wise normalization for sparse signal recovery

时间序列异常检测在自动驾驶、工业维护和网络安全等领域至关重要。传统自编码器方法因过度关注重构误差导致异常识别性能受限。本文提出的ReADD方法基于扩散模型，通过噪声注入破坏异常点特征结构，设计特征驱动的去噪网络提升正常与异常的区分度。实验表明，在四个真实数据集上，ReADD的精确度、召回率和F1-Score分别提升7.01%、6.23%和6.87%。

　　

朱 Hegui | 刘 小 | 张 英豪 | 张 丽波

中国沈阳东北大学理学院，110819

摘要

时间序列异常检测在多个领域发挥着重要作用，例如自动驾驶中的异常驾驶行为、制造业中的预测性维护以及信息物理系统的网络安全等。大多数异常检测方法都是基于重构的方法，利用自动编码器来重构时间序列。然而，这些方法在重构质量较差或过度重构的情况下，很难获得适用于异常检测的高质量序列。为了解决这个问题，我们提出了一种基于重构的异常检测新方法——ReADD（Reconstruction-based Anomaly Detection），该方法利用扩散模型的固有特性。具体来说，它通过向原始数据添加噪声，然后构建一个去噪网络，该网络考虑特征信息而非特征和时间依赖性的综合评估来获取重构序列。ReADD 通过扩散模型重新定义了重构过程，其目标不是直接优化输入和输出之间的相似性，而是通过破坏异常值来增强正常点与异常值之间的区分度。在四个真实世界数据集（火星科学实验室探测器（MSL）、土壤湿度主动被动传感器（SMAP）、服务器指标聚合（PSM）和安全水处理（SWaT）上的大量实验表明，我们提出的 ReADD 在性能上优于其他基于重构的异常检测方法。特别是，在精确度（$P$）、召回率（$R$）和 F1 分数（$F1$）方面分别取得了 7.01%、6.23% 和 6.87% 的提升。

引言

近年来，城际和城市内车辆数量的增加导致了交通事故的相应增加。其中相当一部分事故是由于驾驶员表现出异常驾驶行为造成的。因此，评估驾驶行为和车辆运行状态以检测此类异常驾驶行为至关重要。这些异常驾驶信息可以传输到车辆的智能驾驶辅助系统中，使车辆能够启动紧急避让动作或制动以避免交通事故。在其他领域，如工业制造中，记录振动和温度等数据的设备传感器会产生多变量时间序列，其中的异常通常表明设备存在故障，如轴承磨损或电机不平衡。在这种情况下，预测性维护尤为重要。同样，在信息物理系统领域，确保网络安全是一项关键任务，通过网络流量日志检测工业控制系统（ICS）中的入侵或数据泄露起着重要作用。所有这些都需要时间序列异常检测技术，即识别和标记给定时间序列中与正常模式（Lv 等，2023）或预期行为（Schmidl 等，2022）显著不同的数据点。然而，实际应用中的异常检测是一个具有挑战性的问题，主要由于以下因素：(i) 异常值缺乏标签。时间序列数据来自真实世界的传感器（Shanmuganathan 和 Suresh，2024），因此异常值的标签缺失给模型训练和评估带来了挑战（Wenig 等，2022），这使得监督学习方法不适用于异常检测（Choi 和 Kang，2024）。(ii) 异常原因多样且复杂（Zhang 等，2019a）。例如，异常驾驶行为可能是由于开车时打电话或分心等因素引起的。不同的因素会导致不同类型的异常。(iii) 时间序列数据的规模。时间序列数据可能非常庞大，包含数百万甚至数十亿个数据点。同时，异常值隐藏在大量的时间序列数据中，不容易被发现（Ting 等，2022）。检测这些异常需要高性能的计算资源和高效的算法（Blázquez-García 等，2021）。

目前，基于预测的异常检测（Munir 等，2018）和基于重构的异常检测（Zhang 等，2019b）方法是两种主流的异常检测方法。基于预测的方法使用先进的神经网络选择观测值的一部分（Abilasha 等，2022）进行未来数据预测，然后根据预测数据与原始数据之间的差异来确定异常（Yang 等，2024）。然而，基于预测的异常检测方法的最大问题是训练数据可能包含异常值，因此预测结果可能不准确（Choi 等，2021）。此外，时间序列数据的复杂性使得准确预测变得困难。另一方面，基于重构的异常检测方法通常将原始时间序列输入到训练好的神经网络中，通常是自动编码器，该网络学习数据的内在模式，然后生成重构序列（Miao 等，2024）。异常值是根据输入序列与重构序列之间的差异来识别的。总体而言，基于重构的方法比基于预测的方法更适合时间序列异常检测任务，大多数最先进的模型都是基于重构技术的。

然而，基于重构的异常检测方法也面临许多挑战。它们需要在神经网络中处理整个序列（Hagemann 和 Katsarou，2020）并输出一个新的序列，这对模型的长期处理和拟合能力提出了较高要求。许多现有的基于重构的模型结合了不同的神经网络来提高拟合能力，但结果可能并不令人满意。为了解决这个问题，许多当前的基于重构的异常检测方法过度考虑了时间和特征的依赖性。然而，如果过度强调时间和特征信息，一些异常值可能会被误认为是正常点，因为它们的异常模式已经被学习到了。因此，基于重构的异常检测模型要么泛化能力有限，要么会过度重构异常值，最终导致检测性能下降。

扩散模型（Rombach 等，2022）由于在 AI 生成领域的出色表现而受到了广泛关注。扩散模型的基本思想是通过逐步添加噪声和去噪的过程来学习数据生成分布。许多研究人员发现了扩散模型的强大建模能力，并探索了其在时间序列领域的可行性。例如，CSDI（Tashiro 等，2021）将扩散模型应用于时间序列插补任务，利用周围点的特性来生成缺失值。TimeGrad（Rasul 等，2021）将 RNN 结合到扩散模型中以学习条件信息，并在时间序列预测任务中取得了优异的性能。扩散模型也在图像异常检测领域得到了研究。例如，为了解决生成对抗网络（GANs）或变分自动编码器（VAEs）等传统方法在异常检测中的局限性，提出了一种基于扩散深度图像建模（DDIM）的弱监督异常检测方法（Song 等，2021）。

受到扩散模型的启发，并意识到现有基于重构的时间序列异常检测方法的局限性，我们介绍了一种名为 ReADD 的新方法。它改变了异常检测模型的目标，从最小化重构误差转变为向原始数据添加噪声，从而破坏特征结构并增强正常点与异常值之间的区分度。通过精心设计一个专为时间序列异常检测定制的去噪网络，我们获得了能够捕捉完整序列模式的重构序列，同时降低了将异常值误分类为正常值的风险。本文的主要贡献如下：

• •
  重新定义了重构目标，旨在通过噪声破坏和去噪机制最大化正常点与异常值之间的差异，而不是像其他重构方法那样最小化重构序列与原始序列之间的重构误差。
• •
  设计了一个专门为时间序列异常检测任务定制的去噪网络，该网络仅利用时间序列的特征信息，提高了异常检测性能。
• •
  ReADD 在四个数据集上的异常检测结果优于其他九种异常检测模型。此外，消融实验和鲁棒性分析验证了关键组件的有效性，并讨论了 ReADD 在实际应用中的部署潜力。

相关研究

相关工作

本节概述了基于重构的时间序列异常检测和扩散模型相关的研究。

方法论

如 2.1 节所讨论的，ReADD 与传统自动编码器的根本区别在于它们的重构目标不同。传统自动编码器旨在通过压缩和解压输入序列来最小化像素级别的重构误差，通常依赖于专门的时间模块（例如 LSTM 或 Transformer）来捕捉时间依赖性。然而，这种范式本质上面临双重挑战：(i) 重构质量差，模型容量有限

实验

在本节中，进行了广泛的实验，以证明所提出的 ReADD 在四个真实世界数据集上优于其他九种异常检测模型。

消融研究

基于重构的时间序列异常检测模型的重构误差代表了其重构能力。较小的重构误差表示更好的重构能力，这是模型异常检测能力的基础。然而，较低的重构误差并不一定能保证更好的异常检测结果。实际上，过度精确的重构可能导致模型有效地重构了异常值，从而

全面评估和未来方向

在本节中，验证了 ReADD 的鲁棒性，然后讨论了其潜在的工业应用、在大规模时间序列数据中的可扩展性以及 ReADD 的实时异常检测能力。最后，讨论了 ReADD 的局限性及可能的改进措施。

结论

本文提出了一种名为 ReADD 的新型基于重构的时间序列异常检测方法，旨在克服传统重构模型在异常检测中遇到的问题，如重构质量差或过度重构。具体来说，ReADD 利用扩散模型的固有特性，通过精心设计的去噪网络仅使用特征变换层来捕获复杂特征信息来检测异常值。

CRediT 作者贡献声明

朱 Hegui：监督、项目管理、写作 - 审稿与编辑、概念化、方法论。刘 小：软件、可视化、方法论、初稿撰写。张 英豪：调查、数据整理。张 丽波：资源支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作由 广东省基础与应用基础研究基金会（编号：2023A1515140132）资助。