一种基于重构的新方法，用于利用扩散模型进行多变量时间序列异常检测

《Engineering Applications of Artificial Intelligence》：A new reconstruction-based method for multivariate time series anomaly detection with diffusion models

时间序列异常检测中的扩散模型应用与优化，提出ReADD方法通过噪声注入与特征导向去噪提升正常与异常区分度，在四个数据集上实现精度、召回率和F1分数平均提升6.87%-7.01%。

　　

朱 Hegui | 刘 小 | 张 英豪 | 张 丽波

中国沈阳东北大学理学院，邮编 110819

摘要

时间序列异常检测在多个领域发挥着重要作用，例如自动驾驶中的异常驾驶行为、制造业中的预测性维护以及信息物理系统的网络安全等。大多数异常检测方法都是基于重构的方法，利用自动编码器来重构时间序列。然而，这些方法在重构质量较差或过度重构的情况下，难以获得适用于异常检测的高质量序列。为了解决这个问题，我们提出了一种基于扩散模型的新型异常检测方法（ReADD）。具体来说，该方法通过向原始数据添加噪声，并利用去噪网络来考虑特征信息（而不是全面评估特征和时间依赖性），从而获得重构序列。ReADD 重新定义了重构过程，其目标不是直接优化输入和输出之间的相似性，而是通过破坏异常来增强正常点与异常之间的区分度。在四个真实世界数据集（火星科学实验室探测器（MSL）、土壤湿度主动被动探测器（SMAP）、汇总服务器指标（PSM）和安全水处理系统（SWaT）上的大量实验表明，与其它基于重构的异常检测方法相比，我们的 ReADD 方法表现更为优越。具体而言，ReADD 在精确度（$P$）、召回率（$R$）和 F1 分数（$F1$）方面分别提高了 7.01%、6.23% 和 6.87%。

引言

近年来，城际和城内车辆数量的增加导致了交通事故的相应增加。其中相当一部分事故是由于驾驶员表现出异常驾驶行为所致。因此，评估驾驶行为和车辆运行状态以检测此类异常驾驶行为至关重要。这些异常驾驶信息可以传输到车辆的智能驾驶辅助系统中，使车辆能够启动紧急避让动作或制动以避免交通事故。在其他领域，如工业制造中，记录振动和温度等数据的设备传感器会产生多变量时间序列，异常通常表明设备存在故障，如轴承磨损或电机不平衡。在这种情况下，预测性维护尤为重要。同样，在信息物理系统领域，确保网络安全是一项关键任务，通过网络流量日志检测工业控制系统（ICS）中的入侵或数据泄露至关重要。所有这些都需要时间序列异常检测技术，即识别和标记给定时间序列中与正常模式（Lv 等，2023）或预期行为（Schmidl 等，2022）显著不同的数据点。然而，由于以下因素，实际应用中的异常检测是一个具有挑战性的问题：（i）缺乏异常标签。时间序列数据来自真实世界的传感器（Shanmuganathan 和 Suresh，2024），因此缺乏异常标签给模型训练和评估带来了挑战（Wenig 等，2022），这使得监督学习方法不适用于异常检测（Choi 和 Kang，2024）。（ii）异常的原因多种多样且复杂（Zhang 等，2019a）。例如，异常驾驶行为可能是由于驾驶时打电话或分心等原因造成的。不同的因素会导致不同类型的异常。（iii）时间序列数据的规模。时间序列数据可能非常庞大，包含数百万甚至数十亿个数据点。同时，异常隐藏在大量的时间序列数据中，不易被发现（Ting 等，2022）。检测这些异常需要高性能的计算资源和高效的算法（Blázquez-García 等，2021）。

目前，基于预测的异常检测（Munir 等，2018）和基于重构的异常检测（Zhang 等，2019b）方法是两种主流的异常检测方法。基于预测的方法使用先进的神经网络选择观测值的一部分（Abilasha 等，2022）来进行未来数据预测。然后通过预测数据与原始数据之间的差异来确定异常（Yang 等，2024）。然而，基于预测的异常检测方法的最大问题是训练数据可能包含异常，因此预测可能不准确（Choi 等，2021）。此外，时间序列数据的复杂性使得准确预测变得困难。另一方面，基于重构的异常检测方法通常将原始时间序列输入到训练有素的神经网络中，通常是自动编码器，该网络学习数据的内在模式，然后生成重构序列（Miao 等，2024）。异常是根据输入序列与重构序列之间的差异来识别的。总体而言，基于重构的方法比基于预测的方法更适合时间序列异常检测任务，大多数最先进的模型都是基于重构技术的。

然而，基于重构的异常检测方法也面临许多挑战。它们需要在神经网络中处理整个序列（Hagemann 和 Katsarou，2020）并输出新序列，这对模型的长期处理和拟合能力提出了很高的要求。许多现有的基于重构的模型结合了不同的神经网络来提高拟合能力，但结果可能并不令人满意。为了解决这个问题，许多当前的基于重构的异常检测方法过度考虑了时间和特征依赖性。然而，如果过分强调时间和特征信息，一些异常可能会被误认为是正常点，因为它们的异常模式已经被学习了。因此，基于重构的异常检测模型要么泛化能力有限，要么会过度重构异常，最终导致检测性能下降。

扩散模型（Rombach 等，2022）由于在 AI 生成领域的出色表现而受到了广泛关注。扩散模型的基本思想是通过逐步添加噪声和去噪的过程来学习数据生成分布。许多研究人员发现了扩散模型的强大建模能力，并探索了它们在时间序列领域的可行性。例如，CSDI（Tashiro 等，2021）将扩散模型应用于时间序列插补任务，利用周围点的特征来生成缺失值。TimeGrad（Rasul 等，2021）将 RNN 结合到扩散模型中以学习条件信息，并在时间序列预测任务中取得了优异的性能。扩散模型也在图像异常检测领域得到了研究。例如，为了解决生成对抗网络（GANs）或变分自动编码器（VAEs）等传统方法在异常检测中的局限性，提出了一种基于扩散深度图像建模（DDIM）的弱监督异常检测方法（Song 等，2021）。

受到扩散模型的启发，并认识到现有基于重构的时间序列异常检测方法的局限性，我们介绍了一种名为 ReADD 的新方法。它将异常检测模型的目标从最小化重构误差改为向原始数据添加噪声，从而破坏特征结构并增强正常点与异常之间的区分度。通过精心设计一个针对时间序列异常检测的去噪网络，我们获得了能够捕捉全面序列模式的重构序列，同时降低了将异常误分类为正常的风险。本文的主要贡献如下：

• •
  重新定义了重构目标，旨在通过噪声干扰和去噪机制最大化正常点与异常之间的差异，而不是像其他重构方法那样最小化重构序列与原始序列之间的重构误差。
• •
  专门为时间序列异常检测任务设计了一个去噪网络，该网络仅利用时间序列的特征信息，提高了异常检测性能。
• •
  ReADD 在四个数据集上的异常检测结果优于其他九种异常检测模型。此外，消融实验和鲁棒性分析验证了关键组件的有效性，并讨论了 ReADD 在实际场景中的部署潜力。

相关研究

相关工作

本节概述了基于重构的时间序列异常检测和扩散模型相关的研究。

方法论

如 2.1 节所讨论的，ReADD 与传统自动编码器的根本区别在于它们的重构目标不同。传统自动编码器旨在通过压缩和解压缩输入序列来最小化像素级别的重构误差，通常依赖专门的时间模块（例如 LSTM 或 Transformer）来捕获时间依赖性。然而，这种范式本身面临双重挑战：（i）重构质量差，模型容量有限，

实验

在本节中，进行了广泛的实验，以证明所提出的 ReADD 在四个真实世界数据集上优于其他九种异常检测模型。

消融研究

基于重构的时间序列异常检测模型的重构误差代表了其重构能力。较小的重构误差表示更好的重构能力，这是模型异常检测能力的基础。然而，较低的重构误差并不一定保证更好的异常检测结果。实际上，过度精确的重构可能导致模型有效地重构了异常，从而

综合评估和未来方向

在本节中，验证了 ReADD 的鲁棒性，然后讨论了其潜在的工业应用、在大规模时间序列数据中的可扩展性以及 ReADD 的实时异常检测能力。最后，讨论了 ReADD 的局限性及可能的改进措施。

结论

在本文中，提出了一种名为 ReADD 的新型基于重构的时间序列异常检测方法，旨在克服传统重构模型在异常检测中遇到的问题，如重构质量差或过度重构。具体来说，ReADD 利用了扩散模型的内在特性，并通过仅使用特征变换层来捕获复杂特征信息的精心设计的去噪网络来检测异常。

CRediT 作者贡献声明

朱 Hegui：监督、项目管理、写作 - 审稿与编辑、概念化、方法论。刘 小：软件、可视化、方法论、初稿写作。张 英豪：调查、数据整理。张 丽波：资源支持。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了 广东省基础与应用基础研究基金（编号：2023A1515140132）的资助。