PAMA：双记忆增强辅助的伪异常对比学习用于多变量时间序列异常检测

《Knowledge-Based Systems》：PAMA: Dual-memory augmentation assisted pseudo-anomaly contrastive learning for multivariate time series anomaly detection

　　

**双记忆增强（DMA）机制**旨在通过正常记忆模块和伪异常记忆模块分别执行数据增强，从而获取记忆增强表示。DMA通过对不同表示进行增强处理，可有效增强对原型特征的学习能力。

- **伪异常对比学习（PACL）**被提出，通过执行时序对比学习和实例对比学习来增强正常表示与伪异常表示之间的区分度。此外，PACL可有效提升异常检测性能。
- **伪异常生成（PAG）**被改进以充分利用时间序列的周期性和趋势性，从而生成模拟真实异常情况的伪异常。
- 与十四个基线方法相比，实验结果表明PAMA取得了最优的检测性能。

## 引言

作为数据分析的重要分支，多变量时间序列异常检测（MTSAD）旨在识别和分析偏离正常模式的非典型或异常模式。不幸的是，从大量复杂的多变量时间序列中检测异常是极具挑战性的。一方面，在现实场景中，异常具有复杂性且类型多样，例如全局点异常、上下文点异常和模式异常。另一方面，噪声普遍存在于仅由正常数据组成的多变量时间序列中。众所周知，在机器学习领域，噪声分为两类，即特征噪声和标签噪声。它们分别对应于MTSAD中的噪声污染[1], [2]和异常污染[3], [4]。在实际工业场景中，噪声污染主要来自传感器测量误差和环境干扰。它扭曲了正常模式的表示，导致基于重构的模型产生过度泛化，这意味着异常可能得到精确重构，从而产生具有欺骗性的低异常分数。异常污染指的是将异常纳入训练集中，它可能导致过拟合，即模型过度学习这些受污染样本，最终降低其在未见数据上的泛化性能。在本研究中，我们仅关注缓解由噪声污染引起的过度泛化问题。

现有方法通常难以正确区分噪声和异常。如图1(a)所示，四个噪声样本，即$\mathcal{N}_1 \sim \mathcal{N}_4$，通过对正常数据进行随机扰动生成。此外，我们在图1(a)和图1(b)之间固定了正常数据、真实异常和噪声的原始分布，唯一的区别在于我们提出方法中使用的伪异常增强。

现有方法往往难以正确分类噪声和异常。如图1(a)所示，四个噪声样本，即$\mathcal{N}_1 \sim \mathcal{N}_4$，通过对正常数据进行随机扰动生成。我们在图1(b)和图1(c)之间固定了正常数据、真实异常和噪声的原始分布。唯一的区别在于我们方法中使用的伪异常增强。此外，阈值表示基于重构模型在潜在特征空间中学到的异常分数的决策阈值。从图1(b)中可以观察到，三个噪声样本，即$\mathcal{N}_2 \sim \mathcal{N}_4$，被错误分类为异常，而一个异常数据被分类为正常。为了获取异常模式，引入伪异常数据以帮助区分噪声和异常，从而降低误分类的概率，如图1(c)所示。因此，先前方法容易将噪声样本错误分类为异常域，而我们提出的方法构建伪异常数据以实现阈值边界的优化和修正。需要注意的是，图1是源自真实多变量时间序列数据集潜在特征空间的概念示意图。由于训练数据在特征空间中的表示随训练迭代而演变，图1(b)和图1(c)中正常数据和异常的分布表现出明显差异。

对于MTSAD，MEMTO [5]、U-Transformer [6]和MSDMM [7]在训练过程中利用记忆项来学习正常模式并重构时间序列表示。为了有效捕获异常模式，我们设计了一个伪异常记忆模块，该模块动态存储和更新代表性伪异常原型。图2是一个概念示意图，用于展示四种方法的不同学习目标。如图2所示，上述三种传统方法只能学习正常模式，而无法在训练过程中学习异常模式。它们采用单目标优化，因此只能获得正常原型，同时平滑异常波动，这可能导致过度泛化。通过引入伪异常模式并显式建模异常表示，我们提出的方法的双记忆模块同时考虑了正常和伪异常数据，在学习过程中增加双重约束。该方法不仅能精确重构正常数据，还能放大异常的reconstruction errors。此外，双记忆模块的双重学习目标防止了解码器将所有输入压缩为正常模式，从而缓解了过度泛化。

为了更好地学习和利用异常模式，我们提出了用于MTSAD的双记忆增强辅助伪异常对比学习，简称PAMA。它利用异常的先验知识生成伪异常以模拟时间序列中的异常。此外，PAMA使用双记忆增强机制分别对正常表示和伪异常表示进行数据增强。在伪异常对比学习中，组织了时序对比学习和实例对比学习，从不同记忆增强的特征表示中学习正常和异常模式。最后，在不确定性学习中，使用正则化损失和距离损失来区分正常表示和伪异常表示，从而减少噪声干扰。

本研究的贡献总结如下：

- 我们设计了双记忆增强（DMA）机制，通过正常记忆模块和伪异常记忆模块分别进行数据增强来获取记忆增强表示。DMA通过对不同表示进行增强处理，可有效增强对原型特征的学习能力。
- 我们提出了伪异常对比学习（PACL），通过执行时序对比学习和实例对比学习来增强正常表示与伪异常表示之间的区分度。此外，PACL可有效提升异常检测性能。
- 我们改进了传统的伪异常生成（PAG）模块，充分利用时间序列的周期性和趋势性来生成模拟真实异常情况的伪异常。

本文其余部分组织如下：第2节总结相关工作。第3节介绍问题定义。第4节详细阐述所提出的PAMA。第5节进行实验以验证所提方法。最后，第6节总结本研究。

## 相关工作节选

### 多变量时间序列异常检测

多变量时间序列异常检测（MTSAD）是时间序列分析中的重要研究方向，在工业监控、金融风险控制、医疗诊断等领域有广泛应用[8]。为了捕获多变量时间序列（MTS）的正常模式，OmniAnomaly [9]使用随机递归神经网络学习鲁棒表示。InterFusion [10]利用两个随机隐变量通过层次化方法建模MTS中的正常模式。

### 问题定义

设长度为$S$的MTS通过大小为$T$的滑动窗口划分为多个窗口级时间序列$\mathbf{X} = \{\mathbf{x}_1, \ldots, \mathbf{x}_T\}$。每个数据$\mathbf{x}_t \in \mathbb{R}^C$（$t = 1, \ldots, T$）是从工业传感器或机器在某一时间步收集的。问题可描述如下：给定训练序列$\mathbf{X}$，对于另一个长度为$L$的未知测试序列$\mathbf{X}_{\text{test}} = \{\mathbf{x}_t\}_{t=1}^{L}$，MTSAD模型计算一个异常分数$s_t$来替代其对应的二分类标签。预测标签$\mathbf{Y}_{\text{test}} = \{y_1, \ldots, y_L\} \in \{0, 1\}$可...

### 整体框架

在本小节中，详细描述所提出的PAMA。其模型结构如图3所示。PAMA的学习过程如下所述。时间序列数据首先输入伪异常生成（PAG）模块，其中通过趋势和季节扰动操作构建伪异常。原始时间序列和获得的伪异常输入全局-局部编码器（GL-Encoder）以提取其对应的特征表示。这些...

### 实验设置

在实验中，使用了七个常用的MTSAD基准数据集。七个数据集的详细信息汇总在表1中。此外，它们的简要描述如下：

- **MSL（火星科学实验室）**[26]是火星科学研究的重要资源，提供了大量关于火星表面、气候、地质和生命潜力的高精度数据。
- **SMAP（土壤水分主动被动卫星）**[26]是一个关于...的遥感数据集。

## 结论

本研究提出了一种名为PAMA的新型MTSAD方法。PAMA分别利用正常记忆模块和伪异常记忆模块学习正常模式和伪异常模式，采用双记忆增强进行数据增强，并应用对比学习和不确定性学习来利用伪异常模式。实验结果表明，PAMA在七个数据集上均优于相关基线模型，每个组件都发挥着关键作用。

## CRediT作者贡献声明

- **Hong-Jie Xing（邢洪杰）**：撰写 – 审阅与编辑，验证，资源，方法论，调查研究，形式分析。
- **Tang Qian（钱棠）**：撰写 – 原稿撰写，可视化，验证，方法论，调查研究。
- **Chun-Guo Li（李春国）**：撰写 – 审阅与编辑，验证，监督，方法论，调查研究。

## 利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

## 致谢

本工作得到国家自然科学基金（编号：61672205）、河北省自然科学基金（编号：F2024201032）和河北大学高层次人才科研启动项目（编号：521100222002）的支持。

**邢洪杰 | 钱棠 | 李春国**