DiffTCL：基于扩散的时间序列对比学习增强

《Pattern Recognition》：DiffTCL: Diffusion-based augmentation for time series contrastive learning

　　

• •
  我们提出了 DiffTCL，一个即插即用的基于扩散的增强框架，能够在无需修改骨干架构的情况下增强时间序列对比学习。
• •
  DiffAu 通过结合条件扩散、多尺度频谱损失和频谱协方差匹配生成语义一致的时间序列视图，保留了实例级语义和全局分布结构。
• •
  DiffSM 利用条件 DDIM 轨迹进行正视图生成、难负样本构建和渐进式假负样本缓解，在生成、预测、分类和异常检测方面取得了consistent 增益。

引言

时间序列 (TS) 数据广泛存在于医疗、金融和能源等领域。然而，由于时间复杂性、高标注成本以及对领域知识的需求，TS 数据的标注极为困难 [1]。因此，自监督学习，尤其是对比学习 (CL)，已成为从标记数据中提取有意义表示的典范 [2]。

CL 的有效性从根本上受限于其数据增强的质量。与此同时，当前的 TS-CL 方法受到两个结构性局限的阻碍。首先，广泛使用的手工设计增强（例如裁剪、扭曲、置换）往往违反时间语义，从而产生错误正样本对 [3]。它们可能会切断关键模式（如心电图 R 波峰值或金融冲击），扭曲自相关和季节性等结构属性，并引入违反物理约束的不真实伪影 [4]。因此，这些变换会产生与原始序列不对齐的损坏正样本对，如图 1(a)-(c) 中的心电图数据所示。其次，将所有非锚点样本视为负样本忽略了潜在的语义相似性，导致假负样本，即在训练过程中被错误推开的语义相同样本（例如，属于同一种疾病亚型）[5]。这种误分类不仅阻碍模型收敛，还导致宝贵的判别性特征丢失。

去噪扩散概率模型 (DDPMs) [6] 通过逐步恢复趋势、周期性和自相关等时间结构来生成逼真的 TS [7]。这些特性使扩散模型成为可学习 TS 增强的有吸引力的候选者。其可控的采样过程也暗示了一条生成语义多样负样本（包括难负样本）的路径，这可能缓解 CL 中的错误正样本和假负样本问题。然而，直接将标准无条件扩散用于 CL 是有问题的，因为其随机采样可能产生与锚点语义不一致的视图。如图 1(d) 所示，虽然 DDPMs 可以生成与边际数据分布密切匹配的样本，但其潜在语义仍可能与原始序列有显著差异。此外，现有的 TS 扩散方法往往优先考虑样本级保真度，可能不足以保留全局数据集统计信息，包括每维分布和跨变量依赖 [8]，这可能导致生成数据中的分布偏移 [9]。这种偏移进一步降低了 CL 的性能，因为在 CL 中增强必须全局一致才能产生可靠的对比信号。

为了解决这些挑战，我们提出了DiffTCL，一个扩散引导的 CL 框架，从根本上重新思考了 TS 的视图增强和负采样，以缓解错误正样本和假负样本。基于扩散必须针对 CL 进行锚点条件化的上述见解，DiffTCL 采用由锚点引导的条件扩散模型来生成高质量增强，保留关键的全局分布属性（例如趋势、周期性和跨变量相关性），同时避免启发式扭曲，从而产生语义一致的正样本对。如图 1(e) 所示，我们的基于扩散的增强模块 (DiffAu) 有效地保留了关键的时间模式，如心电图 R 波峰值，而传统技术往往在此处失效。此外，通过控制扩散轨迹，DiffTCL 生成结构相似但语义不同的难负样本，降低了将语义等价实例采样为负样本的风险，从而缓解假负样本，同时提供比均匀采样更具信息的对比监督。集成的 CL 模块（基于扩散的样本挖掘，DiffSM）结合 DiffAu 和软对比目标以强调信息丰富的样本对，减少对稀缺标签的依赖，并缓解少数类中的欠拟合。

我们的贡献包括：(1) DiffAu，一个基于扩散的增强器，保留了全局分布和个体级保真度以进行语义一致的 TS 生成；(2) DiffSM，一个即插即用的对比模块，利用 DiffAu 产生对齐的正样本和难负样本，缓解错误正样本和假负样本；以及 (3) 通过在各种任务（包括生成、预测、分类和异常检测）上一致改进所展示的最先进 (SOTA) 性能。

章节摘要

时间序列 CL。

早期的 TS 对比方法从局部邻域 [10], [11]、上下文或层次目标 [2], [12]、关系推理 [13] 和时频一致性 [14] 中学习。后来的方法通过插值和分解 [15], [16]、DTW 或信息感知引导 [4], [17] 以及频率细化 [18] 来构建视图。SoftCLT 则使用时间戳感知的软相似度 [19]。这些方法改进了对齐或多样性，但没有明确生成条件视图

提出的方法：DiffTCL

如图 2、图 4 所示，我们提出了一种新颖的插件模块，包含两个关键组件：(1) 尊重全局和个体特征的样本生成 DiffAu，以及 (2) 利用这些增强样本进行表示学习的 DiffSM。更多细节见附录 B 和 C。

实验

本节报告了 DiffAu 在独立 TS 生成上的性能以及 DiffTCL 在不同框架和下游任务上的性能。除非另有说明，所有报告的结果都是五次独立随机种子的平均值，详细结果和额外实验见附录 G。

难负样本生成的因果约束。

DiffTCL 不假设已知因果图。当有可靠的先验知识时，因果掩码或干预一致性正则化有助于在难负样本生成期间区分语义变化和噪声漂移 [53]。

依赖尺度的评估指标。

MSE 和 MAE 不应直接在不同数据集间比较，因为它们是依赖尺度的。RRMSE 是在房地产和交易量预测中使用的独立于尺度的替代方案 [54], [55]。

不可预测性感知的表示学习。

DiffTCL 不将可学习模式与

非平稳性和域偏移。

在电力、天气以及 ETTh1 和 ETTh2 之间的迁移上的结果表明对中等偏移具有鲁棒性，但 DiffTCL 假设离线训练和目标域适应。它不处理在线漂移或异构流，这可能需要持续适应 [57]、动态专家分配和漂移感知迁移 [58]。

计算效率和生成依赖性。

多步 DDIM 采样增加了离线准备和预训练成本，但不影响下游推理，因为生成的样本可以缓存。

结论

DiffTCL 通过条件扩散改善了无标签 TS 上的对比学习。DiffAu 保留了语义、全局频谱和跨变量结构，而 DiffSM 形成对齐的正样本和信息丰富的负样本。在生成、预测、分类和异常检测上的实验显示出一致的增益。未来的工作将研究伪标签引导、高效骨干网络和漂移感知适应。

CRediT 作者贡献声明

Zhongyang Yu: 写作 – 审阅与编辑，写作 – 初稿，验证，软件，方法学，调查，数据管理。Zhihai Wang: 写作 – 审阅与编辑，监督。Jidong Yuan: 写作 – 审阅与编辑，资源，资金获取。Huiting Pei: 写作 – 审阅与编辑，验证，调查。Yuxuan Fan: 可视化，验证。Muhang Li: 验证，调查。

竞争性利益声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本论文中报告的工作。

Zhongyang Yu|Zhihai Wang|Jidong Yuan|Huiting Pei|Yuxuan Fan|Muhang Li