用于时间序列分类的异构时间模态中的对比特征对齐

《Applied Soft Computing》：Contrastive feature alignment in heterogeneous temporal modalities for time series classification

　　

摘要

时间序列数据以其复杂的时序依赖关系和多样化的结构模式为特征，在医疗、制造和金融等现实领域中广泛存在。准确的时间序列分类（TSC）需要模型能够捕捉细粒度的局部动态和长程的全局关系。虽然基于序列的模型已被广泛用于时间序列分类，但它们往往难以有效地建模全局结构模式。相反，基于图像的变换（如格拉姆角场（GAF））能够将时序信号在空间上进行表示，使视觉架构能够捕捉互补的结构信息。然而，仅依赖于任一模态的方法可能无法充分利用互补信息，而现有的多模态方法通常缺乏时序表示与空间表示之间的显式对齐机制。为了解决这些局限性，我们提出了一种混合框架，在基于Transformer的时序编码器和基于Vision Transformer（ViT）的空间编码器之间执行片段级的对比特征对齐。通过将时间序列转换为格拉姆角差场（GADF）图像，并显式对齐时间上对应的Transformer标记与图像片段，所提出的模型能够联合捕捉时序动态和空间结构模式。片段级的对比目标鼓励了异质表示之间细粒度的跨模态对应关系。在UCR档案中的127个基准数据集上的广泛实验证明了所提出方法的有效性。我们的方法在现有最先进基线中取得了平均分类准确率0.8298和最佳平均排名3.30。受控的消融研究进一步表明，片段级对齐在相同的多模态架构上（不加对比学习）提高了性能，并大幅超过了全局对比对齐，突显了对齐粒度的重要性。这些结果证明了结构化跨模态特征对齐的有效性，为多模态时间序列分类提供了有前景的方向。

引言

时间序列分类（TSC）近年来因其异常检测[1]、医疗诊断[2]和基于EEG的预测任务[3]等实际应用领域的广泛适用性而备受关注。传统上，TSC通过从一维时间序列中提取手工特征并使用标准分类器（包括支持向量机（SVM）、K近邻（k-NN）和人工神经网络（ANN）[4], [5]）来处理。虽然这些方法已被广泛采用，但它们通常严重依赖手工特征工程，缺乏适应多样时序结构的灵活性。

为了解决这些局限性，基于深度学习的方法已成为强大的替代方案，能够直接从原始时间序列中学习特征表示。例如，长短期记忆（LSTM）网络[6]已经展示了端到端建模序列依赖的能力[7]。在此基础上，基于Transformer的架构[8]已被扩展到时间序列任务，并在长程预测[9]和分类[10]中展现了强大的性能。

除架构进步外，时间序列表示学习领域也获得了发展动力，重点通过对比或自监督框架捕捉复杂的时序模式。像TS-TCC [11]、TS2Vec [12]和TimesURL [13]等显著方法已证明学习到的表示在多种任务中的有效性。然而，这些方法主要在一维编码的范围内操作，这可能限制了它们捕捉时间序列数据中全局结构和细微时序交互的能力。

为了克服这些表示瓶颈，新兴的研究探索将时间序列转换为二维图像格式以利用计算机视觉领域的进展。一个突出的例子是格拉姆角场（GAF）[14]，它将时序序列编码为极坐标矩阵，在保留时间依赖相关性的同时突出全局趋势。这种视觉变换使得可以使用卷积神经网络（CNN）和Vision Transformer（ViT）分析时间序列数据，为结构化表示学习提供了新的途径。先前的工作已成功将GAF应用于各种应用：例如，使用基于GAF的自编码器进行晶圆异常检测[15]，使用GAF和ViT进行锻造机故障检测[16], [17]，以及使用结合一维输入和从GAF派生的图像片段的混合模型进行HVAC异常检测[18]。其他方法提出了多分支模型，通过后期特征融合管道将原始序列和GAF变换的表示集成[19]。

尽管有这些发展，基于GAF的模型仍受限于其对全局图像特征的强调，往往无法捕捉局部时序变化，特别是在细粒度层面。整合序列和图像模态的多模态方法通常缺乏其各自表示之间有意义的对齐，导致泛化性能下降。这些挑战凸显了需要一种更集成和精细调整的策略，以捕捉时间序列数据中的全局结构和局部时序线索。

在本研究中，我们提出了一种片段级混合对比学习框架，利用时序和空间两种模态。时间序列被转换为GAF图像并分割成片段，实现了捕捉跨时间细微变化的局部特征提取——这些模式通常被全局表示所忽略。为保持时序连贯性并增强判别能力，我们应用对比学习将这些图像片段与通过Transformer编码器提取的对应时序标记对齐。这鼓励模型通过拉近相似时间段的嵌入空间距离并推远不同时间段的距离，学习模态特有的和共享的时序语义。此外，与先前将对比预训练与下游目标解耦的方法不同，我们采用统一训练管道，联合优化表示学习和预测。这种集成改进了特征提取和任务特定学习之间的协调，从而降低了系统复杂性并提高了整体性能。

我们在127个UCR基准数据集上评估了我们的方法，它持续优于现有最先进的序列和图像基线。所提出的片段级对比方案在捕捉细粒度和长程模式方面特别有效，为时间序列分类提供了更具表现力和泛化能力的解决方案。

章节摘要

相关工作

本节回顾时间序列分类的先驱研究，将现有工作分为两个主要方向：序列表示学习和基于图像的编码方法。

方法

表1总结了所提出方法中使用的符号。我们提出了一种用于时间序列分类的混合对比学习模型，整合了原始时间序列数据及其通过GADF生成的对应图像表示。如图1所示，整体框架由以下核心组件组成：基于GADF的时间序列编码，使用Transformer和ViT编码器的双流特征提取，用于模态对齐的片段级对比学习，以及

数据描述

为评估TSC性能，我们使用了来自UCR档案[34]的127个数据集，这是一个广泛认可的时间序列分类基准。该档案提供了来自不同领域的归一化时间序列数据，并预定义了训练和测试集划分以确保一致可靠的比较。

这些数据集的复杂度各异，类别数量从2到60不等，时间序列长度差异显著。这种多样性使得综合评估成为可能。

扩展到多变量和不规则时间序列

当前框架在单变量和规则采样的时间序列上进行了评估。扩展到多变量数据需要建模每个变量内的时序依赖关系，以及变量间的相互作用。先前的基于Transformer的研究已展示了在多变量时间序列分类中显式纳入变量级依赖的重要性[38]。沿着这一方向，我们的框架可以为每个变量构建单独的GADF表示

结论

在本研究中，我们提出了一种混合片段级对比学习框架，将基于Transformer的时序表示与基于ViT的GADF表示整合用于时间序列分类。通过显式对齐GADF片段与其对应的时序表示，所提出的方法结合了细粒度的局部对应关系和全局上下文建模，同时保留原始时间序列作为互补的输入模态。

在127个UCR数据集上的实验表明

作者贡献声明

Yohan Kim：初稿撰写，方法论。Younghoon Lee：审阅和编辑，方法论，资金获取。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本研究中报道的工作。

致谢

本工作得到了韩国技术振兴院（KIAT）的支持，由韩国政府（产业通商资源部）资助（编号：RS-2025-02633871，工业AI自动化数据预处理技术开发），并得到了韩国国家研究基金（NRF）的支持，由韩国政府（科学技术信息通信部）资助（编号：RS-2023-00244789）。

作者衷心感谢UCR时间序列分类档案[34]的贡献者提供高质量基准数据集。

Yohan Kim|Younghoon Lee

韩国科学技术院数据科学系，232 Gongneung-ro, Nowon-gu, 首尔, 01811, 大韩民国