该补丁对多变量时间序列分类有效

《Knowledge-Based Systems》：Patch is Effective for Multivariate Time Series Classification

提出基于分块的多元时间序列分类方法PatchMTSC，通过通道混合模块建模变量间关系，分块处理结合混合位置编码的Transformer捕捉局部与全局时空依赖，并利用全连接图整合跨块信息，有效解决长序列分类中的局部与全局信息融合难题，在30个数据集上验证优于现有基线。

　　时间序列分类在现代工程和技术领域中占据着至关重要的地位。随着数据量的增长和应用场景的多样化，对时间序列的处理需求也日益增加。特别是多变量时间序列（Multivariate Time Series, MTS）的分类任务，因其涉及多个相互关联的变量，具有复杂的时序依赖关系和空间交互特性，成为许多领域中的关键问题。在医疗、工业、气象等应用中，多变量时间序列被广泛用于诊断、预测和监控等任务。例如，在医疗领域，患者的健康状况可以通过多种生理指标，如血压、体温和心率等，进行分析和判断；在工业领域，设备的运行状态通常由温度、压力和电流等参数共同决定；而在气象领域，天气变化则依赖于温度、湿度和风速等变量的综合分析。这些应用表明，多变量时间序列分类（Multivariate Time Series Classification, MTSC）在实际问题中具有广泛的适用性和重要性。

然而，MTSC的实现仍然面临诸多挑战。一方面，由于时间序列往往具有较长的长度，如何从这些长序列中提取出具有区分性的特征成为关键难题。另一方面，不同变量之间的关系和时间点之间的依赖性复杂多样，使得模型在处理这些数据时需要兼顾局部信息和全局依赖。此外，如何在不同的时间序列长度下有效进行位置编码，以及如何实现空间和时间信息的融合，都是影响模型性能的重要因素。因此，开发一种既能高效处理长序列，又能准确捕捉特征的MTSC方法成为研究的热点。

为了应对这些挑战，本文提出了一种基于块（patch）的多变量时间序列分类方法（PatchMTSC）。该方法将长序列的特征提取过程分为两个阶段：第一阶段是通道混合（channel-mixing）阶段，用于建模变量之间的相互关系；第二阶段是通道独立（channel-independent）阶段，用于捕捉时间序列中的时空依赖关系。与传统的单一通道混合或通道独立方法相比，PatchMTSC采用了先进行通道混合，再进行通道独立处理的双重策略。在通道混合阶段，使用卷积操作来提取局部特征并建模变量间的相关性。随后，将时间序列分割为多个固定大小的块，以更细致地捕捉局部和全局信息。在通道独立阶段，每个块通过带有混合位置编码（Mixed Positional Encoding, MPE）的Transformer进行处理，从而适应不同块的大小，降低位置编码的复杂性，并提取块之间的特征信息。最终，通过全连接图（Fully Connected Graph, FC Graph）来重建全局信息，实现对长序列中时空依赖关系的建模。此外，引入了一种名为块平均池化（Patch Average Pooling, PAP）的操作，作为全局平均池化（Global Average Pooling, GAP）的替代方案，以减少由重叠块引起的冗余问题。

本文提出的PatchMTSC方法在结构设计和功能实现上具有显著优势。首先，它结合了卷积和Transformer的优势，使得模型既能捕捉局部特征，又能建模全局依赖。其次，通过块分割的方式，将长序列的处理分解为更小的部分，从而提高了模型的可扩展性和处理效率。第三，混合位置编码的引入，使得模型能够灵活适应不同长度的块，同时保持位置信息的准确性。最后，全连接图的使用，使得模型能够有效整合不同块之间的信息，从而实现对长序列中复杂时空关系的建模。这些设计使得PatchMTSC在处理多变量时间序列分类任务时具有更高的准确性和效率。

为了验证PatchMTSC的有效性，本文在30个来自英国东安格利亚大学（University of East Anglia）的基准数据集上进行了广泛的实验。这些数据集涵盖了多个现实世界的应用领域，包括气象数据、金融和经济数据、工业生产数据、生物医学数据以及交通运输数据等。实验结果表明，PatchMTSC在分类准确性和计算效率方面均优于现有的先进方法。此外，通过对比实验，进一步验证了该方法在不同数据集上的泛化能力。实验结果不仅证明了PatchMTSC在处理长序列时的有效性，也展示了其在实际应用中的潜力。

本文的研究方法主要分为以下几个部分：首先，对现有的MTSC方法进行了系统性的回顾，包括基于卷积神经网络（CNN）、基于注意力机制（attention-based）和基于图神经网络（GNN）的方法。其次，详细介绍了PatchMTSC的架构和实现过程，包括卷积层、块分割、混合位置编码、Transformer编码器以及全连接图等模块。第三，描述了实验设计和实施过程，包括数据集的选择、模型的训练和评估方法，以及实验结果的分析。最后，总结了本文的主要贡献，并对研究的未来方向进行了展望。

在实验设计方面，本文采用了多种评估指标，包括分类准确率、计算效率以及模型的泛化能力。为了确保实验的公平性，所有实验均在相同的硬件和软件环境下进行，并且使用了相同的训练和测试集划分方式。此外，为了验证模型的鲁棒性，本文还进行了消融实验，分析了各个模块对模型性能的影响。实验结果表明，通道混合和通道独立的双重策略在提高模型性能方面起到了重要作用，而混合位置编码和全连接图的引入则进一步增强了模型对长序列的处理能力。

在实际应用中，多变量时间序列分类方法对于各种复杂系统具有重要的价值。例如，在工业设备监控中，通过对设备运行参数的实时分析，可以及时发现异常情况，提高设备的运行效率和安全性。在医疗诊断中，多变量时间序列可以用于分析患者的生理指标，从而辅助医生进行疾病诊断和预测。在金融领域，多变量时间序列可以用于分析市场数据，从而预测经济趋势和金融风险。在气象预报中，多变量时间序列可以用于分析天气变化，从而提高天气预测的准确性。因此，开发一种高效且准确的MTSC方法对于实际应用具有重要意义。

本文提出的PatchMTSC方法在理论和实践上均具有创新性。首先，它通过将长序列的处理分解为块，使得模型能够更有效地捕捉局部和全局信息。其次，通过混合位置编码的引入，使得模型能够适应不同长度的块，同时保持位置信息的准确性。第三，通过全连接图的使用，使得模型能够整合不同块之间的信息，从而实现对长序列中复杂时空关系的建模。这些设计使得PatchMTSC在处理多变量时间序列分类任务时具有更高的准确性和效率。

在模型实现方面，本文采用了多种技术手段，包括卷积操作、块分割、混合位置编码和Transformer编码器等。其中，卷积操作用于提取局部特征并建模变量间的相关性，而块分割则用于将长序列分解为更小的部分，以便更细致地处理。混合位置编码的引入，使得模型能够灵活适应不同长度的块，同时保持位置信息的准确性。Transformer编码器的使用，使得模型能够捕捉时间序列中的时序依赖关系，而全连接图的使用则进一步增强了模型对全局信息的建模能力。这些技术手段的结合，使得PatchMTSC在处理多变量时间序列分类任务时具有更高的准确性和效率。

在实验结果方面，本文在30个来自东安格利亚大学的基准数据集上进行了广泛的测试。这些数据集涵盖了多个不同的应用领域，包括气象、金融、工业和生物医学等。实验结果表明，PatchMTSC在分类准确率和计算效率方面均优于现有的先进方法。此外，通过消融实验，进一步验证了各个模块对模型性能的影响。实验结果不仅证明了PatchMTSC在处理长序列时的有效性，也展示了其在实际应用中的潜力。

综上所述，本文提出的PatchMTSC方法在多变量时间序列分类任务中具有显著的优势。它通过将长序列的处理分解为块，结合卷积和Transformer的优势，实现了对局部和全局信息的有效捕捉。混合位置编码的引入，使得模型能够适应不同长度的块，同时保持位置信息的准确性。全连接图的使用，进一步增强了模型对长序列中复杂时空关系的建模能力。这些设计使得PatchMTSC在处理多变量时间序列分类任务时具有更高的准确性和效率，为相关领域的研究和应用提供了新的思路和方法。