基于路径特征的合成少数类过采样方法在不平衡时间序列分类中的应用 Mohnad Abunada, Samir Brahim Belhaouari, Halima Bensmail

《Applied Sciences》：Synthetic Minority Oversampling for Imbalanced Time Series Classification Based on Path Signature Mohnad Abunada, Samir Brahim Belhaouari and Halima Bensmail

　　摘要：不平衡的类别分布会阻碍时间序列分类器的性能，因为它们未能充分代表那些虽然罕见但重要的事件。我们提出了路径签名合成时间序列过采样（PSSTO）方法，这是一种保留数据结构的过采样技术，它在路径签名空间中操作，以合成有信息的少数样本，同时剔除低质量的样本。在12个公共数据集上的测试表明，结合随机森林的PSSTO方法在分类性能上平均优于传统的重采样方法。与这些方法进行的成对Wilcoxon符号秩检验显示出了统计学上的显著提升。与专门针对时间序列的过采样器相比，结合随机森林的PSSTO在F1分数、G均值和AUC指标上表现最佳。这些结果表明，在签名空间中保留数据结构的过采样是一种有效且广泛适用的不平衡时间序列分类解决方案。

1. 引言
下一代测序技术、生物样本库、可穿戴设备、物联网、云计算以及各种数据生成技术的快速发展导致了数据量的激增，为研究提供了丰富的素材。机器学习（ML）方法已在多个领域得到成功应用。然而，当处理不平衡的数据集时，这些方法会遇到挑战——其中一个类别的实例数量明显少于另一个类别的实例数量。例如，ML分类方法需要足够的正面案例或类别分布平衡才能获得可靠的性能。已经注意到，当应用于不平衡的数据集时，ML分类方法往往表现出较低的敏感性[1]，这影响了它们的有效性。为应对这一挑战，人们正在进行大量研究以开发处理不平衡数据集的技术。相关文献中提出了许多方法，这些方法可以大致分为算法级和数据级方法[2]。

算法级方法涉及修改学习算法，例如通过调整损失函数。相反，数据级方法则是旨在创建平衡数据集的预处理步骤。这可以通过增加少数类样本的数量（过采样）、减少多数类样本的数量（欠采样）或两者的结合（混合）来实现。过采样方法的主要优势在于它们能够防止忽略重要样本的风险，这是欠采样方法所面临的问题。此外，数据级方法可以应用于任何学习算法，而算法级方法则是为特定算法设计的。然而，对于专门针对时间序列数据的技术的需求显而易见，因为过去十年开发的大多数方法并不是为此类数据设计的。

不平衡的时间序列数据在许多现实世界场景中很常见。一个关键例子是使用超声引导波的结构健康监测（SHM），长期部署会产生大量的健康信号，而只有少数损坏事件。最近的研究表明，在这种SHM环境中，类别不平衡会降低对罕见事件和异常的检测能力[3]。在传感和模式识别应用中，现代学习架构在电子鼻-based气味检测中的有效性得到了证明[4]，这凸显了需要能够处理复杂且通常不平衡的时间序列数据的稳健方法。这些场景促使人们开发出既能丰富少数时间序列模式又能保持其时间结构的过采样方法。

时间序列是指随时间观察到的有序相关值集合，而传统方法往往未能充分考虑时间序列数据的独特特性。时间序列数据的特性可以概括为三点：数据本身的顺序性、相邻值之间的相关性以及时间序列数据的高维度。合成少数样本过采样技术（SMOTE）[5]是最常用的合成过采样方法之一，被视为文献中许多解决方案的参考基准。当SMOTE应用于时间序列数据时，它使用欧几里得距离来识别相似的时间序列，但这可能不是最适合这种目的的距离[6]。例如，欧几里得距离可能无法捕捉时间序列在形状上的相似性。此外，将时间序列样本表示为欧几里得空间中的单个点忽略了时间序列值的自然顺序。换句话说，如果表格数据集中非时间序列样本的顺序发生变化，它仍然是同一个样本；但如果时间序列样本的顺序被改变，它就变成了另一个时间序列样本。最后，SMOTE中的插值方法没有考虑时间序列中相邻值之间的相关性[7]。

处理不平衡时间序列数据的一种常见技术是使用保留数据结构的机制[7,8,9,10]。这种技术的思想是将原始时间序列数据转换到一个保留其特性的空间中，然后在新生成的样本在保留结构的空间中经过评估，以确定它们是否符合特定标准才能被接受为新样本。然而，这些方法存在三个限制。首先，保留结构机制只是部分用于指导新样本的创建过程[7,8,10]，这是一个主要限制，因为满足保留结构空间中的标准并不保证在原始空间中也满足这些标准。其次，在完全利用保留结构空间的情况下[9]，无法将新生成的样本转换回原始空间。第三，这些方法对少数类样本赋予了统一的重要性[7,9]，尽管多项研究表明并非所有少数类样本都需要过采样，而且过度采样这些样本可能会降低性能[11]。

为了缓解这些限制，我们提出了路径签名合成时间序列过采样（PSSTO）方法。顾名思义，PSSTO依赖于路径签名[12]空间来保留时间序列数据的特性。与大多数现有的保留结构的方法不同，PSSTO在签名空间中生成新样本，并且训练和测试都在这个空间中进行。路径签名是一种用于序列数据（如时间序列）的建模工具，具有以下特性：它可以捕捉线性和非线性交互作用，将不同长度的时间序列编码为固定长度的签名，并且对重新参数化和平移具有不变性（关于路径签名的更多细节见第3节）。据作者所知，这是路径签名在不平衡学习背景下的首次应用。此外，我们还引入了链内距离（ICD）来评估过采样少数样本的合理性。ICD的核心概念是使用样本在签名空间中的周围样本来表征每个样本。

本研究的主要贡献总结如下：
- 我们使用路径签名空间作为保留结构的空间，这是路径签名在此背景下的首次应用。
- 新样本的生成、训练和测试都在保留结构的空间中进行，这与大多数仅使用保留结构空间来指导生成过程的方法不同。
- 我们提出了一种基于时间和梯度的新的路径签名转换方法，以在计算签名之前生成多维时间序列。
- 我们提出了ICD来评估过采样少数样本的合理性。
- 提出的PSSTO方法使用公开可用的数据集进行了评估，并与常用的和最先进的过采样方法进行了比较。

本文的其余部分组织如下：第2节回顾了与类别不平衡分类相关的工作和初步知识。第3节介绍了签名方法。第4节详细介绍了提出的PSSTO方法，包括链内距离（ICD）、链构建和签名空间中的过采样规则。第5节展示了在12个数据集上的实验设置和结果，包括消融研究和Wilcoxon符号秩检验。第6节总结了研究的局限性和未来工作的方向。

2. 相关工作
尽管传统的过采样方法并非专门为时间序列设计，但它们构成了处理不平衡数据的基础。开创性的SMOTE算法[5]通过在一个样本及其k个最近邻居之间插值来生成合成少数样本。然而，SMOTE的核心限制在于它无法考虑整体数据分布，这通常会导致多数类区域中出现噪声样本。这激发了许多变体，包括针对类别边界附近样本的Borderline-SMOTE[11]、根据局部密度调整采样的ADASYN[13]，以及应用后处理来去除噪声的SMOTE-Tomek[14]和SMOTE-ENN[15]。虽然这些传统方法对许多表格数据问题有效，但它们可能无法完全捕捉时间序列数据中的时间依赖性，从而导致性能不佳。

除了传统的过采样方法之外，最近的深度学习方法还使用学习到的潜在模型或生成模型来生成合成少数样本。DeepSMOTE结合了自动编码器和潜在空间中的SMOTE来生成高质量图像[16]。基于GAN的过采样器，如BM–WGAN，使用条件Wasserstein GAN和辅助分类器损失来建模表格数据的少数类分布[17]。TabDDPM是一种用于表格数据的去噪扩散模型，可以用来创建平衡的合成数据集[18]，而Imb–FinDiff是一种专门为解决金融表格数据中的类别不平衡而设计的条件扩散框架[19]。这些深度生成方法为数据增强和不平衡缓解提供了补充方向，但通常需要特定于数据集的架构和训练流程。它们通常是为图像或表格数据设计的，因此直接应用于单变量时间序列并不容易。

2.1. 专门针对时间序列的方法
保留结构过采样（SPO）[7]是最早专门针对时间序列的方法之一，其提出基于SMOTE及其变体在生成少数类样本时的随机性不适合时间序列数据集，因为时间序列数据的高维性和相邻变量之间的高相关性。SPO通过生成明确保留少数类结构模式的合成样本来解决这个问题。所提出的方法在特征分解的子空间内生成新的少数类样本，其中数据使用多变量高斯分布进行建模。从该分布中抽取的候选样本根据两个标准被接受：（1）它们与原始数据集的距离必须在指定范围内；（2）它们必须比最近的多数类样本更接近至少一个少数类样本。在五个数据集上的评估表明，该方法在大多数情况下比传统的基于SMOTE的方法具有更高的G均值。

集成过采样（INOS）[8]方法旨在扩展保留结构空间的用途，超越了它在SPO中的有限作用。INOS在这个空间内同时进行样本生成和清洗，然后将结果映射回原始数据。它采用了一种双策略生成阶段：（1）增强型结构保持过采样（ESPO），使用多变量高斯分布来保持协方差；（2）ADASYN，使用类似于SMOTE的插值。这种混合方法弥补了ESPO可能缺乏接近原始少数类样本的优点。在七个数据集上的评估表明，INOS在G均值上优于SPO和其他传统方法。

为了解决SPO和INOS在处理长时间序列时的可扩展性问题，引入了基于模型的过采样（MBO）[9]。MBO利用RNN学习数据表示，并在保持相似性的核化空间中进行SMOTE，从而减少了协方差计算的开销。尽管如此，MBO在G均值和AUC指标上均优于INOS，无论是在合成数据集还是公共数据集上都是如此。

随后，OHIT[10]被提出来解决高维数据中不可靠的协方差问题，并利用集成方法。它对少数类样本进行聚类，使用收缩技术进行稳健的协方差估计，并在每个簇内生成样本。还开发了OHITBoost的集成版本。其限制在于它假设协方差服从正态分布，而这通常不成立。尽管如此，OHITBoost在F1分数、G均值和AUC指标上均优于所有现有方法。

与之前的方法不同，T-SMOTE[20]在不使用保留结构空间的情况下生成合成时间序列。相反，它创建具有不同“起始时间”的候选样本，并在它们之间进行插值，然后根据少数类的可能性使用加权采样方案。一个关键限制是它生成的样本比原始数据短。尽管如此，它在十个数据集上的表现与其他专门针对时间序列的方法相当。

另外，还设计了一种混合采样方法[21]来增强不平衡时间序列的bagging模型。它通过欠采样多数类样本和过采样少数类样本到原始多数类的大小来创建多个平衡的bootstrap数据集。这种方法在五个测试数据集中的三个上提高了G-Mean值。2.2. 时间序列特定过采样方法的比较分析前一节中回顾的时间序列特定过采样方法都有一个共同的目标，即在类别不平衡的情况下提高分类性能。然而，它们通过不同的设计选择来实现这一目标。为了明确这些差异并获得一个统一的视角，我们根据以下问题序列对它们进行比较。(Q1)：该方法是否与分类模型无关？(Q2)：是否使用了保持结构的空间？(Q3)：是否使用保持结构的空间来指导新样本的合成？(Q4)：新样本的合成是否在保持结构的空间中进行？(Q5)：训练和测试是否在保持结构的空间中进行？(Q6)：是否有办法将样本转换回原始时间序列空间？(Q7)：是否对多数类样本进行了剪枝？(Q8)：是否对少数类样本进行了剪枝？(Q9)：是否考虑了样本在原始空间中的空间分布？(Q10)：生成的合成样本的长度是否与原始时间序列样本相同？(Q11)：该方法实现了哪种采样策略（(O) 过采样、(U) 降采样或 (H) 混合采样）？比较结果如表1所示。表1. 时间序列特定方法之间的比较。Y（是），N（否），N/A（不适用）。首先，从表1可以看出，大多数这些方法都与分类模型无关。它们生成的训练数据集是平衡的，可以用于任何下游分类器。另一方面，MBO与核空间分类器相关联，Hybrid Sampling与决策树相关联，OHITBoost将过采样与提升算法结合使用。其次，可以看出大多数方法都使用了保持结构的空间。SPO和INOS通过协方差矩阵的特征分解构建了保持结构的空间。此外，合成后的少数类样本是在这个转换空间中生成的，然后映射回原始域。保持结构的空间作为一个临时工作空间，用于规范协方差结构并控制少数类分布的形状。MBO定义了一个核特征空间，在该空间内进行过采样，并且也直接在该空间中训练和测试分类器。然而，它没有提供逆映射来重构时间序列。OHIT和OHITBoost通过创建多个迷你保持结构空间来保持局部结构。每个空间都是通过将高斯模型拟合到簇内的样本来创建的。然后使用这些空间来指导从少数类合成新样本。T-SMOTE和Hybrid Sampling不使用保持结构的空间；相反，它们直接在原始时间序列域中操作。剪枝行为和底层的采样策略是时间序列特定重采样方法之间的另一个重要区别（Q7、Q8、Q11），这也解释了为什么我们关注过采样而不是降采样或混合方案。SPO包含了可能移除新生成的合成样本的清洗机制。INOS在训练前使用噪声链接来剪除多数类和少数类中的样本。OHIT和OHITBoost依赖于共享最近邻聚类来识别密集的少数类模式，并剪除不属于任何簇的少数类样本。T-SMOTE利用分类器得分来消除靠近决策边界的低分少数类候选样本。相比之下，Hybrid Sampling和MBO不应用任何显式的剪枝机制。从采样策略的角度来看（Q11），SPO、INOS、MBO、OHIT、OHITBoost和T-SMOTE都是过采样方法，它们丰富了少数类样本，而没有系统地移除多数类样本。另一方面，Hybrid Sampling是唯一真正结合了少数类的随机过采样和多数类的降采样的混合方法。这种偏向过采样策略主要是为了避免降采样策略的缺点。具体来说，降采样可能会丢弃重要样本，从而导致多数类欠拟合[22]。相比之下，具有结构意识的过采样可以在保留多数类中的多样性和边界信息的同时增加少数类的支持。这些差异揭示了当前时间序列特定过采样领域的一些空白。只有SPO和INOS结合了可逆的保持结构空间和考虑样本分布的合成过程。然而，保持结构空间仅用作训练和测试的中间空间，而不是最终特征空间。MBO完全在核特征空间中操作，但牺牲了可逆性。OHIT和OHITBoost的协方差估计可能对高维协方差估计敏感。T-SMOTE生成的合成样本长度比原始样本短。这些观察结果激发了引入路径签名合成时间序列过采样（PSSTO）框架的动机。3. 路径签名路径签名最初是为平滑路径引入的[23]，后来由Lyons等人[24]扩展到粗糙路径。本节提供了路径签名的实际描述。首先，我们将其作为我们方法论中的保持结构空间的动机进行说明。3.1. 动机为了说明签名方法的作用，考虑来自UCR Symbols数据集[25]的四个样本（图1），每个样本代表手绘符号随时间的x坐标。图1a显示了同一类的两个样本，而图1b显示了不同类的两个样本。它们对应的四阶路径签名在图2中展示。从机器学习的角度来看，有效的表示应该最小化类内距离并最大化类间距离。使用欧几里得距离比较原始数据和签名表示可以看出，对于图1a中的同类样本，距离从5.7（原始）减少到签名空间中的0.20（图2a）。相反，对于图1b中的不同类样本，距离从3.3（原始）增加到签名空间中的5.8（图2b）。这些结果表明，签名方法产生了更具区分性的表示，增强了机器学习算法的特征分离能力。因此，这种动机是对签名空间中轨迹的定性说明，而在第5.6节的消融研究中定量评估了类别可分性的改进程度。图1. 来自Symbols数据集（UCR档案）的原始时间序列示例：(a) 同类的两个样本；(b) 不同类的两个样本。每个轨迹显示了绘制符号时记录的x坐标。在原始欧几里得空间中，同类序列可能看起来相距很远（距离=5.7），而不同类序列相对较近（距离=3.3），这激发了需要一种更好地尊重时间结构的表示方法。图2. 图1中显示的相同四个样本的路径签名（四阶）表示：(a) 同类的两个样本；(b) 不同类的两个样本。在签名空间中，同类样本靠得更近（距离=0.20），不同类样本相距更远（距离=5.8），表明了学习中的类别可分性得到了改进。路径签名也与流行的时间序列特征提取器和表示学习方法不同。特征库如TSFresh[26]和Catch22[27]通过计算窗口或整个序列上的数百个统计、频率和自相关描述符来总结序列，而符号和形状let方法如SAX[28]、BOSS[29]和形状let变换[30]则关注局部模式或离散化段。尽管这些特征表示可能很强大，但它们没有以数学上受控的方式保留路径几何形状。对于特征库，欧几里得距离操作的是异构统计量，其与轨迹相似性的联系是间接的。对于符号和形状let方法，相似性是根据单词或子序列匹配来定义的，而不是整个连续路径。相比之下，路径签名是一种系统地捕获序列的增量、有符号区域和更高阶迭代积分的变换。它还产生了一个具有明确代数结构的固定长度向量。因此，签名之间的距离和直线插值更接近原始时间序列中的有意义变化，PSSTO通过在这个保持结构空间中直接生成类似SMOTE的合成少数类样本来利用这一点。3.2. 定义签名系数：设 是定义在区间 上的d维参数曲线或路径，其维度由 表示，其中每个 对于任何 都是在区间 上定义的参数曲线。设 是长度为k的多索引。那么，索引I上的签名的k阶系数由 下定义 (1) 然后 称为在索引I上 的k重迭代积分，积分限对应于在单纯形上的积分。签名： 在 上的签名是包含所有可能系数的无限序列，表示为 (2) 的k阶签名包含所有小于或等于k的系数，表示为 (3) 3.3. 属性需要注意的是，对于两条路径 和 ，它们的签名 相等并不保证 ，这意味着在签名空间中丢失了信息。因此，以下两个属性讨论了签名的唯一性条件，而后续属性讨论了其他重要特性。这些属性总结了[31]中的工作。平移不变性：签名的一个基本属性是其平移不变性。这意味着如果一条路径是另一条路径的平移，则两条路径将具有相同的签名。重新参数化不变性：签名在时间重新参数化下是不变的，这意味着无论路径以何种速度遍历，它都保持不变。值得注意的是，从机器学习的角度来看，平移不变性和重新参数化不变性都可以根据应用被视为优点或缺点。固定长度：这个属性对于从离散数据（如时间序列）计算签名特别相关。一个关键优势是签名系数的数量是固定的，不依赖于原始时间序列的长度。这个数量仅取决于签名的阶数和路径的维度。3.4. 几何解释为了理解二阶签名系数的几何解释，考虑图3中的二维曲线。一阶系数表示沿每个维度的净位移。二阶系数对应于曲线扫过的有符号区域；具体来说， 和 分别表示曲线投影到每个坐标平面下的区域，如图3a所示。这些系数可以用来计算Lévy面积，即曲线与其端点连接的弦之间的有符号区域，如图3b所示： (4) 图3. 签名系数的几何解释（二阶）：(a) 一阶项是每个维度上的增量，二阶项对应于曲线下的区域；(b) Lévy面积（曲线与其端点连接的弦之间的有符号区域）。3.5. 变换在计算签名之前，对原始数据应用变换步骤，每个步骤都有特定的目的。为了简单起见，我们假设原始数据是一维时间序列 ，带有相应的时间戳。下面，我们介绍几种常见的变换。AddTime变换：AddTime变换[32]将时间作为一个额外的维度纳入： (5) 这种变换使签名对路径的参数化敏感，有效地打破了时间重新参数化的不变性。Lead-Lag变换：Lead-Lag变换[33]通过加入滞后值来增强路径，有效地将其维度翻倍。这种变换主要用于捕捉原始时间序列的波动性和时间动态[34]： (6) 4. 提出的PSSTOPSSTO框架包括四个关键阶段：(1) 将样本转换到签名空间；(2) 选择值得过采样的少数类样本；(3) 移除可能降低分类性能的样本；(4) 直接在签名空间生成合成样本。第4.1节介绍了一种新的路径签名变换用于初始映射。第4.2节介绍了Intra-Chain Distance (ICD)，这是一种新的度量，用于量化样本周围的密度，并作为PSSTO过采样适用性的标准。第4.3节详细介绍了基于ICD的少数类样本选择方法。第4.4节描述了样本移除过程，而第4.5节介绍了签名空间中的两阶段过采样技术。最后，第4.6节讨论了将样本映射回原始空间的算法。PSSTO的概述见图4和算法1。算法1 PSSTO：路径签名合成时间序列过采样
要求：
训练集，（1 = 少数类）；签名深度M；链长度；修剪比率V；分类器h
确保：
训练有素的分类器和过采样的签名集

步骤1：每个序列的签名（GradientTime + 签名）
???
第4.11节：对于到N执行
2：
3：
????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????在实践中，M被选为一个较小的常数（），并且不会随N的增长而增长，因此它作为一个常数的乘法开销，而不是导致通常意义上的指数时间行为。5. 实验研究本节评估了PSSTO的参数、去除方法和分类器选择的影响，并展示了将其性能与传统的和特定于时间序列的过采样方法进行比较的实验。5.1. 数据集我们在UCR档案中的12个不平衡时间序列数据集上评估了所提出的解决方案，详细信息见表2。为了确保与现有方法的公平比较，我们遵循了[10]中建立的实验设置。在这项研究中，实验仅限于单变量、二元、不平衡的时间序列分类问题，重点分析PSSTO的核心组件。对多变量和多类任务的系统评估留作未来的工作。表2. 实验中使用的数据集摘要。正样本数量（Pos）、负样本数量（Neg）和不平衡比率（IR）。5.2. 评估指标虽然预测准确性是一个标准的分类指标，但对于不平衡数据来说它是误导性的，因为它可能仅通过正确分类多数类而被夸大[39]。因此，本研究采用了三个对类别不平衡具有鲁棒性的指标：G-mean [40]：敏感性和特异性的几何平均值，评估两个类别的平衡性能；F1分数 [41]：精确度和召回率的调和平均值，平衡假阳性和假阴性；AUC [42]：接收者操作特征曲线下的面积，测量所有分类阈值下的性能，与上述固定阈值指标不同。5.3. 签名顺序、链长度和V的影响我们分析了PSSTO的三个关键参数——签名顺序、链长度（CL）和排除百分比V——对链内距离（ICD）和分类性能（G-mean）的影响。实验在三个UCR数据集（Yoga、TwoPatterns、Strawberry）上进行，签名顺序从3到7，CL从3到5，V值分别为10%、20%和30%。图5展示了不同参数配置下的G-mean。对于TwoPatterns，随着V值的增加，G-mean有所提高，这表明在我们的实验中，排除低ICD样本的数量越多，性能越好。对于Strawberry和Yoga，G-mean相对稳定，表明样本去除的影响很小。然而，过度去除低ICD样本会导致信息丢失，从而妨碍分类模型区分类别的能力。对于TwoPatterns和Yoga，更高的链长度会产生更高的G-mean，尽管Yoga表现出一些波动。更高的签名顺序在所有数据集中一致地提高了性能，表明更丰富的签名表示在我们的实验中更好地区分了类别链。图5. 使用PSSTO和随机森林（签名顺序{3–7}、CL {3–5}、V {10%、20%、30%）时，签名顺序、链长度（CL）和V对三个UCR数据集（Yoga、TwoPatterns、Strawberry）的G-Mean的影响。V是从多数类中移除的具有最低链内距离（ICD）的训练样本的百分比；CL是用于构建正/负链以计算ICD的最近邻居步骤的数量。在各种设置中，更高的签名顺序一致地导致了G-Mean的增加，特别是对于TwoPatterns和Yoga数据集。通常，CL的增加也有积极的贡献，尽管在Yoga数据集上观察到的增益有所波动。此外，较大的V值提高了TwoPatterns的性能，而在Strawberry和Yoga数据集上只有轻微的影响。表3总结了图5中每个超参数配置下三个数据集的平均G-mean。当链长度在3到5之间变化时，平均G-mean保持在0.75左右，设置之间的差异很小，表明PSSTO对我们的实验中的这个参数相对稳健。对于修剪比率V，最佳的平均G-mean是在（0.759）时获得的，随着V增加到0.2和0.3，平均G-mean逐渐下降，这与直觉一致，即过度去除低ICD样本可能导致信息丢失，从而妨碍分类器区分类别的能力。签名顺序的影响最强。平均G-mean从第3顺序的0.662单调增加到第7顺序的0.792。这些汇总统计支持了图5中观察到的定性趋势，并证明了我们的默认配置（签名顺序8，链长度3）在性能和复杂性之间的合理权衡。表3. 当一次改变一个超参数（链长度、V和签名顺序）时，图5中三个数据集的平均G-mean。图6显示了每个类别100个样本的ICD分布。增加链长度会扩大ICD分布，同时增加高和低ICD值。更高的签名顺序将分布向右移动，表明正负链之间的区分能力增强，这与观察到的性能改进相关。图6. 签名顺序和链长度对三个UCR数据集（Yoga、TwoPatterns、Strawberry）的ICD（链内距离）分布的影响。对于每个设置，我们在变化签名顺序（3–7）和链长度（3–5）的同时，绘制了每个类别100个样本的ICD。ICD是样本的正链签名和负链签名在路径签名空间中的欧几里得距离。增加链长度会扩大ICD分布（更多非常低和非常高的值），而更高的签名顺序将分布向右移动。更高的签名顺序可靠地提高了区分能力（更多大的ICD案例），而链长度主要控制分散。5.4. 分类算法的选择作为一种数据级方法，PSSTO与任何分类算法兼容。我们使用三种常见的分类器评估其性能：支持向量机（SVM，线性核）、K最近邻（KNN）和随机森林（RF）。这种选择是基于研究表明SVM和KNN从过采样中显著受益[43]，而路径签名与RF有效配对[38]。实验将PSSTO（签名顺序8，链长度3）应用于五个UCR数据集：Yoga、Herring、Strawberry、PhalangesOutlinesCorrect和Lightning2。性能使用F1、G-mean和AUC进行评估，结果按数据集的平均排名汇总。如图7所示，PSSTO在所有评估指标上与随机森林的表现最好，其次是KNN，SVM的表现最差。这证实了基于树的集成方法（如RF）特别适合从签名转换后的数据中学习。图7. 在五个UCR数据集（Yoga、Herring、Strawberry、PhalangesOutlinesCorrect、Lightning2）上应用PSSTO后，三种基础分类器的平均排名（排名越低越好）：K最近邻（K = 5）、支持向量机（SVM，线性核）和随机森林（RF）。设置：签名顺序=8，链长度=3，V=10%；指标：F1、G-mean、AUC。PSSTO与RF在所有指标上的表现最好，其次是KNN，SVM的表现最差。5.5. 不同去除方法的分析PSSTO的默认行为是从训练数据中移除来自多数类的V百分比的ICD最低的样本。在这个实验中，我们研究了其他去除选项的影响。这个实验将PSSTO应用于之前实验中相同五个数据集的训练样本。然后，我们使用以下去除方法用RF对测试样本进行分类。无去除：没有从少数类中移除任何样本，也没有从多数类中移除任何样本。少数类：仅从少数类中移除样本。多数类：仅从多数类中移除样本。少数类和多数类：从多数类和少数类中移除样本。然后使用F1、G-mean和AUC评估指标来衡量性能。最后，我们计算每种去除方法在每个数据集上每个评估指标中的平均排名（排名越低表示性能越好）。结果显示在图8中。显然，仅从多数类中移除ICD低的样本或从少数类和多数类中都移除样本可以提高F1和G-Mean的性能。此外，仅从多数类中移除ICD低的样本在F1和G-Mean上获得了最佳性能。最后，仅从少数类中移除ICD低的样本在F1和G-Mean上获得了最低的平均排名。图8. 使用RF在五个UCR数据集（Yoga、Herring、Strawberry、PhalangesOutlinesCorrect、Lightning2）上四种去除选项的平均排名（排名越低越好）：无去除；仅移除少数类；仅移除多数类；同时移除两个类。指标：F1、G-mean、AUC。从多数类（或两个类）中移除ICD低的样本可以提高F1和G-mean，与不去除相比效果最好。5.6. PSSTO组件的贡献为了评估PSSTO每个组件的贡献，我们在所有12个数据集上进行了消融研究，将整个方法（签名顺序：8，链长度：3，V：10%）与四种消融变体进行了比较。没有GradientTime的PSSTO：将GradientTime转换替换为标准的AddTime转换，而所有其他组件保持不变。没有ICD的PSSTO：不使用ICD指标，并禁用相关组件。换句话说，保留所有多数类样本，并对所有少数类样本进行过采样。没有签名过采样：在原始空间中使用SMOTE进行过采样。表4显示，完整的PSSTO（RF）配置在所有数据集上实现了最高的平均F1（0.753）、G-mean（0.818）和AUC（0.895）。移除GradientTime转换并恢复到AddTime会导致所有指标的明显下降（F1分数从0.753降至0.708，G-mean从0.818降至0.779，AUC从0.895降至0.879）。这表明GradientTime为过采样提供了更有效的路径表示。禁用ICD及其相关组件也会降低性能（F1 = 0.734，G-mean = 0.799，AUC = 0.883）。这证实了利用ICD指标及其相关组件的好处。当过采样回到原始空间并使用SMOTE进行时，性能下降最大（F1 = 0.686，G-mean = 0.750，AUC = 0.867），这显示了直接在签名空间中进行过采样的重要性。表4. PSSTO组件的贡献：所有数据集上的平均F1、G-mean和AUC。5.7. 与传统方法的比较这个实验将PSSTO与三种常用的传统方法进行了比较。这些方法是ADASYN [13]、Random SMOTE [44]和K-means SMOTE [45]。因为KNN从传统方法中受益最多，而PSSTO与RF配合得最好，所以我们选择KNN（k = 5）和RF作为基础分类器。使用F1、G-mean和AUC来评估这些方法的性能。由于这些方法的随机性，我们重复了实验三次并报告了平均值。PSSTO的参数如下：签名顺序固定为8，链长度固定为3，V的值固定为10%。我们使用SMOTE Variants [46]库进行其余方法的处理，并根据[47]中的建议设置参数。表5展示了所提出的PSSTO方法与传统过采样方法（包括Random SMOTE、ADASYN和K-Means SMOTE）的比较，使用KNN和RF分类器。结果清楚地表明，PSSTO（RF）在F1 = 0.753、G-mean = 0.818和AUC = 0.895的情况下获得了最高的平均分数，证明了其在处理时间序列数据中的鲁棒性和优越的能力。显著的性能提升可以归因于将时间序列转换为路径签名空间以及由链内距离（ICD）指导的选择性过采样，这有助于保留时间依赖性并抑制合成数据中的噪声。表5. 比较PSSTO与传统方法的结果。每个数据集的最佳结果用粗体表示。Wilcoxon符号秩检验的结果在表6中确认了这些改进的统计显著性，其中PSSTO（RF）在所有指标上的p值低于0.10。最强的统计差异出现在G-mean指标上，证实PSSTO（RF）在分类平衡和整体区分能力方面提供了有意义和一致的改进。表6. PSSTO（RF）与其他方法之间的Wilcoxon符号秩检验的p值。p值< 0.10用粗体表示。5.8.与时间序列特定方法的比较
本实验将PSSTO与三种最先进的时间序列特定过采样方法进行对比：INOS [8]、OHIT和OHITBoost [10]。性能评估使用F1分数、G-mean和AUC值。PSSTO的参数固定（签名顺序：8，链长度：3，V：10%）。表7展示了在十二个UCR数据集上的结果，并将PSSTO与[10]中发布的INOS、OHIT和OHITBoost的结果进行了比较。所有数据集中每种方法的平均排名显示在图9中。PSSTO（RF）在所有指标上获得了最低或可比的平均排名。使用随机森林分类器时，PSSTO取得了最高的平均分数（F1 = 0.753，G-mean = 0.818，AUC = 0.895），超过了之前的最佳方法OHITBoost（0.692，0.763，0.874）。值得注意的是，PSSTO在像TwoPatterns和Wafer这样的具有挑战性的数据集上实现了完美或接近完美的区分能力（AUC = 1.000），证明了其在不同不平衡比和时间结构下的鲁棒性。这些结果突显了将路径签名表示与ICD引导的过采样相结合的优势，能够在有效平衡类别的同时保持时间结构。

表7. PSSTO与时间序列特定方法比较的结果。表现最佳的数据集以粗体显示。
图9. 在12个数据集中，PSSTO与时间序列特定过采样器（INOS、OHIT、OHITBoost）的平均排名（排名越低越好）；设置：签名顺序 = 8，链长度 = 3，V = 10%；指标：F1、G-mean、AUC。PSSTO（RF）在F1和G-mean上获得了最佳的平均排名，并在AUC上与OHITBoost相当。这些实证发现与第2.2节中的概念性差异一致。INOS通过协方差矩阵的特征分解构建了一个保持线性结构的空间，并使用该空间作为过采样的中间域，然后再返回到原始时间序列域，而OHIT和OHITBoost则依赖于簇周围的局部高斯模型来指导过采样和剪枝。然而，这些方法都没有直接在保持全局结构的空间中进行过采样和分类。相比之下，PSSTO利用GradientTime签名表示作为全局的、保持结构的空间，通过签名空间中的ICD来识别分离良好的少数样本和模糊的多数样本，然后完全在这个空间内进行两阶段过采样程序。

第5.6节的消融研究进一步阐明了PSSTO的哪些组成部分与相对于INOS、OHIT和OHITBoost的改进相关。单独移除GradientTime变换、禁用ICD或将过采样恢复到原始空间（通过SMOTE）都会导致F1、G-mean和AUC的平均值显著下降。与现有时间序列特定方法的比较以及消融结果表明，正是（i）全局的、保持结构的签名空间，（ii）ICD引导的选择和多数样本剪枝，以及（iii）围绕高ICD少数样本的两阶段过采样，共同促成了PSSTO在我们的实验中的更强性能。

6. 结论
本文介绍了路径签名合成时间序列过采样（PSSTO）框架，这是一种在路径签名空间中进行结构保持过采样的新方法。PSSTO通过基于签名的生成同时丰富少数类，并使用提出的链内距离（ICD）度量来剪除低信息量的多数样本。在12个公共数据集上的评估表明，PSSTO与随机森林分类器结合使用时，与传统过采样器相比，在统计上取得了显著改进，并且在F1和G-mean方面获得了更高的平均值和更低的平均排名。这些结果证实，利用路径签名作为保持结构的空间为不平衡时间序列分类提供了一个强大且可泛化的解决方案。

局限性：本文承认了三个主要局限性。首先，PSSTO在其合成步骤中表现出随机性，导致运行间的差异，我们通过多次运行平均来缓解这一问题。其次，当前的实现是为单变量时间序列设计的；将其扩展到多变量数据仍然是一个未解决的挑战。第三，该框架是为二元分类制定的，需要针对多类问题进行适应。未来的工作将集中在（1）开发确定性合成以最小化性能差异，（2）使用多通道签名表示将PSSTO推广到多变量时间序列，以及（3）创建具有类感知的链构建和剪枝机制的原生多类变体。

在这项工作中，PSSTO仅应用于公共基准数据集。然而，在医疗保健、金融或关键基础设施等敏感领域，数据的合成生成引发了伦理考虑，因为隐私、同意和下游影响等问题至关重要[48]。合成样本不应被视为真实观测值，其使用必须遵守现有的隐私约束、数据使用协议和监管要求，这与当前关于合成数据负责任使用的讨论一致[49]。此外，过采样应与领域专家合作设计和验证，以确保它不会扭曲罕见但至关重要的模式或在下游决策中引入系统性偏差。