基于制造数据的时序特征提取Python工具包基准评测：计算开销与下游分类性能的联合分析

《Expert Systems with Applications》：Benchmarking Python-packages for time series feature extraction on manufacturing data

　　

摘要专业翻译 从时间序列数据中提取特征是时间序列分析中的关键步骤。由于文献中定义了数百种特征，过去十年间已开发出多种能够自动提取特征集的Python工具包。近期已发表多项比较研究，利用小规模或合成数据集突出了计算差异并分析了所提取的特征集。本文在四个真实世界制造数据集上对六个用于自动特征提取的Python工具包——tsfresh、TSFEL、seglearn、pycatch22、tsfeatures和Kats——进行了基准评测，联合评估了计算开销与下游分类性能。研究人员在单线程和多线程提取场景下测量了计算工作量、峰值内存使用量和运行时间。下游性能在五种分类器设置下进行评估：四种固定分类器（随机森林Random Forest、XGBoost、逻辑回归logistic regression和支持向量机SVM），均采用无搜索的默认参数，以及将TPOT作为自动化机器学习（AutoML）场景。结果表明，各工具包在计算成本上差异显著，其中seglearn在资源预算紧张的情况下表现出最优的综合性能，而TSFEL在支持多线程的工具包中实现了最低的计算开销，但代价是在更复杂数据集上的预测可靠性有所降低。混合效应分析揭示，在所有五种分类器设置中，工具包对平衡准确率（balanced accuracy）存在统计学上显著的影响，将表现强劲的第一梯队（tsfresh efficient、seglearn和pycatch22）与表现较弱的TSFEL子集区分开来。基于这些发现，研究人员得出了面向实践者的建议：在资源受限场景下默认使用seglearn；当需要更广泛的特征覆盖时选用tsfresh efficient；当特征紧凑性和可解释性重要时选用pycatch22；当提取成本是主导约束且可接受一定预测性能下降时选用TSFEL。

论文解读文章

一、研究背景与问题提出

时间序列数据是按时间顺序记录的测量值，广泛存在于制造、能源、医疗、电信和金融等领域。随着各行业对数据驱动方法的依赖日益加深，时间序列分析方法的普及度迅速增长。尽管端到端深度学习模型可以直接从原始时间序列中学习，但特征提取在提升数据效率、鲁棒性和可解释性方面仍具有重要作用，尤其是在使用“经典”机器学习模型时。通过识别和量化能够捕捉数据底层模式的相关特征，可以实现强预测性能，从而支持状态监测、异常检测或质量预测等任务。

文献中定义了数百种可从时间序列中提取的特征，涵盖统计、时域、频域和分形特征等类别。由于潜在特征数量庞大，过去十年间涌现了大量软件工具，每种工具提取不同的特征集。其中较为知名的包括hctsa（Matlab工具包）、tsfresh（Python工具包）和tsfeatures（R工具包）。这些工具包在提取的特征数量以及提取这些特征所需的计算开销方面存在差异。

近年来，已有基准研究在广泛的跨领域数据集或合成数据上对自动时间序列特征提取工具包进行了比较。这些研究为运行时间、内存使用、特征冗余和特征重叠提供了有价值的见解。然而，它们未能回答工业部署中的一个核心问题：在真实制造数据上，所提取的特征集是否也能带来有竞争力的下游预测性能。这一局限性具有实际意义，因为制造时间序列在异质性、采样率、噪声特征、过程惯性和运行约束等方面与通用基准语料库存在差异。因此，来自广域或合成基准的结论不能假定可直接迁移到制造状态监测任务中。

据研究人员所知，尚无研究在真实世界制造数据集上系统性地对可直接使用的Python自动时间序列特征提取工具包进行基准评测，同时联合评估计算开销和下游分类性能。为填补这一空白，本文在四个真实世界制造状态监测数据集上对六个开源Python工具包进行了基准评测。

二、研究内容与主要结论

本文的主要贡献包括四个方面。第一，领域特定基准：在真实世界制造数据集上评估可直接使用的开源Python特征提取工具包，将先前的基准研究扩展到广域和合成时间序列设置之外。第二，计算与预测性能的联合评估：不仅比较各工具包在特征提取过程中的运行时间、CPU相关计算需求和峰值内存使用量，还比较在统一评估协议下使用所提取特征集实现的下游分类性能。第三，实际部署场景下的权衡分析：分析在单线程和多线程场景中特征集广度与计算成本和预测效用之间的关系。第四，面向实践者的指导：基于基准结果，为在不同工业约束条件下选择特征提取工具包提供建议。

研究结果显示，各工具包在计算成本上差异显著。seglearn在资源预算紧张的情况下提供了最优的综合性能表现，而TSFEL在支持多线程的工具包中实现了最低的计算开销，但代价是在更复杂数据集上的预测可靠性有所降低。混合效应分析表明，在所有五种分类器设置中，工具包对平衡准确率存在统计学上显著的影响，将表现强劲的第一梯队（tsfresh efficient、seglearn和pycatch22）与表现较弱的TSFEL子集区分开来。

三、关键技术与方法

研究人员采用了以下主要技术方法。研究使用了四个真实世界制造状态监测数据集，这些数据集涵盖不同的传感器通道数、采样率和类别标签。六个被评测的Python工具包包括tsfresh、TSFEL、seglearn、pycatch22、tsfeatures和Kats。计算开销的测量在单线程和多线程两种场景下进行，记录了计算工作量、峰值内存使用量和运行时间。下游性能评估采用了五种分类器设置：随机森林、XGBoost、逻辑回归和支持向量机四种固定分类器（均使用无搜索的默认参数），以及TPOT作为自动化机器学习场景。统计分析采用混合效应模型来检验工具包对平衡准确率的显著性影响。

四、研究结果

计算开销比较：各工具包在运行时间、峰值内存使用量和计算工作量方面表现出显著差异。在单线程场景下，seglearn展现出最优的计算效率表现；在多线程场景下，TSFEL实现了最低的计算开销，但这一优势是以预测可靠性降低为代价的。

下游分类性能：在五种分类器设置下，不同工具包提取的特征集在下游分类性能上存在差异。混合效应分析显示工具包对平衡准确率有统计学上显著的影响，将表现强劲的第一梯队（tsfresh efficient、seglearn和pycatch22）与表现较弱的TSFEL子集区分开来。

特征集广度与计算成本的关系：特征集广度与计算成本和预测效用之间存在权衡关系。更广泛的特征覆盖并不必然带来更好的预测性能，而更紧凑的特征集在某些情况下可以实现相当的预测效果。

五、讨论与结论

讨论部分指出，不同工具包在计算开销和预测性能之间的权衡关系具有实际意义。在工业部署中，资源约束（如有限运行时间、有限内存）和预测性能需求需要根据具体场景进行平衡。研究人员基于基准结果提出了面向实践者的建议：在资源受限场景下默认使用seglearn；当需要更广泛的特征覆盖时选用tsfresh efficient；当特征紧凑性和可解释性重要时选用pycatch22；当提取成本是主导约束且可接受一定预测性能下降时选用TSFEL。

研究结论部分总结道，本文在四个真实世界制造数据集上对六个Python自动特征提取工具包进行了基准评测，联合评估了计算开销和下游分类性能。结果表明各工具包在计算成本上差异显著，且工具包对下游分类性能存在统计学上显著的影响。基于这些发现，研究人员为不同工业约束条件下的工具包选择提供了实践指导。