《Sustainable Computing: Informatics and Systems》:Optimizing power and performance in time series forecasting: A feature selection approach for green computing
编辑推荐:
在信息时代,数据可用性正以惊人的速度增长,推动着机器学习在各个领域的发展演进。然而,将更多数据纳入机器学习算法并不总能带来更优的性能。识别对模型性能有显著影响的最相关特征至关重要,尤其是在资源高效计算的需求日益突出的背景下。特征选择在这一过程中扮演着关键角色。
在信息时代,数据可用性正以惊人的速度增长,推动着机器学习在各个领域的发展演进。然而,将更多数据纳入机器学习算法并不总能带来更优的性能。识别对模型性能有显著影响的最相关特征至关重要,尤其是在资源高效计算的需求日益突出的背景下。特征选择在这一过程中扮演着关键角色。传统方法通常在可扩展性方面存在不足,或缺乏针对特定数据类型(如时间序列)的专门技术。本文提出了一种新颖的时间序列预测特征选择方法,旨在应对上述挑战,同时倡导绿色计算理念。该方法通过谐波增强过程识别并突出主导频率,从而提取相关特征,进而提升计算效率。这减少了对过度数据处理的需求。通过优化特征选择,研究人员的方法最大限度地降低了计算开销和能耗,同时不牺牲预测性能。跨多种数据集和机器学习模型的大量实验表明,该方法的平均误差降低了约2%,并且是所研究的方法中速度较快的方法之一,使其成为大规模预测任务中可持续且高效的解决方案。
**论文解读:基于谐波增强特征选择的时间序列预测优化方法**
**研究背景与现存问题**
随着信息技术的飞速发展,数据的产生速度和规模呈现出指数级增长态势,这为机器学习技术在多个领域的应用提供了前所未有的机遇。然而,更多的数据并不必然带来更优的模型性能。特别是对于时间序列数据而言,在天气预测、金融分析、健康监测等众多应用场景中,数据呈现高容量、高频次和持续产生的特点,如何从海量数据中识别出对预测性能具有实质影响的特征子集,已成为一个兼具理论价值和实践意义的关键问题。
在特征选择方法的研究中,传统方法虽然被广泛采用,但普遍面临若干挑战。过滤式方法基于统计指标独立评估每个特征与目标变量的相关性,忽略了特征之间的相互作用;包裹式方法需要针对每个特征子集组合进行模型训练与验证,计算开销巨大且容易产生过拟合;嵌入式方法虽然将特征选择嵌入模型训练过程,但增加了模型复杂度,进而导致更高的资源消耗。同时,随着社会对计算碳足迹的关注日益加深,绿色计算(green computing)的概念应运而生,其核心目标在于最小化计算过程的环境影响,同时保持最优的性能与效率。因此,设计一种既能保持预测精度又能显著降低计算与能耗开销的特征选择方法,成为时间序列预测领域亟待解决的重要课题。
**研究内容与核心方法**
针对上述挑战,研究人员提出了一种新颖的基于快速傅里叶变换(Fast Fourier Transform, FFT)的谐波增强特征选择方法——Harmonic-Enhanced Feature Selection(HEFS)。该方法的核心思想在于利用时间序列数据的谐波结构来突出对预测性能贡献最大的周期性分量,同时抑制冗余或含噪的特征。
HEFS方法主要由四个步骤构成。第一,数据去趋势:通过计算原始序列的一阶差分,消除可能掩盖数据波动的线性趋势。第二,频率变换:利用离散傅里叶变换(Discrete Fourier Transform, DFT)将去趋势后的数据转换至频域,获得幅度谱。第三,谐波增强:这是该方法的创新核心所在,方法通过考察各频率分量的谐波对应关系(谐波因子从2至预设上限14),当基频幅度超过谐波幅度时,按特定规则(a[l]←a[l]+(a[i]?a[l])×γ2)对谐波幅度进行增强计算,使那些较弱但具有意义的周期分量在频谱中变得更为突出。第四,特征矩阵构建:利用增强后的幅度谱构建回滞特征矩阵,作为预测模型的输入。在比较方法的选择上,研究人员严格设定了筛选标准:必须为过滤式方法、必须应用于时间序列预测问题、必须清晰区分评分函数与特征选择方法、必须在多个领域展现了广泛的适用性、且须具备良好的计算效率与可扩展性。基于此,研究选定了距离、互信息、相关性、自相关、偏自相关等五种方法作为基线进行比较。实验数据涵盖了9个不同领域的数据集:中国电力变压器温度的两组子集(ETTh1与ETTh2)、葡萄牙的电力消耗数据、西班牙安达卢西亚地区的五个臭氧浓度监测站点数据,以及覆盖西班牙全国的电力需求数据。研究采用了XGBoost、CatBoost、线性回归和Lasso回归四种模型进行评估,并以平均绝对误差和加权平均百分比误差作为预测精度指标。
**研究结果**
**总体结果**:在加权平均百分比误差(WAPE)的全局比较中,HEFS在所有特征选择方法中取得了最优性能。当选择192个特征时,HEFS达到了与不进行特征选择(No Selection, NS)相当的误差水平,显示出其在降低数据维度的同时保持预测精度的出色能力。在平均绝对误差(MAE)的比较中,HEFS虽在多数数据集上略逊于NS方法,但在ETTh1、ETTh2、Aljarafe和Asomadilla等数据集上表现突出,始终优于其他特征选择方法。研究表明,HEFS在维度约简与预测精度之间实现了良好的平衡。
**特征选择误差分析**:通过对不同方法在各数据集上误差分布的箱线图分析,距离方法展现出最高的离散程度,而HEFS则在所有特征选择方法中具有最低的误差中位数和四分位距,表明其不仅预测精度高,而且稳健性优异。
**功效与效率分析**:研究从预测精度(功效)和计算时间(效率)两个维度对方法进行综合分析。结果显示,NS方法虽在多数数据集上预测精度最佳,但所需计算时间显著高于绝大多数特征选择方法。距离方法计算时间最短,但预测性能最弱。偏自相关方法在计算耗时和预测精度方面均不理想。互信息方法耗时最长,且未能带来相应性能提升。HEFS在9个数据集的6个中展现了功效与效率的最佳平衡,是最为稳健的候选方案。
**能源效率与碳足迹估算**:利用Intel RAPL接口测量处理器能耗,结合西班牙2024年电网平均碳强度系数(0.283 kgCO?e/kWh),研究人员估算了各方法构建特征重要性矩阵的能耗和碳排放量。结果显示,HEFS每次运行的能耗低于2×10?? kWh,比基于相关性的方法低约三个数量级,比互信息方法低超过五个数量级。这充分验证了HEFS在绿色计算和可持续人工智能方面的显著优势。
**贝叶斯检验**:为增强实验结论的统计可靠性,研究采用了Benavoli等提出的贝叶斯符号秩检验替代经典零假设检验。以HEFS为基准模型,逐对比较各方法在每种特征数量配置下的误差表现。结果显示,在大多数情况下,HEFS以超过90%的概率优于其他特征选择方法,进一步验证了其有效性。
**可解释性分析**:研究以ETTh2和Ronda del Valle数据集为例,分析了各方法所选择特征的模式。除距离方法外,所有方法均能识别出以24小时间隔分布的有效特征,这符合数据集的日周期特性。互信息、相关性和自相关方法所选取的特征高度相似。HEFS则表现出更稀疏的特征选择模式,能避免局部性问题,并赋予更早期的特征更高的重要性,这可能是其性能优势的重要来源。
**消融研究**:为评估谐波增强步骤的独立贡献,研究人员将未经增强的原始快速傅里叶方法(FF)与HEFS进行了对比。实验结果表明,在大多数数据集上,HEFS相对于FF获得了显著的性能提升,仅在ETT数据集上两者差异不够明确。尽管HEFS因增强步骤导致计算复杂度略高于FF,但整体上仍是所研究的方法中速度较快者。
**结论与讨论**
综合全文的各项实验证据,HEFS方法在维度约简、计算效率和预测准确性方面展现出显著优势,能够有效捕获时间序列中主导性和细微的周期模式。更为重要的是,HEFS与绿色计算原则高度契合,通过筛选最相关特征减少不必要的数据处理,降低内存占用与计算开销,为大规模预测应用提供了一条可持续的技术路径。研究者在总结中指明,未来工作将探索HEFS在金融、医疗、气候科学等更多领域的扩展应用,并重点关注多变量时间序列预测场景,因为该类问题通常涉及更高的计算复杂度和更复杂的变量间关系。