AFEformer：一种用于时间序列预测的自适应频率增强变换器

《Engineering Applications of Artificial Intelligence》：AFEformer: An adaptive frequency enhancement transformer for time series prediction

长程时间序列预测（LTSF）中，现有Transformer模型存在忽略频域特征、静态增强策略和跨序列相关性利用不足等问题。本文提出AFEformer模型，通过频域自适应增强模块提取关键频段特征，结合时序外部注意力机制（TEAEM）利用傅里叶变换分析全局频谱信息，并采用无限范数归一化和Dropout缓解过拟合。实验在九个跨领域基准数据集上验证，AFEformer显著优于现有方法。

　　时间序列预测（Time Series Forecasting, TSF）作为一项关键的研究领域，在现实世界的众多场景中有着广泛的应用。从能源消耗、交通规划、经济预测到天气预报和疾病传播预测，TSF技术贯穿于我们日常生活的各个方面。随着数据科学的发展，TSF的方法也经历了从传统的统计方法和机器学习技术，逐步演进到基于深度学习的先进模型。尽管深度学习方法在处理复杂、非线性的时间依赖关系方面表现出色，但传统的统计模型和机器学习方法仍然在某些特定任务中具有其独特的优势。然而，这些方法在面对长期预测时往往显得力不从心，特别是在数据维度较高或存在多季节性模式的情况下。

传统的统计方法主要包括移动平均（Moving Average, MA）、指数平滑（Exponential Smoothing, ES）、自回归移动平均（Autoregressive Moving Average, ARMA）以及自回归积分移动平均（Autoregressive Integrated Moving Average, ARIMA）等（Box et al., 1978）。这些方法特别适用于小规模、稳定且线性特征明显的数据集，同时在计算效率方面也表现出一定的优势（Gooijer and Hyndman, 2006）。例如，Holt Winters方法作为指数平滑的一种变体，通过引入趋势和季节性成分来提升预测能力（Gardner, 2006）。然而，这种方法在处理长期依赖关系时仍然存在局限性，尤其是在数据维度较高的情况下，其表现往往不尽如人意。为了解决这一问题，ARCH模型引入了一种新的方法，该方法结合了过去数据点和邻近节点的波动信息，从而提升了预测精度（Mattera and Otto, 2023）。尽管ARCH模型在高维场景中表现良好，但其构建过程仍需要一定的先验知识，这在一定程度上限制了其应用的灵活性。

随着深度学习技术的发展，许多研究开始尝试利用神经网络来提升时间序列预测的性能。常见的深度学习方法包括卷积神经网络（Convolutional Neural Networks, CNN）、循环神经网络（Recurrent Neural Networks, RNN）、长短期记忆网络（Long Short-Term Memory, LSTM）以及门控循环单元（Gated Recurrent Units, GRU）等。这些方法在捕捉时间序列中的复杂模式和非线性关系方面表现出色，尤其是在处理多季节性数据时。例如，MQ-RNN模型通过将自回归方法与RNN结合，以捕捉未来序列的概率分布（Wen et al., 2017）。然而，RNN在处理长期预测任务时常常面临梯度消失或梯度爆炸的问题，这在一定程度上限制了其应用范围（Pascanu et al., 2013）。LSTNet模型则通过结合CNN和循环跳接结构，以同时捕捉短期和长期的时间模式（Lai et al., 2018）。虽然CNN在识别局部模式方面具有优势，但由于其感受野的局限性，难以全面捕捉时间序列的全局特征。LSTM-MSNet模型则引入了传统的序列分解技术，以提高对多季节性时间序列的预测能力（Bandara et al., 2021）。然而，该模型在多维信息利用方面仍然存在不足，限制了其预测性能的进一步提升。此外，Chauhan等人提出了一种基于LSTM和GRU的新型方法，结合了元启发式超参数算法，以提升预测精度（Chauhan et al., 2023）。尽管这种方法在快速预测方面表现出色，但GRU在处理长期依赖关系时仍面临梯度消失的问题，影响了其在长期预测任务中的表现。

在深度学习方法中，Transformer模型因其独特的自注意力机制（self-attention）而受到广泛关注（Li et al., 2020）。Transformer模型能够有效捕捉时间序列中的长距离依赖关系，并在处理多维数据时表现出更强的灵活性。近年来，许多基于Transformer的模型被提出，以进一步提升时间序列预测的性能。例如，Airformer模型通过引入ProbSparse注意力机制，以提升模型的效率（Liang et al., 2022）。Informer模型则通过改进注意力机制，以提高长期预测的准确性（Zhou et al., 2021）。Crossformer模型则结合了Transformer和循环结构，以提升对多变量时间序列的预测能力（Zhang and Yan, 2023a）。然而，尽管这些基于Transformer的模型在时间序列预测中取得了显著进展，但它们仍然存在一些局限性。例如，大多数模型在处理时间序列时主要依赖于时域信息，而忽略了频域信息的重要性。频域信息在时间序列分析中同样具有关键作用，因为它能够揭示时间序列中的全局特征，而不仅仅是局部的时间依赖关系。

此外，当前的Transformer模型在学习频域特征时通常采用固定的方式，缺乏动态调整的能力，这在一定程度上限制了其在不同数据集上的泛化能力。同时，这些模型在处理多样本序列之间的潜在关联时，往往只关注单一样本序列内部的时间依赖关系，而忽视了不同样本序列之间的潜在联系，这使得模型在面对复杂数据时容易出现过拟合问题。为了解决这些问题，我们提出了一种创新的模型——自适应频域增强Transformer（AFEformer），该模型结合了时域外部注意力机制，以提升时间序列预测的性能。AFEformer通过在频域中增强关键特征，并在时域中引入外部注意力机制，以更好地捕捉不同样本序列之间的潜在关联，从而提升模型的泛化能力和预测精度。

AFEformer的主要创新点在于其频域增强模块和时域外部注意力增强模块。频域增强模块通过自适应阈值策略，利用傅里叶变换分析整个频谱，并选择性地提取关键的频谱成分，从而增强频域中的重要特征。这种方法能够有效提升模型对全局特征的捕捉能力，同时避免低质量干扰频率的影响。时域外部注意力增强模块则通过引入无限范数（Infinite Norm）和Dropout层，以规范化输入并减少注意力机制的过拟合问题。通过这种方式，AFEformer能够在不同样本序列之间建立更紧密的联系，从而提升模型的整体性能。

在实验方面，我们对AFEformer进行了广泛的测试，并在九个真实世界的时间序列预测基准数据集上进行了评估。实验结果表明，AFEformer在这些数据集上的预测性能优于现有的许多先进方法。这表明，通过引入频域增强和时域外部注意力机制，AFEformer能够在保持线性复杂度的同时，提升对长期时间序列的预测能力。此外，AFEformer在处理多维数据和多季节性模式时表现出更强的适应性，这使其在实际应用中具有更高的价值。

AFEformer的提出不仅丰富了时间序列预测的模型体系，也为未来的研究提供了新的思路。在当前的研究中，我们发现，传统的统计方法和机器学习方法在处理长期预测任务时存在一定的局限性，而基于深度学习的模型虽然在捕捉复杂模式方面表现出色，但在频域信息的利用和多样本序列之间的潜在关联捕捉方面仍然存在不足。通过引入频域增强和时域外部注意力机制，AFEformer在这些方面取得了显著的改进，从而提升了模型的整体性能。此外，AFEformer的自适应阈值策略和无限范数的引入，使得模型在处理不同数据集时能够更好地适应，从而提升了其泛化能力和预测精度。

在实际应用中，AFEformer具有广泛的应用前景。例如，在能源领域，AFEformer可以用于预测电力需求和负载变化，从而优化能源调度和管理。在交通领域，AFEformer可以用于预测交通流量和出行模式，从而提升交通规划和优化能力。在经济领域，AFEformer可以用于预测经济指标和市场趋势，从而为政策制定和商业决策提供支持。在天气预报方面，AFEformer可以用于预测天气变化和极端事件，从而提高预警能力和应对能力。在疾病传播预测方面，AFEformer可以用于预测疾病的传播趋势和流行情况，从而为公共卫生管理提供支持。

总的来说，AFEformer的提出为时间序列预测提供了一种新的解决方案，其在频域和时域方面的双重增强机制使其能够更好地捕捉时间序列中的全局特征和潜在关联。通过实验验证，AFEformer在多个真实世界的时间序列预测任务中表现出色，证明了其在提升预测性能方面的有效性。未来，随着数据科学和人工智能技术的不断发展，AFEformer有望在更多领域得到应用，并为时间序列预测的研究提供新的方向和思路。