用于多变量时间序列预测的多频率通道增强

《Knowledge-Based Systems》：Multi-frequency channel enhancement for multivariate time series forecasting

　　

• 一种用于提取关键信息的多频分解-融合模块。
• 一种用于动态缩放输入特征通道的增强通道注意力模块。
• 一种用于处理频率分量不均匀贡献的自适应频率融合模块。
• 基于上述模块，提出了一种多频通道增强网络（FCE-Net）。
• FCE-Net在MSE和MAE上分别以平均4.82%和1.95%的优势超越了最佳基线模型。

**引言**

时间序列预测通过识别历史数据中的模式来预测未来趋势，为金融分析[1]、[2]、天气预报[3]、[4]、能源生产管理[5]、[6]、交通流量预测[7]、[8]和设备维护[9]等多样化应用中的决策提供了强有力的支持。由于时间序列数据在这些应用中的重要性，大量研究开发了众多预测模型，显著提高了预测精度和可扩展性。

然而，时间序列数据规模的增长和复杂的非线性特征暴露了传统预测方法的固有局限性，如指数平滑[10]和ARMA模型[11]。前者依赖于线性平滑，无法建模非线性动态；后者在参数阶数约束下运行，忽略了长期依赖关系。相比之下，基于深度学习的模型显示出显著优势：(1) 从高维数据中提取复杂特征；(2) 建模复杂的时序动态。在这些模型中，基于Transformer的架构[12]、[13]在时间序列预测中引起了广泛关注。通过利用注意力引导的时间步动态加权，这些模型能够有效地提取复杂时序动态并建模长期依赖关系。

在上述进展的基础上，Autoformer[14]、PatchTST[15]、Fredformer[16]和iTransformer[17]等基于Transformer的方法通过注意力机制捕捉全局模式，动态建模长期依赖关系和复杂时序模式，从而在长期时间序列预测中取得了最先进的性能。然而，它们面临高计算复杂度和多尺度动态建模不足的问题。为此，基于MLP的方法，如N-BEATS[18]、DLinear[19]、FreTS[20]和TSMixer[21]，提供了具有线性复杂度的轻量级架构。通过将时间序列分解为趋势和季节分量，这些方法在捕获局部动态特征的同时避免了Transformer的高计算成本。值得注意的是，尽管基于MLP的方法在捕获局部动态和短期季节循环（如每日/每周波动）方面表现出色，但近期研究[22]、[23]表明，它们对时域逐点操作和局部层次堆叠的依赖限制了其在长期趋势建模（如年度增长）和跨变量相关性分析方面的性能。

同时，傅里叶分析为时间序列预测的核心挑战——捕捉长期依赖关系和建模周期性/趋势[24]、[25]——提供了一个有前景的解决方案。它利用傅里叶变换将时间序列映射到频域，并将其分解为频率分量的线性组合[26]、[27]。低频分量表征长期趋势，而高频分量反映短期波动。通过从整个频谱中提取关键特征，模型可以实现对潜在模式的稳健表征，同时抑制噪声，从而提高长期预测性能。然而，现有的频域模型在频率分量处理方面仍然存在一些局限性。具体而言，FEDformer[28]依赖于固定的频率分解策略，缺乏对不同频率分量重要性的自适应调整能力。TimesNet[29]由于2D时频变换带来了不可忽视的计算开销。此外，FreTS[20]过度依赖能量压缩来优先处理高能量分量，可能忽略了低能量高频分量中的关键动态特征。

为此，我们提出了一种用于多变量时间序列预测的多频通道增强网络。具体而言，该模型首先利用可学习的分解-融合模块来建模每个频率分量内的跨特征依赖性，其中每个分量被视为一个独立通道。通过对每个分解后的频率通道进行阈值处理，冗余或噪声信息被抑制，过滤后的特征被组合以保留关键信息，从而提高预测性能。随后，模型利用注意力机制通过两阶段过程来校准通道级重要性：(1) 通过频域全局平均池化聚合全局上下文信息；(2) 应用动态MLP通道缩放来强调关键特征。此外，引入了自适应频率融合模块，该模块对每个频率分量应用动态权重并进行自适应融合。我们的框架能够有效地避免忽略关键分量，并自适应地重新加权并融合频率特征，从而增强了频域建模对时间序列预测的适应性和有效性。本文的贡献总结如下：

- 针对自适应全局频率提取和跨频率交互建模方面的不足，我们引入了三个关键模块：一个多频分解-融合模块（MFDI），旨在增强频域关键信息的提取；一个增强通道注意力模块（ECA），通过通道级注意力权重动态缩放输入特征通道；以及一个自适应频率融合模块（AFF），独立处理每个频率分量，以有效应对不同频率分量贡献不均匀的问题。
- 基于这些模块，我们提出了用于多变量时间序列预测的多频通道增强网络（FCE-Net）。FCE-Net基于MLP架构构建，实现了全面的频域建模，促进了全局频率特征提取和长期时序依赖关系的有效建模。
- 跨多种数据集的实验结果表明，FCE-Net相较于最先进的预测模型具有卓越的性能，在MSE和MAE上分别以平均4.82%和1.95%的优势超越了最佳基线模型（Affirm）。此外，消融实验和敏感性分析进一步验证了模型的有效性和鲁棒性。

**片段摘要**

**相关工作**

本节概述了多变量时间序列预测的相关工作，重点聚焦于三个关键视角。

**预备知识**

我们将介绍必要的预备知识，包括问题的正式定义和离散傅里叶变换。

**问题定义：** 给定输入时间序列信号 $X = [X_{1:L}^{(1)}, X_{1:L}^{(2)}, \ldots, X_{1:L}^{(N)}] \in \mathbb{R}^{L \times N}$，其中变量数量为 $N$，回看窗口大小为 $L$，$X_{1:L}^{(n)} \in \mathbb{R}^{L}$ 表示第 $n$ 个变量的时间序列（$n = 1, 2, \ldots, N$）。我们的目标是预测未来 $H$ 个时间步：$\hat{X} = [\hat{X}_{L+1:L+H}^{(1)}, \hat{X}_{L+1:L+H}^{(2)}, \ldots, \hat{X}_{L+1:L+H}^{(N)}] \in \mathbb{R}^{H \times N}$。

**离散傅里叶变换：** 在频域中，时间

**方法**

在本节中，我们介绍了FCE-Net，一种用于多变量时间序列预测的多频通道增强框架。该框架由一个嵌入模块、一个投影模块和 $M$ 个FCE模块组成，如图1所示。每个FCE模块包含三个关键模块：多频分解-融合模块（MFDI）、增强通道注意力模块（ECA）和自适应频率融合模块（AFF）。具体而言，嵌入模块对输入序列进行归一化并将其映射

**实验设置**

**数据集。** 我们在涵盖多个领域的多种数据集上评估了所提出的FCE-Net的性能。具体而言，我们使用了以下数据集：ETT数据集（ETTh1、ETTh2、ETTm1、ETTm2）记录了2016年7月至2018年7月期间电力变压器的油温和负载数据，共7个特征[22]；Electricity数据集包含2016年7月至2019年7月期间321个客户的电力消耗数据，每15分钟采样一次[14]；Exchange数据集包含每日

**结论**

在这项工作中，我们提出了FCE-Net，一种有效的用于多变量时间序列预测的多频通道增强模型。具体而言，我们的模型融合了可学习的MFDI模块来捕捉每个频率分量内的特征交互，从而增强特征表征能力。随后使用阈值策略过滤掉冗余信息，并通过求和的方式组合保留下来的信息分量，提高了模型的预测精度和稳定性。

**CRediT作者贡献声明**

Yaping Li：原始草稿撰写、可视化、验证、方法学、概念化。Qiang Guo：审阅和编辑、监督、概念化。Yongxia Zhang：审阅和编辑、方法学。

**利益冲突声明**

作者声明不存在已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到了山东省研发计划（项目编号：2024TSGC0109）的支持。

Yaping Li | Qiang Guo | Yongxia Zhang