AGformer：用于多变量时间序列预测的自适应滤波与门控融合注意力

《Neural Networks》：AGformer: Adaptive filtering and gated fusion-attention for multivariate time series forecasting

　　

**摘要要点**

• AKF 端到端地动态生成逐变量的频谱滤波参数。
• DGFA 双门控交叉注意力机制联合建模长期趋势与短期信号。
• MSED 通过基于注意力的跨尺度加权融合多尺度时间模式。

---

## 引言

多变量时间序列预测是序列建模中的核心问题，在能源系统、气象、金融和交通等领域具有广泛应用（Rahman et al., 2025）。现实世界中的多变量信号具有天然的异质性：各通道表现出截然不同的频谱特征，突发性短期事件与平滑的长期趋势并存，且信息丰富的模式同时出现在多个时间尺度上（Liu, Xia, Xia, Deng, Wang, 2025a; Pentsos, Tragoudas, Wibbenmeyer, Khdeer, 2025）。这些特性对神经序列模型提出了根本性挑战。

近年来时间序列预测领域的进展大致可分为两种范式：（i）为特定领域从零训练的专用小型模型；（ii）在大规模跨领域语料上预训练的时间序列基础模型（TSFMs）（Das, Kong, Sen, Zhou, 2024; Goswami, Szafer, Choudhry, Cai, Li, Dubrawski, 2024; Jin, Wang, Ma, Chu, Zhang, Shi, Chen, Liang, Li, Pan, Wen, 2024）。本文聚焦于前者，面向以效率和低延迟推理为首要目标的场景。

在专用小型模型中，存在三大主流方法论流派，每个流派都受到一个持续性缺陷的制约：

**1. 具有非自适应滤波的频域方法。** 像 FEDformer（Zhou et al., 2022）和 SDformer（Zhou et al., 2024）这样的模型在频域中处理时间序列以实现去噪。虽然有效，但它们依赖于手工调优的全局参数，如固定的 TopK 分量数或随机选择，并统一应用于所有变量。这种缺乏自适应性的问题导致：平滑变量可能保留过多噪声，而波动性强的变量可能丢失信息丰富的高频分量。从神经网络设计角度来看，缺乏可学习的端到端频谱滤波参数化，使模型无法在训练过程中获取通道特定的归纳偏置，从而在异质变量间被迫实现次优泛化。

**2. 丢弃信息性波动的长短周期建模方法。** 许多模型在预处理或去噪过程中不慎去除了短期波动，将其视为单纯的噪声。例如，Non-stationary Transformer（Liu et al., 2022）采用序列平滑处理，可能过度平滑由突发性结构断裂或负载突变引起的关键峰值。这种对短期信号的利用不足，限制了模型在现实场景中（此类"噪声"编码了关于系统状态变化的关键信息）的鲁棒性。在架构层面，现有的注意力机制缺乏专门的门控路径来选择性恢复被抑制的高频信号，从而形成信息瓶颈。

**3. 采用简单融合的多元尺度建模方法。** 像 TimesNet（Wu et al., 2022）和 Autoformer（Wu et al., 2021）这样的模型能够捕获不同尺度上的时间模式，但仅通过简单运算（如拼接（Zhou et al., 2020）或加权求和（Wu et al., 2021））进行融合。这种对跨尺度依赖关系的探索不足，无法建模短期粒度与长期趋势之间复杂且动态的交互关系。静态融合算子无法根据输入内容自适应地重新加权各尺度贡献，限制了跨分辨率特征交互的深度。

**关键的是，这三个缺陷是耦合的：** 更强的去噪（解决缺陷1）会直接加剧波动丢失（缺陷2）；多尺度池化（缺陷3）进一步平滑信号，同样加剧缺陷2。因此，在任何一个方法论流派内部进行的孤立改进已面临边际收益递减。

为打破这一僵局，我们提出 **AGformer**——一种通过三个紧密耦合模块协同解决所有三个瓶颈的专用架构：

**1.** 我们提出了面向变量的自适应滤波器（AKF），利用多种频域特征（如平均能量和频谱熵）学习变量特定的频谱稀疏性，从而替代手工设置的全局 TopK 阈值。与现有的可学习频谱滤波器（学习共享的连续系数）不同，AKF 为每个通道学习离散稀疏度；这将优化目标从根本上从"衰减多少"转变为"保留多少个频率分量"。

**2.** 我们设计了双门控融合注意力机制（DGFA），显式建模短期波动信息与长期趋势之间的交互，利用互补的时间门控和内容门控选择性聚焦波动信号。与在单一信息流上操作的标准自注意力或在前馈层内应用门控的 GLU 不同，DGFA 是一种交叉注意力机制，桥接两条不同的信息流：以包含波动的原始数据作为查询（Query），以滤波后的趋势作为键（Key）和值（Value）。

**3.** 我们开发了多尺度嵌入层（MSED），采用基于注意力的融合策略来提取并融合不同尺度上的时间模式，实现动态的跨分辨率交互。与简单的拼接、池化或静态线性混合（将各尺度独立处理）不同，MSED 直接在尺度维度上计算注意力——实现显式的尺度间交互，而非尺度内处理。

这些模块构成了一个"闭环协同"机制：AKF 向 MSED 提供去噪后的趋势信息；MSED 向 DGFA 提供多分辨率的键和值；DGFA 以原始数据作为查询，精确聚焦于 AKF 先前过滤掉的波动分量。这种循环依赖确保了滤波、多尺度表示与波动恢复的协同优化——使该模型区别于此前依赖孤立且独立调优模块的方法。

尽管像 Time-LLM（Jin et al., 2024）这样的时间序列基础模型（TSFM）在跨领域零样本泛化方面表现出色，但缺乏处理变量异质性和局部波动的专门机制，且推理成本显著更高。相比之下，AGformer 是一种轻量级专用模型，为这些关键能力提供了显式的归纳偏置。

在九个基准数据集上的广泛实验证实，AGformer 持续超越现有最先进模型，在 MSE 和 MAE 指标上均取得显著改进。本文其余部分组织如下：第2节提供详细的文献综述并指出当前研究的不足；第3节阐述所提出的模型及其组件；第4节呈现预测结果、消融实验和可视化效果；第5节总结关键发现与启示。

---

## 相关章节片段

### 频域滤波

频域处理为时间序列分析中的去噪和特征提取提供了强大工具。FEDformer（Zhou et al., 2022）等先驱模型引入了频率增强策略；然而，其频率分量的随机选择缺乏数据驱动的依据。后续工作，如 SDformer（Zhou et al., 2024）和 FEDAF（Yang et al., 2024），广泛采用了 TopK 滤波策略，即保留幅度最高的 K 个频率分量。

### 总体架构

考虑一个具有回溯窗口 T 的多变量时间序列样本：$X_t = [X_1, X_2, \ldots, X_T] \in \mathbb{R}^{V \times T}$，其中 V 为变量数。$X_t$ 为模型输入。将输出记为：$Y_t^* = [X_{T+1}, X_{T+2}, \ldots, X_{T+\tau}] \in \mathbb{R}^{V \times \tau}$，其中 $\tau$ 为模型预测步长。定义映射函数 $f: \mathbb{R}^{V \times T} \rightarrow \mathbb{R}^{V \times \tau}$ 为：

$$Y_t^* = f(X_t)$$

图1展示了所提出的 AGformer 模型的整体架构。自适应多k滤波器（AKF）对模型输入进行去噪，多尺度嵌入层（MSED）提取模式……

### 实验设置

**数据集：** 本研究采用多个公开发布的实时时间序列基准数据集用于预测。这些数据集涵盖多个领域，具有不同的时间特征：强周期性（ETT、PEMS）、弱周期性（Exchange）以及混合动态（Weather）。它们共同覆盖了广泛的变量数量（8至321个）和采样频率（5分钟至每日），为评估多样化预测场景中的泛化能力提供了全面的测试平台。

---

## 结论

本文提出了 AGformer——一种多变量时间序列预测架构，通过三个协同模块解决了三个持续的神经网络设计挑战。在电力、气象、金融和交通领域的九个基准数据集上的实验表明：1）基于频域的 AKF 能够通过从频谱特征（平均能量、频谱熵、能量集中度）中学习，动态优化逐变量滤波策略，从而实现……

---

## CRediT 作者贡献声明

徐淑鑫：原始论文撰写、可视化、方法论。
肖江文：论文审阅与编辑、基金获取。
李鹏程：论文审阅与编辑。
卢天浩：论文审阅与编辑。

---

## 利益冲突声明

作者声明不存在任何已知的可能影响本文所述工作的竞争性经济利益或个人关系。

---

## 致谢

本工作受国家自然科学基金资助（资助号：62673218）。

---

徐淑鑫 | 肖江文 | 李鹏程 | 卢天浩