ASGMamba：用于多元时间序列预测的自适应谱门控 Mamba

《Neurocomputing》：ASGMamba: Adaptive spectral gating Mamba for multivariate time series forecasting

　　

摘要

长期多变量时间序列预测（LTSF）需要在实际内存限制下实现准确的长程建模。注意力模型能够捕获全局依赖关系，但在长序列输入上代价高昂；而线性状态空间模型（SSMs）虽然能高效处理序列，却仅隐式地暴露出频率选择性。我们提出了ASGMamba，它在状态空间编码之前引入了轻量级的局部频谱条件化信号。其自适应频谱门控（ASG）模块将块级频谱能量转化为以恒等映射为中心的有界残差门控，自适应地调制潜在特征。多尺度不重叠分块与节点嵌入捕捉不同的时间粒度，同时在通道独立协议下保持变量身份。我们在九项基准测试中将ASGMamba与近期的SSM、Transformer及MLP/CNN基线方法进行了对比。采用五种随机种子的对照性重跑实验报告了跨种子不确定性及多重比较校正后的成对检验，而收敛控制的训练则将架构性能与固定的epoch上限分离开来。长回看窗口测试和多数据集频谱分层刻画了扩展行为以及局部频谱调制的经验适用范围。实验结果支持了具有竞争力的精度-效率权衡，并界定了频谱门控的评估条件。代码可在https://github.com/hit636/ASGMamba获取。

引言

长期多变量时间序列预测（LTSF）支撑着从金融市场[1]、[2]到能源管理[3]、[4]等多种应用。不断增长的传感器数据流要求模型在精度与部署成本之间取得平衡[5]、[6]。由于真实世界的序列往往包含趋势、周期性、突发事件和噪声[7]、[8]，LTSF必须在不过度增加内存和延迟的情况下保留多尺度结构。

近年来，基于Transformer的架构已被广泛应用于LTSF[9]、[10]、[11]。尽管全局自注意力在建模历史依赖关系方面非常有效，但这些模型通常由于对序列长度的二次计算复杂度$$而遭遇计算瓶颈。除了理论复杂度之外，注意力映射的巨大内存占用往往会使超长序列的GPU带宽趋于饱和，从而成为高吞吐量应用的瓶颈。Informer[12]等稀疏注意力变体试图通过启发式采样将复杂度降低至$$，但这往往以丢弃细粒度信号信息为代价。然而，结构化状态空间模型（SSMs）[13]、[14]提供了一种高效的替代方案，其序列处理在输入长度上呈线性扩展。通过将序列建模框架化为离散化的连续时间系统[15]，Mamba采用了硬件感知的并行扫描，具有$$的序列复杂度。

标准Mamba从时域令牌构建选择性状态更新，因此仅隐式地学习局部频谱组成。我们假设，在状态空间编码之前，一个轻量级的频谱描述符可以作为有用的条件化信号，而无需将门控视为噪声、异常或事件的检测器。

此外，为了保持线性复杂度，许多架构通过通道独立（CI）协议[16]来解耦多变量依赖关系。尽管高效，但该策略可能会削弱变量特定的上下文信息，因为时间骨干网络在各变量间共享。将电压和温度等异构信号视为具有相同动态特性的做法，在它们底层频谱特性存在显著差异时通常会降低性能。

基于上述观察，我们提出了ASGMamba（自适应频谱门控Mamba），这是一个线性复杂度框架，利用轻量级局部频谱证据对状态空间编码进行条件化。与FEDformer[17]等全局频域方法不同，ASGMamba在Mamba状态更新之前引入了输入条件化的局部频谱门控。通过估计每个分块的频谱能量分布，自适应频谱门控（ASG）模块为调制令牌表示提供数据依赖的信号。门控仅通过预测损失进行优化，并不作为噪声或事件的有监督检测器进行解释。重要的是，由于快速傅里叶变换（FFT）仅应用于固定大小的局部分块，额外的频谱分析保持在回看长度上的$$整体扩展。

此外，我们采用可学习的节点嵌入在共享骨干网络中保持变量身份，而无需使用二次方通道混合。本工作的主要贡献总结如下：

• •
  频谱条件化状态演化框架：我们提出了ASGMamba，将局部频谱分析与线性状态空间递推相结合。通过将SSM输入条件化为块级频谱能量描述符，模型在状态编码之前接收到显式的频率感知条件化信号。该公式不假设门控重新分配或扩大Mamba的内部状态。
• •
  输入依赖的线性门控机制：我们引入了自适应频谱门控（ASG）模块。ASG不采用静态低通滤波器或全局频域变换，而是从局部频谱描述符生成块级和特征级门控，使骨干网络能够在保持固定分块大小下$$渐近序列复杂度的同时调制局部频谱模式。
• •
  层次化多尺度系统设计：我们实现了一种多分支架构，并辅以可学习的节点嵌入。该设计在通道独立协议下捕获多粒度时间模式并提供变量条件化上下文，而无需显式的二次方通道混合。
• •
  受控不确定性与扩展性评估：在九项真实世界基准测试中，我们将ASGMamba与代表性的Transformer、MLP/CNN及SSM基线方法进行了对比。五种种子重跑、多重比较校正统计检验、收敛控制训练、长回看窗口扩展性以及多数据集频谱分层共同刻画了不确定性、效率和观察到的条件行为。

以下章节将回顾相关工作与预备知识，介绍ASGMamba，报告实验结果，并对论文进行总结。

章节摘要

相关工作

我们回顾了深度预测模型、状态空间方法以及频域学习。

预备知识

本节中，我们形式化地定义了预测问题，并提供了结构化状态空间模型（SSM）的理论背景，该模型是我们高效框架的骨干网络。

所提方法

ASGMamba在Mamba状态编码之前注入输入条件化的频谱先验，同时保持在回看长度上的线性扩展。块级频谱分析产生一个由预测驱动的门控，对SSM输入进行调制，而不会将高频内容视为噪声或丢弃有用的周期性和瞬态分量。

如图1所示，模型采用了多尺度不重叠分块与变量身份条件化。本文中的分块

实验

本节中，我们对ASGMamba进行系统性研究。首先，我们在九个公开数据集上评估ASGMamba，并与代表性基线模型进行对比。其次，我们进行消融实验以分离各组件的贡献。第三，我们分析对关键超参数的敏感性。最后，我们在相同的硬件和批大小设置下报告计算效率。

进一步分析与讨论

实验表明当前设计存在两个主要边界。第一，通道独立骨干网络使用节点嵌入来保持变量身份，但未显式建模动态的跨变量交互。第二，三频段描述符提供了紧凑的局部频谱摘要，而特定数据集的频率结构可能更适合更精细或自适应的表示。这些观察结果促使未来在轻量级通道交互和可学习频谱方面进行扩展。

结论

我们提出了ASGMamba，这是一个高效的多变量预测框架，利用局部频谱证据对Mamba进行条件化。ASG将归一化的分块频谱转化为以恒等映射为中心的残差门控，在状态空间编码之前调制时域表示。多尺度分块捕获互补的分辨率，而节点嵌入在无需二次方通道混合的情况下保持变量身份。

在九项基准测试以及基于Transformer、MLP/CNN和Mamba的基线方法上，ASGMamba

CRediT作者贡献声明

李千阳：撰写 – 初稿，方法论，调查研究，概念构思。张兴军：监督，资源，项目管理。王少勋：撰写 – 审阅与编辑，验证，软件。魏佳：撰写 – 审阅与编辑，验证，数据整理。

利益冲突声明

作者声明，他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响到本论文所报告的工作。

致谢

本研究部分受国家自然科学基金（编号：62372366）以及西安交通大学鲲鹏-昇腾科教创新孵化中心资助。

李千阳于2008年和2010年分别获得中国哈尔滨工业大学（威海）数学系的学士和硕士学位。目前他正在西安交通大学计算机科学与技术学院攻读博士学位。他的主要研究领域包括深度学习、数据挖掘和时间序列。

李千阳|张兴军|王少勋|魏佳