MSM-mamba：一种用于非平稳时间序列预测的多尺度多模态 Mamba 框架

《Neurocomputing》：MSM-mamba: A multi-scale multimodal mamba framework for non-stationary time series forecasting

　　

摘要

在现实场景中，时间序列数据通常表现出复杂的模式，例如长期依赖性、趋势变化以及局部高频扰动。这些模式使得现有预测模型难以准确描述非平稳动力学，从而限制了预测性能的进一步提升。为解决这一问题，我们提出了 MSM-Mamba，一种用于非平稳时间序列预测的多尺度多模态 Mamba 框架。MSM-Mamba 使用趋势分解模块将原始序列拆分为趋势和动态残差分量。它应用平稳小波变换在多个尺度上分解残差序列，同时利用可学习的频带权重自适应地融合高频细节子带。融合后的残差序列由 S-Mamba 编码，以捕捉非平稳动力学和长程依赖性。与此同时，多尺度小波细节子带被转换为二维时频图像。卷积视觉编码器从这些图像中提取局部纹理特征和跨尺度结构信息，而动态门控机制则自适应地整合物理分支和数值分支的预测结果。在训练过程中，引入多方向扰动约束以提高学习表示的稳定性和判别能力。在 ETT 系列、Electricity 和 Exchange 数据集上的实验结果表明，MSM-Mamba 在大多数预测任务上取得了更好的预测性能，表明所提出方法的有效性和泛化能力。

引言

时间序列预测旨在从历史观测中识别潜在的时间模式并估计未来的变化 [1]。它支持广泛的应用，包括能源管理 [2]、金融分析 [3]、交通管理 [4] 和工业控制 [5], [6]。数据驱动学习方法也已应用于复杂工业过程的动态运行优化和多任务质量预测 [7], [8]。在现实世界的预测任务中，时间序列往往表现出长期依赖性、趋势变化、局部波动、非平稳动力学以及变量间不断演变的关系 [9]。随着预测任务涉及更长的序列、更多的变量以及更复杂的时间动力学，这些特征变得越来越难以建模。在这些条件下，预测模型需要捕捉长期趋势演变，同时对局部高频扰动和不同尺度的时间模式保持敏感。与此同时，模型应维持合理的计算效率，这仍然是时间序列预测中的重要挑战 [10]。

早期的时间序列预测研究通常依赖传统的统计模型，特别是在相对简单的预测设置中。代表性方法如 ARIMA 被广泛使用，因为它们可以描述时间序列中的线性时间依赖性和自相关结构。然而，这些模型通常依赖于对数据结构的固定假设，这使得它们难以捕捉复杂时间序列中的非线性关系。这一局限性促使研究人员探索具有更强非线性学习能力的数据驱动模型。随后，人工神经网络被引入时间序列预测，以学习历史观测与未来值之间的非线性映射关系 [11], [12]。循环神经网络 (RNNs) 也被应用于此任务，因为其循环结构允许它们建模随时间变化的时间依赖性 [13]。基于这两种方法的优势，Zhang [14] 提出了一种结合 ARIMA 与神经网络的混合模型。该研究表明，统计模型和数据驱动学习方法在时间序列预测中可以互补。

然而，循环神经网络在长期预测中容易出现梯度消失，并且往往难以保留长程依赖信息。为解决这一问题，Hochreiter 等人 [15] 提出了长短期记忆网络。该网络使用门控单元来控制历史信息的保留、更新和输出，从而提高了捕捉长期依赖性的能力。基于这一思想，Cho 等人 [16] 提出了门控循环单元，它在简化循环结构的同时保留了建模序列依赖性的能力。除了循环模型外，卷积神经网络也被用于时间序列预测。这些模型使用局部卷积从时间数据中提取短期波动和局部变化模式 [17]。尽管这些方法在一定程度上改善了时间依赖建模，但在捕捉长程全局依赖性和复杂非平稳动力学方面仍然存在局限性。

随着预测任务向长序列和多变量设置发展，基于 Transformer 的方法被引入时间序列预测。不同于循环或卷积模型，Transformer 使用自注意力机制来建模不同时间步之间的依赖性。这种机制允许模型捕捉长程相关性，并为复杂的时间依赖建模提供了有用的框架 [18], [19]。基于自注意力框架，研究人员开发了几个变体以降低计算成本或改善时间表示。Informer 引入稀疏注意力和蒸馏策略，以降低标准 Transformer 在长序列预测中的高计算和内存成本 [20]。Autoformer 使用自相关机制并将序列分解集成到模型中，这有助于其捕捉长期时间模式 [21]。对于多变量预测，iTransformer 通过将变量视为令牌改变了输入结构。这种设计改进了跨变量依赖性的建模 [22]。尽管这些方法从不同角度改进了标准 Transformer，但它们仍然依赖于注意力相关的计算。因此，它们在长序列预测中继续面临相对较高的时间和内存成本。

注意力机制的高计算成本促使研究人员探索更高效的长序列任务序列建模方法，其中结构化状态空间模型已成为一个重要的方向。HiPPO 为长期记忆建模提供了理论基础 [23]，S4 提高了状态空间模型在长序列任务中的计算效率 [24]。基于状态空间建模，Mamba 引入了输入相关的动态参数。这种设计允许模型选择性传播或遗忘序列信息，同时保持线性可扩展性 [25]。因此，Mamba 为高效的长序列建模提供了有用的框架。为了使 Mamba 更适合时间序列预测，几项研究修改了其结构以进行时间和变量依赖学习。S-Mamba 使用双向 Mamba 结构提取变量依赖性，并结合前馈网络学习时间依赖性 [26]。TimeMachine 引入多尺度上下文信息和四重 Mamba 结构，以改善不同尺度时间模式的表示 [27]。Cai 等人 [28] 通过解决原始 Mamba 对变量扫描顺序的敏感性及其对变量间关系建模不足的问题，改进了原始 Mamba，从而提高了其在长期时间序列预测中的性能。

尽管现有的基于 Mamba 的预测方法在变量依赖学习、多尺度上下文利用和扫描机制优化方面改进了时间序列建模，但它们大多数仍主要关注一维数值序列建模。趋势演变、多尺度频域表示和局部时频结构的协同建模仍然不足。为解决这些问题，我们提出了一种基于 Mamba 的多尺度多模态时间序列预测框架。所提出的方法首先通过趋势分解模块对输入序列进行结构化分解，以提取平滑且可解释的趋势分量。随后，为了处理动态残差分量的新高频扰动和局部突变，采用平稳小波变换进行多尺度频域分解，并进一步结合深度时间编码来建模残差动力学。在此基础上，引入视觉门控融合机制和控制损失正则化策略，以增强模型表征局部纹理、跨尺度结构和输入扰动的能力，从而提高预测稳定性和预测性能。实验结果表明，所提出的方法在 ETT、Electricity 和 Exchange 等公共数据集上取得了具有竞争力的预测性能，验证了所提出方法的有效性和泛化能力。

本研究的主要贡献总结如下：

•我们提出了一种基于 Mamba 的多尺度多模态预测框架，用于复杂的非平稳时间序列。通过引入趋势分解，原始序列被明确分离为趋势和动态残差分量，从而降低了长期趋势变化和残差动力学的建模难度。

•我们设计了一个 Wavelet-Mamba 残差学习模块，以增强残差序列的多尺度建模能力。采用平稳小波变换将去趋势残差序列分解为多个频率子带，并进一步使用基于 Mamba 的时间编码来捕捉高频扰动、非平稳动力学和长程依赖性。

•我们引入视觉门控融合机制和控制损失正则化策略以改善表示学习。从多尺度小波细节子带构建二维时频表示，以提取局部纹理特征和跨尺度结构信息，同时在训练过程中引入多方向扰动约束，以增强表示稳定性和响应判别能力。

•我们在多个公共基准数据集上进行了大量实验，包括 ETT 系列、Electricity 和 Exchange 数据集。实验结果表明，所提出的方法在大多数预测任务中取得了具有竞争力的性能，验证了其有效性和泛化能力。

章节片段

传统和基于 Transformer 的时间序列预测方法

早期的时间序列预测研究主要依赖传统的统计模型。代表性方法包括指数平滑方法，它递归地更新序列的水平、趋势和季节分量，以及 Box 和 Jenkins 的 ARIMA 框架，它使用自回归、差分和移动平均项来建模线性时间相关性 [29], [30]。这些方法结构清晰且具有良好的可解释性，但它们通常依赖于显式

方法论

尽管 Mamba 在以线性计算复杂度建模长程依赖性方面表现出强大的能力，但它缺乏趋势分解、多尺度频率分析和跨模态特征集成的显式机制。为解决这些局限性，我们提出了 MSM-Mamba，一种用于非平稳时间序列预测的多尺度多模态 Mamba 框架。MSM-Mamba 由四个核心组件组成。

(1) 趋势分解 (TD)：输入时间序列被分解为趋势

实验数据集

我们使用五个代表性的真实世界时间序列数据集进行实验验证：ETTh1, ETTh2, ETTm1, Electricity 和 Exchange。这些数据集在变量规模、时间依赖结构和数据分布上存在差异，因此可以从不同角度评估所提出模型的预测性能和泛化能力。表 1 总结了这些数据集的统计信息。

ETT 系列数据集来自变压器温度

结论

对于复杂的非平稳时间序列预测，我们提出了一种基于 Mamba 的多尺度多模态预测模型。该模型将输入序列分离为趋势和动态残差分量，使用平稳小波变换和 S-Mamba 建模多尺度残差动力学，并引入视觉门控分支从小波基于图像中提取局部时频模式。此外，在训练过程中引入控制损失正则化以鼓励判别性编码器。

CRediT 作者贡献声明

徐美玲：写作 - 审阅 & 编辑，写作 - 初稿，验证，监督，软件，资源，方法论，调查，资金获取，数据整理，概念化。李欣怡：写作 - 审阅 & 编辑，写作 - 初稿，可视化，验证，软件，方法论，调查，形式分析，数据整理。潘浩：写作 - 审阅 & 编辑，方法论，调查，形式分析，数据整理。宋浩源：写作 - 审阅 & 编辑，

资金

本工作得到了国家自然科学基金的支持（编号：72471053, 62176049, 62206071）。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这可能影响本报告中所述工作的公正性。

作者简介

徐美玲于 2011 年和 2016 年分别获得中国大连理工大学学士学位和博士学位。她目前是东北大学人工智能与大数据研究院的副教授。她当前的研究兴趣包括时间序列预测、深度学习和 AI 辅助药物设计。

徐美玲 | 李欣怡 | 潘浩 | 宋浩源 | 任伟杰

中国辽宁沈阳 110819，东北大学人工智能与大数据研究院