RMTSFMC：一种结合Mamba模型与1D-CNN的反向多尺度时间序列预测方法

《Applied Soft Computing》：RMTSFMC:A reverse multi-scale time series forecasting method with mamba and 1D-CNN

　　摘要
时间序列预测在众多现实领域中至关重要。目前最先进的预测模型大多采用Transformer架构，该架构通过有效建模长距离依赖关系而表现出色。然而，其二次方的计算复杂度限制了实际应用，尤其是在处理长序列任务时，这使得它在资源受限的现实场景中难以发挥作用。状态空间模型（Mamba）和一维卷积神经网络（1D-CNN）则具备线性计算复杂度。Mamba擅长捕捉全局依赖关系，而1D-CNN则能有效捕获局部模式，二者优势互补，能够高效地处理不同时间尺度上的数据。本文提出一种新型模型——基于Mamba与1D-CNN的反向多尺度时间序列预测方法（RMTSFMC）。该方法首先引入反向编码机制来处理多尺度时间序列数据，进而设计有效的特征提取器。在该提取器中，1D-CNN层负责从大尺度到小尺度补充局部信息，而多尺度残差Mamba层则用于提取全局信息。两者相互补充，能够高效捕获时间序列特征。所构建的未来预测模块则将多尺度特征融合并输出，从而实现不同尺度信息的有效整合。实验表明，相较于基准模型TimeMixer，该方法在Traffic、ETTh1和ETTh2数据集上的均方误差和平均绝对误差分别提升了4.21%、4.57%、4.40%，以及3.39%、2.24%、2.44%，在其他数据集上也取得了相当的性能表现。这说明该模型具有良好的泛化能力及更高的预测精度。同时，它还凭借线性计算复杂度提升了效率并降低了内存占用。

引言
时间序列预测在金融市场[1]、医疗保健[2][3]、智能制造[4]以及环境监测[5]等诸多行业都发挥着关键作用。在这些领域中，预测任务通常依赖于基于历史数据构建的时间序列模型来推断未来趋势[6]。在现实场景中，时间序列数据往往具有高度复杂性与非平稳性[23]，这种复杂性表现为突发变化、季节性波动以及相互交织的长期趋势，这些都大大增加了预测的难度与不确定性。近年来，深度学习模型在时间序列预测领域取得了显著进展[7][8][9][10]。通过精心设计的架构，深度学习能够有效捕捉时间序列数据中的复杂模式与动态变化。常见的模型架构包括卷积神经网络（CNN）[11][12]、循环神经网络（RNN）[13]、Transformer[14]以及多层感知机（MLP）[15]。这些模型不仅能够有效处理传统的线性和非线性变化，还能深入探索更复杂的时序关系，从而提升预测精度与可靠性，推动相关领域的持续发展。随着现实应用需求的增加，时间序列预测模型也在不断演进，以支持更长的预测范围[19][20][21]。研究人员提出了多种方法来提升模型的性能与泛化能力。例如，Autoformer[22]通过序列分解与自相关机制来缓解自注意力中的信息纠缠问题，进而增强长序列建模能力。FEDformer[56]、Stationary[23]以及iTransformer[38]则进一步推动了长距离预测技术的发展。不过，基于Transformer的模型由于自注意力的二次方计算复杂度，往往存在较高的计算与内存成本。尽管有稀疏注意力机制和窗口化机制[26][27][29]等尝试降低计算成本，但它们固有的全局交互设计限制了全局模式识别与局部区域探索之间的平衡。此外，自注意力机制对局部信息的敏感度较低，难以捕捉短期波动。较小的窗口虽能减少计算量，但会损害性能；而较大的窗口则会增加计算负担，限制其在大规模任务中的适用性。相比之下，基于MLP的模型[25][29]因其结构简单、表示清晰且易于解释，在某些场景下表现出良好的性能。不过，一维卷积神经网络（1D-CNN）由于更能捕捉局部依赖关系与时序模式，在某些情况下表现更为优异，为MLP提供了一种有前景的替代方案。然而，面对具有复杂动态特性和长预测范围的场景时，1D-CNN仍面临挑战，主要原因是其非线性建模能力有限，且缺乏捕捉长距离依赖关系的机制，这影响了其有效处理复杂序列数据的能力。因此，如何在保证计算效率的同时实现短期与长期依赖关系的平衡，仍是时间序列预测领域的关键挑战。

多尺度时间序列分析的研究仍在不断深入。TimeMixer[36]从多尺度混合的新视角出发，通过相关模块利用多尺度信息，在长短期预测方面都取得了优异性能。但其也存在一些问题，如在小数据集上容易过拟合，面对强非线性且突变剧烈的序列时融合效果不佳，且难以准确捕捉快速变化。LLM-Mixer[37]则创新性地结合了多尺度分解与预训练的LLM，提升了预测精度，展现了此类融合方式的潜力。不过，其对LLM的过度依赖导致了较高的部署门槛及强大的计算资源需求。此外，由于LLM的特性，还存在语义映射不准确以及难以捕捉领域特定知识等问题。该融合方法的灵活性以及对数据的适应性也有待提升。MICN[46]通过多尺度卷积实现局部特征的降采样以及全局相关性的等距建模，旨在解决Transformer中存在的复杂度高及局部特征建模不足的问题。然而，尽管该模型具有多尺度分支结构，却未能充分探索多尺度时间序列之间的深层关联，因此在面对短期突变与长期趋势相互交织的复杂非平稳时间序列时，适应性较差。基于状态空间模型（SSM）的Mamba方法近年来在处理序列数据方面展现出与Transformer相当的竞争力[39][41]，得益于其与序列长度相关的线性复杂度，Mamba不仅在序列数据表示方面具有巨大潜力，还在图像处理和多模态学习等领域取得了重要进展[43]。Mamba的优势在于它能够在保持高效计算的同时有效捕捉长期时间依赖关系。凭借其上下文感知选择机制，Mamba非常适合用于长序列推理，并已被优化为具备线性时间复杂度[40]。不过，在实际应用中，尤其是面对具有高不确定性与高波动性的时间序列数据时，Mamba仍面临诸多挑战[36]。虽然S_Mamba[44]提升了Mamba的效率，但它仍然缺乏有效的局部特征感知能力。此外，当处理涉及多个时间尺度且具有不同频率特性的数据时，Mamba可能在同时捕捉短期波动与长期依赖关系方面遇到困难，这会影响其对局部特征的敏感度，进而影响其在复杂动态环境中的整体性能。不过，这些方法仍难以应对多尺度动态问题以及局部与全局依赖关系的平衡问题。上述方法均未采用多尺度反向编码机制来丰富时间维度信息，也未充分结合Mamba在长序列建模方面的优势与1D-CNN在局部感知方面的优势。因此，如何构建一种能够有效分离多尺度时间模式、平衡短期突变与长期依赖关系[61]，同时保持低计算成本的统一模型，仍是一个有待解决的开放性问题。

近期，一系列先进的时间序列基础模型在捕捉时间模式方面取得了显著进展，包括Chronos[60]、TimesFM[59]、Patchtst[27]以及TimeGPT[62]。这些代表性成果为多变量时间序列预测提供了先进的思路与宝贵参考，其在时间特征建模和长序列依赖关系学习方面表现突出。受上述讨论启发，本文提出了一种创新模型——基于Mamba与1D-CNN的反向多尺度时间序列预测方法（RMTSFMC）。该模型旨在同时捕捉时间维度上的多尺度序列变化，并解析复杂的時間模式。与传统方法不同，RMTSFMC在时间维度的不同尺度上引入了反向编码机制[38]，这一设计使模型能够捕捉不同时间尺度下的丰富特征。此外，通过结合Mamba的高效状态空间建模能力与1D-CNN的局部感知能力，该模型能够在保持低计算成本的同时，同时提取序列中的全局信息与局部细节，从而显著提升时间序列特征的表征能力与信息提取效率。最后，来自不同尺度的特征会被投影到同一维度空间并直接融合。

我们的主要贡献体现在以下三个方面：
1. 我们提出了跨时间尺度的反向编码机制，实现了多样化的时间分辨率，并丰富了不同分辨率尺度下的信息。
2. 我们设计了结合1D-CNN与Mamba的多尺度特征提取器，用于提取局部与全局特征，从而提升时间建模与特征提取能力。
3. 我们设计了未来混合预测模块，将该模型在不同尺度下编码后的特征投影到同一预测空间，以实现互补的输出。

本文的其余结构如下：第二节回顾时间序列预测研究的相关背景；第三节详细阐述我们所提方法的具体实现细节；第四节介绍实验设计、评估指标及基准测试方法；第五节通过全面实验验证所提方法的有效性；第六节对全文进行总结。

背景部分
本节首先定义多变量预测问题，随后介绍基于Transformer的预测方法、基于CNN的时间序列预测技术，以及基于状态空间模型（SSM）的序列建模相关研究。

方法部分
本节首先介绍RMTSFMC模型的整体架构，接着重点阐述多尺度特征提取器中的反向多尺度编码机制，最后介绍未来混合预测方法。

数据集部分
在实际应用中，数据集往往包含噪声及复杂的模式，难以通过合成数据来模拟。因此，对真实世界数据集进行时间序列建模，不仅能验证模型在非理想条件下的性能，还能体现其处理和预测复杂现实动态的能力。为了全面评估我们模型的性能，我们在七个具有挑战性的真实世界数据集上进行了实验，这些数据集涵盖了多个领域……

数据与初步分析部分
本节选取了ETTh1和Electricity两个典型数据集进行初步数据分析，以深入探究这两种类型时间序列数据的固有变化规律。如图3所示，两个原始序列均表现出明显的非平稳特性及长期演化趋势。具体而言，ETTh1中的油温序列呈现整体缓慢下降的趋势，而Electricity数据集中的电力负荷则存在剧烈的动态波动。

结论部分
本文提出了RMTSFMC，这是一种用于长期时间序列预测的创新框架，能够在保障预测精度的同时提升计算效率。该模型通过整合反向多尺度编码、一维卷积以及残差Mamba结构，能够有效捕捉局部时间模式与全局长距离依赖关系。进一步的混合预测机制则可将多尺度特征融合起来，进一步提升预测性能。在七个真实世界数据集上的大量实验表明，RMTSFMC……

未引用参考文献
[16],[17],[18],[24],[31],[32],[34],[35],[42],[45],[48],[51]

CRediT作者贡献说明
Yongdong Zhu：撰写原文初稿、数据整理。Lei Zou：指导监督、概念构思。Weibo Liu：撰写审稿与编辑内容、验证工作。Yan Song：撰写审稿与编辑内容。

利益冲突声明
作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Lei Zou表示获得了中国国家自然科学基金的资助。其他作者则表示自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。Yongdong Zhu于2023年获得中国华南大学的工程学士学位，目前在中国东华大学信息科学与技术学院攻读工程硕士学位。他的研究兴趣集中在将深度学习技术应用于时间序列预测，尤其关注智能控制理论如何提升时间序列模型在复杂环境中的鲁棒性与适应性。

Yongdong Zhu | Lei Zou | Weibo Liu | Yan Song
中国上海东华大学信息科学与技术学院