时间序列预测方法：从经典模型到深度学习的系统综述

《ACM Computing Surveys》：Time Series Forecasting Methods: A Systematic Review from Classical Models to Deep Learning

　　摘要
要查看此由AI生成的摘要，您必须拥有高级访问权限。了解更多信息并登录。

**摘要**
时间序列预测（TSF）是计算建模中的基础任务，在金融、健康科学、能源、交通、制造业和环境建模等领域有广泛的应用。几十年来，统计方法和传统的机器学习（ML）方法提供了有效的预测解决方案，而深度学习的最新进展大大扩展了对复杂、高维和非线性时间序列数据的建模能力。本综述提供了TSF方法的全面和结构化的概述，涵盖了统计模型、传统机器学习方法、深度学习架构以及混合方法。我们基于六个关键视角介绍了TSF模型的分类系统，并讨论了主要的方法论范式，包括统计模型、ML方法以及九种核心深度学习架构，如RNN、CNN、Transformer、图神经网络、生成模型以及新兴方法，包括神经常微分方程（Neural ODEs）、基础模型和基于Mamba的网络。此外，我们还研究了预测策略、基准数据集、评估指标、软件可用性以及主要的应用领域。最后，我们对方法论方法和模型架构进行了定性和定量比较，以支持实际的模型选择，并指出了TSF领域当前面临的挑战和未来的研究方向。

**AI生成的摘要（实验性）**
此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现新知识、帮助读者评估相关性和协助相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍是论文的官方版本。点击此处了解更多信息。点击此处评论该摘要的准确性、清晰度和实用性。您的反馈将有助于改进未来的生成版本。要查看此由AI生成的通俗语言摘要，您必须拥有高级访问权限。

**1 引言**
时间序列预测（TSF）是一项基本任务，涉及根据变量的过去观测值预测其未来值[14, 34, 158]。它在金融、能源、健康、交通、制造业和气候科学等众多应用领域发挥着关键作用[66, 92, 122, 169]。准确的预测对于电力需求规划、零售库存管理、传染病早期检测和金融资产分配等决策至关重要。随着来自传感器、交易系统和数字平台的时间数据量迅速增长，TSF在各个领域的重要性日益增加。
传统的时间序列预测方法，包括统计方法和机器学习模型，有着悠久而丰富的历史[145, 146, 188]。由于理论基础扎实、可解释性强和数据效率高等优点，ARIMA、指数平滑法和状态空间模型等统计方法已被广泛采用[62]。这些模型在计量经济学和社会科学等领域特别有效，因为这些领域的时间序列数据通常表现出明确的季节性、趋势和自相关模式[29, 38, 174]。传统的机器学习（ML）模型，如支持向量回归（SVR）、k最近邻（k-NN）、多层感知器（MLP）和集成方法（例如XGBoost），通过提供更大的建模灵活性，扩展了预测系统的能力[2, 125, 126, 173]。
与统计方法相比，ML方法在捕捉非线性依赖关系、处理高维和噪声数据以及更有效地结合外生变量和多变量输入方面通常表现更好。这些优势使得ML方法在数据生成过程复杂或不明确的场景中尤为有价值。
近年来，深度学习的兴起再次改变了TSF领域的发展。考虑到存在大量不同的深度神经网络架构[43]，这对新TSF模型的发展产生了重大影响[109, 154, 204]。特别是，包括循环神经网络（RNN）、卷积神经网络（CNN）、Transformer和混合架构在内的深度学习模型已成为复杂预测任务的先进工具[119, 180, 195]。这些模型在从高维、不规则或噪声时间序列数据中提取复杂模式方面表现出色，并在医疗监测、金融时间序列预测和交通预测等领域取得了突破。
尽管取得了进展，时间序列预测仍然是一个具有挑战性的问题。现实世界中的时间序列数据往往是非平稳的、不完整的、有噪声的且多变的。因此，最近的发展越来越强调鲁棒性、不确定性量化以及适应性。这包括对概率预测的研究、低数据情况下的迁移学习、针对演变环境的在线学习，以及为长预测范围设计的架构。

**2 背景和主要贡献**
2.1 相关工作
时间序列分析（TSA）是一个广泛的领域，涵盖了异常检测、分割、因果分析、分解、表示学习、分类和预测等任务[47, 107, 129]（见图1 A）。由于每个主题的深度和复杂性，本文专门关注TSF。
**图1. 时间序列分析（TSA）的概述。A：TSA的关键领域包括预测、异常检测、分割、因果分析、分解、表示学习和分类。B：时间序列预测（TSF）的不同视角。**
如何定义时间序列预测？从方法中立的角度来看，外推是指估计超出观测数据范围的变量值。因此，TSF可以理解为一种基于历史观测值来预测未来值的外推任务，扩展到可用数据之外。相比之下，回归更为通用，因为它既包括外推也包括插值，后者本质上是观测数据范围内的函数近似。
从20世纪70年代Box和Jenkins引入ARIMA方法论以来，已经开发出了许多TSF方法[145, 146, 188]。如图2 A所示，使用Scopus进行的文献搜索显示，近年来深度学习（DL）模型是使用频率最高的方法。
**图2. 文献搜索结果，提供有关TSF方法的信息。A：1980年至2024年间使用统计、机器学习、深度学习和混合模型的出版物数量。B：2015年至2024年间使用八种架构类别的出版物数量。C：展示九种DL架构中几种关键方法的时间线。**
为了更详细地了解这一趋势，图2 B根据九种主要DL架构展示了TSF的出版物时间线：前馈神经网络（FNNs）、循环神经网络（RNNs）、卷积神经网络（CNNs）、Transformer、图神经网络（GNNs）、生成模型、基于Mamba的模型、神经常微分方程（Neural ODE）模型和基础模型（FM）。相应地，图2 C突出了每个类别中的代表性方法。这些方法在第5节中进行了详细讨论。

2.2 本研究的主要贡献
由于时间序列预测的复杂性，已经发表了大量综述文章[145, 146, 188]。表1概述了这些综述文章。
**表1. 年份/研究**
| 年份/研究 | DLnew-DL | SM | ML | DataCat-main | Cat-sub | Comp | Soft |
|-----------------|-------|------|-------|---------|-------|------|
| 2019 [63] | ? | △△ | △ | | | |
| 2019 [145] | △ | ?? | △ | | |
| 2021 [118] | ? | ?? | △ | | |
| 2021 [67] | △ | △△ | | |
| 2022 [12] | ? | | | |
| 2022 [148] | ? | △? | | |
| 2023 [126] | △ | | | |
| 2023 [23] | ? | ?? | | |
| 2023 [213] | △ | | | |
| 2023 [28] | △ | | | |
| 2023 [20] | △ | △? | | |
| 2024 [168] | ? | △? | | |
| 2024 [101] | ? | △? | | |
| 2024 [81] | △ | | | |
| 2024 [110] | △ | | | |
| 2024 [115] | △ | | | |
| 2025 [89] | ? | | | |
| 2025 [136] | △△ | | |
| 2025 [87] | ? | | | |
**我们对TSF相关综述文章的概述**
?：详细覆盖。 △：部分覆盖。DL：深度学习模型。new-DL：最新的DL模型。SM：统计模型。ML：机器学习模型。Cat-main：主要范式的分类（SM、ML、DL和混合模型）。Cat-sub：DL模型的子分类。Comp：不同方法的比较。Soft：软件可用性。
虽然有许多研究评估了TSF模型，但许多研究存在明显局限性。Han等人[63]的早期基准研究提供了有用的见解，但缺乏最新进展。Song等人[168]比较了深度学习模型，但排除了最新的架构和统计及传统ML基线。Parmezan等人[145]主要关注统计和ML模型，对DL的覆盖有限。Chen等人[23]探讨了长序列预测，但没有更广泛的方法论背景。像[12, 89, 101]这样的通用DL综述总结了关键架构，但忽略了最新进展，缺少ML模型的详细信息，也没有评估指标的详细说明。Kim等人[87]提供了更全面的综述，但在统计和ML方法、神经常微分方程及实际软件方面缺乏细节。
还有一些更专门的综述。Oh等人[136]专注于神经常微分方程，而Lin等人[110]在更广泛的时间序列背景下回顾了扩散模型。其他综述针对特定架构，如RNN[67]、GNN[28, 81]和基于Informer的模型[213]。Masini等人[126]全面介绍了TSF的传统和现代ML方法。
鉴于现有综述的局限性以及该领域的快速发展，我们提供了对TSF方法的全面综述，并引入了一个详细的分类系统。与许多专注于深度学习的近期综述不同，我们的综述不仅总结了神经架构，还将它们置于时间序列预测的更广泛方法论背景下。具体来说，我们将统计模型、传统机器学习方法、深度学习方法和混合模型整合在一个统一的分类和比较框架中。此外，除了架构讨论外，我们还强调了基准数据集、评估协议、预测策略、应用领域和软件可用性，以支持方法论理解和实际模型选择。我们的贡献包括：
(1) TSF模型类别的分类：已经提出了多种TSF预测方法，从统计和机器学习方法到现代深度学习架构和混合模型。为了提供结构化的概述，我们在第3节介绍了TSF方法的分类系统，并在第6.1节和第5节讨论了代表性方法论家族和架构。
(2) 评估指标和基准数据集：在研究TSF时，方法和数据及评估指标同样重要。因此，在第4节中，我们详细讨论了常用的基准数据集和评估指标，以获得可靠的评估结果。此外，在第4.2节中，我们讨论了TSF的重要应用领域。
(3) TSF模型的主要方法论分支的比较：为了公平评估现代预测方法，有必要将深度学习方法置于成熟技术的背景下。因此，在第6.1节中，我们比较了统计模型、ML方法、DL架构和混合方法。
(4) DL模型架构的比较：由于可用架构种类繁多且在不同领域的适用性不同，为给定的TSF任务选择合适的DL方法可能具有挑战性。为此，第6.2节和第6.3节提供了定性和定量比较，以帮助指导模型选择。
(5) 实际应用中的软件可用性：现代预测方法，特别是基于DL的方法，通常实现起来复杂且耗时，因此现有的实现对于实际应用非常重要。第5.11节概述了可用的软件包。

**3 时间序列预测模型的分类系统**
3.1 建模方法
对于TSF，可以区分四种不同的方法论方法（见图3和图4）：
1. 统计模型（ARIMA、指数平滑等）。
2. 机器学习模型（SVR、随机森林等）。
3. 深度学习模型（RNN、Transformer等）。
**图3. 时间序列预测的方法论方法分类系统，包括四个主要分支（详见第4节）。**该图提供了一个示例性概述，而非所有可用TSF方法的完整列表。展示了：(1) 机器学习模型，(2) 统计模型，以及(3) 混合模型。
**图4. TSF方法分类系统的第二部分，涵盖(4)深度学习方法。**该图展示了一些具有代表性的模型，而非全面的概述。3.1.1 线性与非线性模型。以下模型代表了捕捉时间序列数据中随机依赖性的经典线性方法，包括Box-Jenkins方法和多元统计模型[62, 166]。此外，我们还简要讨论了非线性扩展，如ARCH和GARCH模型。

AR（自回归模型）：将当前值yt建模为其p个过去值的线性组合。适用于具有自相关的平稳时间序列。yt=?1yt?1+?2yt?2+?+?pyt?p+?t，(1)其中?i是自回归系数，?t是白噪声，该模型表示为AR(p)。

MA（移动平均模型）：将当前值yt建模为过去q个预测误差的线性组合。yt=μ+θ1?t?1+θ2?t?2+?+θq?t?q+?t，(2)其中θi是移动平均系数，μ是序列的平均值，?t是白噪声。该模型表示为MA(q)。

ARMA（自回归移动平均模型）：结合AR和MA组件来建模平稳时间序列：yt=?1yt?1+?+?pyt?p+θ1?t?1+?+θq?t?q+?t，(3)其中?i和θj是AR和MA系数，?t是白噪声。适用于未进行差分的弱平稳序列。

ARIMA（自回归积分移动平均模型）：通过差分d次将ARMA扩展到非平稳序列：yt′=?dyt=(1?B)dyt，(4)其中B是后移算子。然后将ARMA模型应用于差分后的序列：yt′=?1yt?1′+?+?pyt?p′+θ1?t?1+?+θq?t?q+?t，(5)其中?i是AR系数，θj是MA系数，?t是白噪声。ARIMA(p,d,q)通过差分处理趋势并实现平稳性。

SARIMA（季节性ARIMA）：通过加入季节性AR和MA项以及季节性差分来扩展ARIMA。表示为SARIMA(p,d,q)(P,D,Q)s，其中p,d,q是非季节性阶数，P,D,Q是季节性阶数，s是季节性周期。这允许同时对短期和季节性模式进行建模。

ARIMAX（含外生变量的ARIMA）：通过包含影响目标序列的外生协变量xt来扩展ARIMA：yt′=?(B)yt′+θ(B)?t+β?xt，(6)其中?(B)和θ(B)是AR和MA多项式，?t是白噪声，β捕捉xt对差分后序列yt′的影响。这使模型能够同时考虑外部影响和内部动态。

VAR（向量自回归）：AR的多变量泛化。对于一个k维时间序列向量yt：yt=A1yt?1+A2yt?2+?+Apyt?p+?t，(7)其中Ai是k×k的系数矩阵，?t是白噪声向量。该模型通常表示为VAR(p,k)，其中p是滞后阶数，k是变量数量。扩展包括用于非平稳序列的VARIMA（向量ARIMA）、包含外生变量的VARMAX模型以及用于协整序列的向量误差校正模型（VECM）。

也存在非线性扩展，如自回归条件异方差（ARCH）[45]和广义ARCH（GARCH）[13, 44]，这些模型捕捉条件方差而非均值。这些模型能够捕捉时变波动性，在金融和计量经济学中非常有效，特别是在处理二阶动态时。

3.1.2 指数平滑。指数平滑（ES）模型是一类时间序列预测（TSF）技术，通过应用指数递减的权重来估计未来值，从而更重视近期的数据[53, 73]。最简单的形式是简单指数平滑（SES），适用于没有明显趋势或季节性的序列。对于更复杂的序列，Holt的线性趋势方法通过加入趋势成分来扩展SES，而Holt-Winters方法进一步增加了季节性成分。一个全面的泛化是ETS（误差、趋势和季节性）框架，它在统一的统计建模结构下包含了各种指数平滑配置。这些模型具有可解释性、计算效率高，并且在许多实际预测任务中表现良好，尤其是在数据相对较短的情况下。

3.1.3 状态空间模型。状态空间模型（SSMs）特别适合捕捉潜在（未观察到的）动态、处理不规则观测值以及建模时变结构。在这种框架中，观测数据与随时间根据随机转移演变的隐藏状态相关联。一个著名的例子是卡尔曼滤波器，在线性和高斯假设下能够提供最优估计[64]。对于非线性或非高斯系统，扩展卡尔曼滤波器（EKF）提供了扩展[85]。另一个重要的子类是高斯过程（GP）回归，它可以被解释为一个非参数状态空间模型，可以对函数进行分布建模，并自然地提供不确定性估计[200]。此外，贝叶斯结构时间序列（BSTS）模型[162]允许在完全概率框架内模块化地指定趋势、季节性和回归组件。

3.1.4 机器学习模型。许多机器学习模型已被用于TSF，包括基于回归的方法，如线性回归、Lasso和支持向量回归[6, 127]。基于树的模型尤为重要。诸如回归树、XGBoost、梯度提升机（GBM）和其他集成树架构等技术在各种应用中展示了强劲的预测性能[59, 76, 130, 177]。这些模型的一个关键优势在于它们能够捕捉非线性依赖性并处理异构数据。此外，集成学习技术，包括加权平均、装袋和超级学习器，常用于组合多个基础模型，利用它们的多样性来提高鲁棒性和预测准确性[51, 149, 164]。除了基于树和回归的方法外，基于核的方法，如高斯过程回归，提供了灵活的非参数建模，并且可以自然地量化预测中的不确定性。其他技术，如回声状态网络[19]，利用存储计算架构来有效捕捉复杂的时间动态，而无需深度循环网络的完整计算成本。降维方法，如主成分回归或典型相关分析，通常与这些模型结合使用，以减少噪声并提高可解释性。将这些方法整合到混合或集成框架中可以进一步提高预测性能、稳定性和对不同时间序列数据的泛化能力。

3.2 预测策略。在实现TSF方法时，需要决定预测策略，因为有多种选择（见图5）。

图5. 可用于TSF的不同预测策略。A：递归多步预测。B：直接多步预测。C：多输入多输出（MIMO）预测。D：多输入多个多输出（MISMO）预测。

3.2.1 单步预测策略。最常见的TSF策略是预测时间t+1处的下一个数据点yt+1，这称为单步预测。然而，也可以预测h步未来的值：y^t+h=f(yt,yt?1,…),(8)其中h∈{1,…,H}。预测范围H的选择与任务是短期、中期还是长期预测有关。重要的是，这种分类是上下文相关的，因为每个应用都有自己的特征时间尺度。

3.2.2 多步预测策略。设yt是一个单变量时间序列，假设我们希望预测H个未来的值：yt+1,yt+2,…,yt+H。以下是四种常见的预测策略（见图5）：
A. 递归多步预测（RMSF）：训练一个单一模型f进行一步预测，并递归地应用它来生成多个时间范围的预测。y^t+1=f(yt,yt?1,…,yx?p+1)(9)y^t+2=f(y^t+1,yt,…,yt?p+2)(10)?y^t+H=f(y^t+H?1,…,y^t?p+H)(11)
- 优点：简单，重复使用相同的模型。
- 缺点：预测误差可能会随时间累积。

B. 直接多步预测：为每个预测范围h∈{1,…,H}训练单独的模型fh，每个模型都直接从过去数据预测yt+h。y^t+h=fh(yt,yt?1,…,yt?p+1),h=1,…,H。(12)
- 优点：不会累积误差。
- 缺点：需要训练H个模型；忽略未来值之间的依赖性。

C. 多输入多输出（MIMO）预测：训练一个单一模型来联合预测所有H个未来的步骤。[y^t+1,y^t+2,…,y^t+H]=f(yt,yt?1,…,yt?p+1) (13)
- 优点：捕捉未来值之间的依赖性。
- 缺点：模型更复杂；可能需要更多的数据。

D. 多输入多个多输出（MISMO）预测：训练多个MIMO模型，每个模型预测预测范围的不同部分。[y^t+1,y^t+2,y^t+3]=f1(yt,yt?1,…,yt?p+1) (14) [y^t+4,y^t+5,y^t+6]=f2(yt,yt?1,…,yt?p+1) (15)
- 优点：平衡模型复杂性和保持未来时间步骤之间的依赖性。
- 缺点：需要选择合适的块大小。

3.3 模型输入结构。时间序列预测方法还可以根据它们使用的输入变量类型进行分类。例如，以下公式包括三种不同类型的输入：
[y^t+1,y^t+2,…,y^t+H]=f(yt,yt?1,…,yt?p+1,ut,ut?1,…,ut?p+1,st)(16)y^t+1:H=f(yt:t?p+1,ut:t?p+1,st)(17)
其中
- y^t+1:H=(y^t+1,y^t+2,…,y^t+H)∈RH是预测的目标序列
- yt:t?p+1=(yt,yt?1,…,yt?p+1,yt,yt?1,…,yt?p+1)∈Rp是历史内生变量（目标序列的过去值）
- ut:t?p+1=(ut,xt?1,…,ut?p+1,ut,ut?1,…,ut?p+1)∈Rp表示外生变量（已知协变量）
- st表示元数据，提供特定于上下文的信息（例如，产品类别、地区、传感器类型等）。
最常见的TSF模型仅使用内生变量，表示为x^t+1:H=f(xt:t?p+1)。这意味着未来目标值仅使用过去的观测值进行预测。然而，当有额外的外部信息（称为外生变量）可用时，可以使用它们来提高预测性能。从概念上讲，这类似于常微分方程（ODEs）中的非齐次项，它表示作用于系统的外部影响。通常，结合内生和外生输入可以提供更丰富的上下文，并通常导致更准确的预测[7]。尽管这样的模型较少见，但它们在文献中仍然有很好的体现。一个经典的例子是ARIMAX（带外生变量的自回归积分移动平均）[15]，而现代方法包括DeepAR[161]或TimeXer[183]。

相比之下，在TSF模型中使用元数据st仍处于起步阶段。然而，值得注意的是，Dong等人[37]结合了文本元数据，而Lim等人[108]在时间融合变换器中使用了与不同产品相关的静态元数据。

3.4 时间间隔的特性：规则采样与不规则采样。在时间序列预测中，规则时间步骤指的是在一致、均匀间隔记录的观测值——例如每分钟、每小时、每天或每月。经典统计模型本质上假设规则间隔，因为这简化了时间依赖性的建模。相比之下，不规则时间步骤发生在观测值以非均匀间隔记录的情况下，这种情况在许多应用领域（如医疗保健）很常见。处理这种不规则性带来了特定的挑战：过去观测值的影响随时间变化，而像季节性或趋势这样的时间模式可能会失真。现代方法通过插补[132]和专门为不规则数据设计的架构（如时间感知的RNN[11]和适应不均匀间隔的门控循环网络[186]）来解决这些问题。值得注意的是，高斯过程[159]天然适用于在任意时间点记录观测值，不需要特殊修改即可处理不规则时间步骤。

3.5 点预测与概率预测。点预测提供了一个未来的单一最佳估计值，因其简单性而被广泛使用。然而，它们不捕捉不确定性。相比之下，概率预测提供了一个完整的预测分布：y^t+1:H～p(y^t+1:H|yt:t?p+1,ut:t?p+1,st;θ)，(18)其中θ是模型参数。由于真实分布是未知的，因此使用近似值，例如DeepAR[161]假设高斯或负二项式输出，而基于高斯过程的模型[80]提供了一个灵活的贝叶斯框架用于不确定性估计。生成模型引入潜在变量来捕捉不确定性并模拟复杂的、可能是多模态的分布。例如深状态空间模型[155]结合了潜在变量和概率状态空间结构，D3VAE[102]在多步预测中使用VAE来处理潜在动态。或者，蒙特卡洛（MC）dropout[50]估计分布特性，如方差或分位数[54, 212]，并且可以最小限度地修改地应用于许多架构。重要的是，即使预测模型提供了完整的预测分布，方程18中表达的未来观测值的真实潜在分布实际上也是未知的。相反，我们只观察到从这个未知分布中抽取的一个实现结果（每个时间步骤一个点）。因此，评估分数将模型的预测分布与实际观察值（单个实现的数据点）进行比较，而不是与真实的完整分布进行比较。因此，评估分数并不直接评估真实的潜在分布，而是依赖于这些样本点作为可用的真实值。

3.6 学习范式。有多种学习范式定义了学习问题的结构，因为不同的场景需要不同的方法[42]。在TSF中最广泛使用的范式是监督学习，其中模型在历史输入-输出对上进行了训练[126]。它通常假设整个数据集可以提前获得，从而允许全局模型训练，这种设置通常称为批量学习，非常适合离线预测任务。然而，在许多实际应用中，情况不同。在线学习随着新数据的出现逐步更新模型，使其适用于流式环境或非平稳时间序列，其中生成数据的过程可能会随时间变化[150, 189]。TSF中的另一个常见挑战是数据稀疏性，其中有限的观测值妨碍了准确模型的训练。为了解决这个问题，转学习技术被用来利用来自与目标具有结构相似性的相关时间序列或源领域的知识[202]。

4 时间序列数据、应用和评估分数。对TSF方法的稳健评估严重依赖于基准数据集、实际应用和适当的错误指标。因此，以下部分将回顾这些组成部分。4.1 基准。表2提供了时间序列预测中常用的基准数据集的概述。这些数据集是根据第5节中回顾的基于深度学习的TSF研究编译的（另见表4至表8）。它们涵盖了广泛的应用领域，每个领域都有其特定的特点。关于TSF的基准数据集的全面调查，请参见参考文献[61]。

表2. 数据集
注意 | 描述 | 可用性
ETT | 电力变压器温度 | 2016/07至2018/07期间39个变压器站的69个数据，包括负载、油温、位置、气候和需求。采样率=15分钟-1小时。数值范围=17k-69k。 | IEEE [128]
ECL | 电力消耗负载 | 2012至2014年321个客户的电力消耗（千瓦时）。采样率=15分钟。 | Zenodo [58]
Exchange | 汇率 | 1990年至2016年8个不同国家的每日汇率。时间尺度=1天。 | Github [95]
ILI | 类流感疾病 | 2002年至2021年CDC的患者数据，描述了ILI患者与总患者数的比例。时间尺度=1周。 | Github [79]
M4M | M4-competition | 包括人口统计、宏观经济、微观经济和金融数据在内的100,000个时间序列。时间尺度=1小时-1年 | Kaggle [93]
Solar | 太阳能发电 | 2006年137个光伏电站的记录。时间尺度=10分钟。 | Github [95]
Traffic | 道路占用率 | 2015年至2016年旧金山湾区862个传感器的道路占用率数据。时间尺度=1小时。 | Github [95]
Weather | 气候数据 | 2020年收集的21个气象指标数据，如空气温度等。时间尺度=10分钟。 | NCEI [134]
PeMS | 行车速度测量系统 | 2017年加州325个传感器的行车速度数据。时间尺度=5分钟。 | Github [104]
MuJoCo | 物理引擎用于控制模拟数据生成 | 多关节动态与接触。先进的机器人、生物力学和图形模拟器 | Github [178]

**常用的TSF基准数据集**
| 时间尺度（Sample Rate） | 样本数量（Number of Samples） |
| --- | --- |
| SR=15min-1h | NS=39 |
| SR=17k-69k | NS=69 |
| SR=15min | NS=26,304 |
| SF-1d | NS=7,588 |
| SF=1w | NS=966 |
| SR=1h-1y | NS=10,000 |
| SF=10min | NS=52,560 |
| SF=1h | NS=17,544 |
| SF=10min | NS=52,695 |

**重要相对误差分数概述**
表4.

A: 用于TSF的前馈神经网络模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2014 | DBN [94] | CATS基准 | 深层信念网络 | 使用堆叠概率表示的分层特征学习 |
| 2019 | N-BEATS [141] | M3, M4, Tourism | 深度残差堆叠+装袋 | 可解释的残差预测架构 |
| 2023 | DLinear [204] | ETT, ECL, Weather, Traffic, Exchange | 序列分解+线性聚合 | 基于轻量级分解的预测，具有强大的可扩展性 |
| 2023 | FreTS [203] | ECL, Solar, Wiki, Traffic, ECG, METR-LA, COVID-19 | 时域到频域转换+MLP | 多变量TSF的频域时间表示学习 |
| 2023 | TiDE [31] | ETT, ECL, Weather, Traffic | MLP + 编解码器架构 | 高效的密集时间表示学习，适用于长预测范围 |

B: 用于TSR的基于RNN的模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2015 | LSTM [123] | RTMS | 检测器速度数据 | 长短期记忆网络 | 带门控记忆机制的序列依赖学习 |
| 2008 | NARX-RNN [36] | 各种混沌时间序列 | RNN + 非线性自回归+外生输入 | 带外部协变量的非线性时间建模 |
| 2017 | DA-RNN [153] | SML 2010, NASDAQ 100 | LSTM + 双阶段注意力+外生变量 | 输入和时间注意力，用于可解释的多变量预测 |
| 2019 | GRU [26] | 比特币价格 | 门控循环单元 | 计算效率高的循环序列建模 |
| 2020 | AD-DeepESN [88] | S&P 500, Parking, Philadelphia温度, Bike sharing | 回声状态网络+加性分解 | 结合趋势和季节性分解的水库计算 |
| 2020 | DeepAR [161] | 零件, ECL, Traffic | 自回归RNN | 共享全局表示的概率自回归预测 |
| 2023 | WITRAN [78] | ETT, ECL, Traffic, Weather | RNN + 双粒度时间流 | 用于长序列预测的分层时间交互建模 |

**表5. 基于Transformer的TSF模型**
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2019 | TCN [208] | Birmingham Traffic | 因果和扩展卷积+拓扑优化 | 用于长接收场的时序卷积和高效序列建模 |
| 2019 | M-TCN [181] | Beijing PM2.5, ISO-NE | 卷积+扩展卷积+残差块 | 多变量预测与分层时间特征提取 |
| 2019 | M-GTCN [116] | Microsoft股票, Chaotic TS, Beijing PM2.5, 家用电器能源 | 1D全卷积网络+因果卷积 | 多变量TSF的因果时间依赖建模 |
| 2019 | DSANet [71] | 加油站收入 | CNN + 自注意力+自回归组件 | 结合局部卷积特征与全局注意力机制 |
| 2022 | SCINet [114] | ETT, ECL, Traffic, Solar, PeMS, Exchange | 递归CNN编解码器架构 | 用于长序列预测的分层时间交互学习 |
| 2023 | TimesNet [193] | ETT, ECL, Traffic, Weather, Exchange, ILI | 带卷积块的时域2D变化建模 | 多种TS模式下的多周期时间表示学习 |
| 2024 | ModernTCN [121] | ETT, ECL, Weather, Traffic, Exchange, ILI | 深度卷积+ConvFFN+堆叠架构 | 高效的大规模时间建模 |

表6. 基于Transformer的TSF模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2019 | LogSparse [100] | ECL, Traffic, Solar, M4 | 变压器+卷积自注意力 | 用于高效长序列依赖建模的稀疏注意力机制 |
| 2020 | Informer [210] | ETT, ECL, Weather | 变压器+稀疏注意力+蒸馏 | 用于可扩展长序列预测的高效Transformer架构 |
| 2021 | TFT [108] | ECL, Traffic, Retail, Volatility | 变压器+可解释的多头注意力 | 带静态和动态协变量的可解释时间注意力 |
| 2021 | Autoformer [194] | ETT, ECL, Exchange, Traffic, Weather, ILI | 变压器+序列分解+自相关 | 基于分解的时间表示学习，适用于长预测范围 |
| 2022 | FEDformer [211] | ETT, ECL, Exchange, Traffic, Weather, ILI | 变压器+频率增强分解，用于高效长距离预测 |
| 2023 | Crossformer [207] | ETT, Weather, ECL, ILI, Traffic | 变压器+双注意力 | 带分层注意力的跨维度依赖建模 |
| 2023 | PatchTST [133] | ETT, ECL, Weather, Traffic, ILI | 变压器+块分割+通道独立性 | 用于可扩展多变量TSF的基于块的时间标记化 |
| 2024 | iTransformer [117] | ECL, ETT, Exchange, Traffic, Weather, Solar, PEMS | 变压器+反向注意力维度 | 用于多变量预测的变量中心注意力机制 |
| 2024 | TimeXer [183] | ETT, ECL, Weather, Traffic, Exchange, ILI, EPF | 变压器+外生变量 | 结合内生和外生时间表示 |
| 2025 | Diffinformer [97] | ETT, ECL, Weather | 变压器+概率注意力+扩散 | 基于扩散的概率序列预测，带稀疏注意力 |
| 2025 | MSA-LR [170] | ECL, ETT, PeMS, Traffic, Energy, Air | 变压器+多尺度自注意力+低秩近似 | 多尺度时间表示学习，降低复杂性 |
| 2025 | AFMT [106] | ETT, ECL, Weather, Traffic, fMRI | 多尺度Transformer+FFT | 基于CNN的TSF模型 |

表7. 基于GNN的TSF模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2018 | DCRNN [105] | METR-LA, PEMS-BAY | 扩散图卷积+编码器-解码器RNN+定时采样 | 使用图扩散和循环动态的时空依赖学习 |
| 2020 | MTGNN [198] | Solar, ECL, Traffic, Exchange | 混合跳图卷积+时间扩展卷积 | 适应性图学习，用于短中期和长期时间依赖 |
| 2020 | StemGNN [17] | ECL, Solar, Traffic, PeMS | 潜在相关层+谱图卷积 | 多变量TSF的联合谱时依赖建模 |
| 2023 | MAGNN [21] | ECL, Solar, Traffic, Exchange, Nasdaq, METR-LAG | NN + CNN + 适应性图学习 | 多尺度时空特征提取 |
| 2024 | GFC-GNN (ForecastGrapher) [16] | ETT, Weather, Electricity, Exchange, Traffic, PeMS | 潜在相关+组特征卷积 | 用于可扩展多变量预测的组级图表示学习 |

B: 用于TSF的生成模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2021 | TimeGrad [157] | ECL, Traffic, Solar, Exchange, Taxi | 自回归扩散模型+RNN | 用于不确定性感知的序列生成 |
| 2022 | D3VAE [102] | ETT, ECL, Traffic, Weather, Wind | 变分自动编码器+扩散动态 | 潜在概率时间表示学习 |
| 2022 | TSF-CGANS [72] | DKASC的PV系统 | 条件GAN + CNN + Bi-LSTM | 用于概率可再生能源预测的对抗学习 |
| 2024 | Time-LLM [82] | ECL, ETT, Weather, Traffic, ILI | LM + Prompt-as-Prefix (PaP) | 大语言模型适应，用于时间表示学习 |
| 2025 | LLIAM [55] | ECL, ETT, Weather, Traffic, M3, NN5 | LLM + 低秩适应（LoRA） | 用于TSF的迁移学习和参数高效适应 |

表8. 基于Mamba的TSF模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2024 | TimeMachine [1] | ETT, ECL, Traffic, Weather | 基于Mamba的状态空间架构 | 高效的长序列时间建模，线性复杂度 |
| 2025 | S-Mamba [184] | Solar, ECL, Traffic, Exchange | 双向Mamba + FFN-TD | 多变量TSF的双向时间依赖学习 |
| 2025 | DPEM [70] | ETT, ECL, Traffic, Exchange | MSCM + AGC | 多尺度时间表示学习与自适应图建模 |
| 2025 | Affirm [197] | ETT, ECL, Traffic, Weather, Exchange | IDMB + AFFB | 用于长预测范围的适应特征融合和交互建模 |
| 2025 | SAMForecast [147] | ECL, ETT, Traffic, Weather, Exchange | Mamba + 注意力+小波分解 | 混合时间-频率表示学习，用于LSTF |
| 2025 | DualMamba [187] | ECL, ETT, Weather, Solar | 双Mamba（内部块+块间） | 在局部和全局尺度上的分层时间依赖建模 |

B: 用于TSF的神经常微分方程模型
| 年份 | 模型 | 数据集 | 技术 | 关键建模特性 |
| --- | --- | --- | --- |
| 2019 | GRU-ODE-Bayes [33] | 临床和气候数据 | GRU-ODE + 贝叶斯更新 | 用于不规则采样数据的连续时间时间建模 |
| 2023 | MTGODE [84] | ECL, Solar, Traffic | 图卷积+连续时间注意力 | 连续时间中的联合图时间动态建模 |
| 2023 | Neural Lap [98] | ETT, Weather, PeMS | 潜在NCDE + 注意力+趋势变换 | 潜在的连续时间时间表示学习 |
| 2024 | ANCDE [77] | Google股票 | NCDE + 注意力机制 | 带注意力增强的连续时间序列建模 |
| 2025 | Dual Dynamics [139] | Google股票, MuJoCo | NCDE + 神经流 | 结合的潜在动态建模，用于非线性时间演化 |
| 2025 | MTEC-AODE [25] | 交通数据 (PeMS, METR-LA) | 多时间尺度增强神经常微分方程+GNN | 多尺度时空连续时间预测 |

4.2 应用
时间序列预测研究的一个主要驱动力是其在现实世界中的广泛应用。下面我们将讨论五个关键应用领域：健康科学、生命科学、金融和经济、气候与能源以及工程和工业系统。
在健康和生命科学中，TSF的应用非常多样，涵盖多个子领域，包括流行病学、健康经济学、医学、生理学和农业。具体来说，TSF在流行病学中起着关键作用，可以通过预测流行病爆发来及时采取公共卫生干预措施[56]。同样，在健康经济学中，预测模型利用TSF来预测急诊室入院等情况，从而支持医疗资源的更有效分配[69]。此外，TSF与可穿戴设备和物联网（IoT）技术的数据集成正在改变临床和预防性护理。通过提供连续监控，TSF支持脆弱或老年人的健康和福祉[39]。TSF在生理学中也有重要意义，利用心电图（ECG）数据预测心电活动可以揭示关于睡眠呼吸暂停或其他异常的宝贵信息[152]。此外，使用TSF预测脑电图（EEG）信号对于建立脑-计算机接口至关重要，具有神经美学等应用[143]。最后，在农业中，TSF被用于产量预测，这对知情规划具有重要的经济意义[142]。
金融和经济领域长期以来一直认识到TSF的重要性，预测未来值对于做出明智决策至关重要[163]。在这个领域，预测股票价值与预测宏观经济指标（如汇率、通货膨胀率、利率和GDP）同等重要[49]。此外，TSF在微观经济学中发挥着重要作用，准确预测销售、消费者行为和信用风险可以为企业和公司提供竞争优势[46]。
气候和能源领域也显著受益于TSF，它在三个主要领域得到应用：天气预测、可再生能源功率预测和能源需求预测。随着世界向可再生能源的转变，准确预测太阳能和风能发电量对于确保可靠的能源供应至关重要[9]。天气预测同样重要，它能够提前预警极端天气事件（如洪水），从而帮助减轻其影响[66]。此外，能源需求预测在预测一个国家的总体能源需求方面起着关键作用，支持可持续发展和知情决策[169]。最后，工程和工业系统在三个关键领域利用TSF：供应链管理、交通运输和智能制造[131]。例如，TSF用于预测需求、优化库存和简化采购。然而，由于它对大误差非常敏感（因为使用了平方运算），所以很容易受到异常值的影响。加权绝对百分比误差（WAPE）（见表3）通过观测序列的幅度来衡量总的绝对预测误差，提供了一种类似百分比的预测准确性视角。与MAPE不同，它通过使用实际值的总和作为分母来避免除以零的情况，尽管当这个总和非常小时，它也可能变得敏感。最后，相对均方根误差（RRMSE）[75]（见表3）由于使用了平方运算，对较大误差的惩罚更重，并且标准化确保了误差以比率或百分比的形式表示。

4.3.2 概率预测
负对数似然（NLL）用于衡量预测的概率分布解释实际观测数据的能力。它会对分配给真实值的低概率进行惩罚。NLL = ?∑_{i=1}^{H} log(p(y_i|θ)（25），其中p(y_i|θ)来自预测模型。较低的NLL表示模型给观测值分配了更高的概率，这意味着更好的概率预测。只有当模型产生完整的预测分布时（例如高斯分布、负二项分布），才能使用NLL。

连续排名概率分数（CRPS）[57]用于衡量预测的累积分布函数（CDF）F(z)与观测值y的经验CDF之间的准确性。它可以被解释为MAE（1/H∑_{i=1}^{H}|y_i^?y|）在概率预测中的推广。CRPS定义为CRPS = ∫_{?∞}^{∞}(F(z)?1){z≥y}2dz（26），F(y) = ∫_{?∞}^{y} p(u|θ)du（27），其中p(y|θ)由预测模型给出，1{z≥y}是一个指示函数。CRPS的分数范围在[0,∞)内，分数越低表示预测越准确。与NLL不同，CRPS可以应用于参数化和非参数化（例如基于集成的）预测模型。然而，在非参数化设置中，必须数值估计CDF。

分位数损失（QL）对于分位数水平τ∈(0,1)定义为QL = 1/H∑_{t=1}^{H}{τ?(y_t?y^{(τ)}) 如果 y_t≥y^{(τ)}，(1?τ)?(y^{(τ)}?y) 如果 y_t
5 深度学习模型
深度学习方法在时间序列预测（tsf）中的应用可以分为九种主要架构类型（见图4）：前馈神经网络（fnns）、循环神经网络（rnns）、卷积神经网络（cnns）、变换器（transformers）、图神经网络（gnns）、生成模型（gennns）、基于mamba的模型、神经常微分方程（neural ode）模型以及基础模型（fm）。

5.1 前馈神经网络模型
fnns在时间序列预测中的应用可以追溯到20世纪80年代，早期的工作集中在径向基函数神经网络（rbf-nns）[185]和mlps [205]上。虽然这些早期模型较浅，但2010年代出现了更深层次的架构，如深度信念网络（dbns）[94]。最近的发展包括n-beats [141]、dlinear [204]、frets [203]和时间序列密集编码器（tide）[31]（见表4 a）。基于fnn的模型的一个显著优势是它们的运行效率，这使它们在计算资源受限的情况下特别适用。

5.2 基于rnn的模型
类似的早期方法基于rnns。基础架构如elman网络[41]、长短期记忆（lstm）[68]和echo状态网络（esns）[120]在1990年代和2000年代发展起来，为时间序列的序列建模奠定了基础。其中，lstm因其能够捕捉长-range依赖性和缓解梯度消失问题而特别突出，成为许多tsf应用的标准基线。最近的扩展包括门控循环单元（gru）[26]，它提供了一个简化但有效的lstm替代方案，以及双阶段注意力基rnn（da-rnn）[153]，它引入了注意力机制以提高可解释性和性能。概率rnn变体如deepar[161]通过允许概率预测并将外生变量（协变量）纳入预测过程来推进这一领域。最近提出的witran[78]通过结合rnn动态和分层注意力机制进一步改进了长序列预测。有关rnn的概述，请参见表4 b。

5.3 卷积神经网络模型
最早也是最具影响力的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止来自未来的信息泄露，并使用扩张卷积来有效建模tsf所需的长-range依赖性[208]。

近年来，几种有影响力的基于cnn的模型塑造了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]是一个重大进展，它引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改进长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。

5.4 变换器模型
变换器已成为tsf的强大模型类别，因为它们能够捕捉长-range依赖性和复杂的时间模式。最初为自然语言处理设计的变换器架构利用自注意力机制来关联序列中的不同位置，使其自然适用于需要跨时间建模关系的任务。在tsf中，早期的模型如时间融合变换器（tft）引入了基于注意力的机制以及可解释的变量选择和门控，以处理多变量输入并产生准确的多时域预测。后续模型如informer和autoformer通过引入稀疏注意力和基于自相关的依赖性建模等创新，提高了可扩展性和效率，特别是在长期预测方面（见表6）。

5.5 图神经网络模型
gnns已被应用于时间序列预测，尤其是在具有变量间依赖性的多变量环境中。即使没有明确的空间信息，也可以构建图来捕捉变量之间的潜在关系。节点通常代表具有时间序列数据的变量或实体，边反映了统计、功能或学习到的依赖性，或者在有此类信息时反映空间邻近性。gnns从图中编码节点交互，而时间动态则使用循环单元、时间卷积或注意力来建模。通过整合关系学习和时间建模，时空gnns可以有效地预测未来值，而无需预定义的空间布局[27]。

最早的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止信息泄露，并使用扩张卷积来有效地建模tsf所需的长-range依赖性[208]。

近年来，几种有影响力的基于cnn的模型推动了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改善长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。

5.6 生成模型
生成模型将输入时间序列映射到一个潜在空间，使得可以学习时间序列的固有数据分布，并提供压缩和结构化的数据表示，捕捉重要的模式和依赖性。潜在空间包含不可直接观察到的特征，但这些特征提供了更丰富的信息，编码了时间序列的关键特征，如季节性、长期趋势或异常信号[102]。然后，模型将潜在表示解码成预测，并根据从潜在特征中学到的内容来预测后续值。例如，变分自编码器（vaes）从潜在空间中的概率分布中采样，以生成多个可能的未来结果。采样捕捉了不确定性，使模型能够生成灵活的概率预测。genai在预测方面的另一个优势是数据增强，它生成虚拟样本以捕捉数据分布的特性，并创建具有特定属性的合成时间序列数据[3, 30, 209]。几种模型，如变分自编码器、生成对抗网络、扩散模型、自回归生成模型、条件可逆神经网络、混合模型等，在预测时很有用，特别是在数据缺失、处理时间延迟和传统模型中的累积误差以及预测中的不确定性挑战时[48, 112, 151, 192]。timegrad[157]是一种用于多变量时间序列的概率预测模型，它结合了rnn编码的时间上下文和条件去噪扩散模型来捕捉复杂的依赖性和不确定性。d3vae[102]假设可以从输入序列派生的潜在变量生成未来时间点。为此，它集成了噪声增强、新颖的生成模型和去噪技术，以提高时间序列预测的准确性和可靠性。tsf-cgans[72]是一种点预测模型，结合了条件gans、cnn和bi-lstm，从历史数据和气象数据中学习复杂的非线性模式，以预测光伏（pv）功率值（见表7 b）。

time-llm[82]重新利用大型语言模型（llms）进行长期时间序列预测，通过将时间序列数据与llm输入空间对齐。它将时间序列重编程为类似文本的原型，并使用prompt-as-prefix (pap)机制来丰富上下文并指导序列推理。llm处理这些转换后的片段，然后生成预测。该框架使time-llm能够捕捉复杂的长-range依赖性，在扩展时域预测任务上取得了与专用tsf模型相当的强性能。类似地，lliam[55]通过使用低秩适应（lora）适配llms进行时间序列预测，能够在时间序列数据集上进行高效微调，同时利用llm的固有序列建模能力进行长期预测。

5.7 mamba模型
mamba是一种基于结构化状态空间序列模型的新架构（见表8 a）。它随着序列长度线性扩展，允许高效建模长序列，显著降低了基于transformer的模型的典型计算成本[1, 99, 206]。已经开发了几种基于mamba的时间序列预测架构。例如，timemachine[1]使用集成的四重mamba设计来统一多尺度内容选择中的通道混合和通道独立性。s-mamba[184]引入了双向mamba块来建模变量间相关性，以及前馈网络来建模时间依赖性，平衡了效率和准确性。dpem[70]结合了多尺度卷积mamba（mscm）模块来捕捉重复的时间模式，以及自适应图卷积mamba（agcm）模块来建模空间依赖性。多头交叉注意力机制进一步实现了空间和时间特征之间的双向交互。

wu等人[197]指出了现有mamba模型的局限性，特别是在低频数据上的性能不一致，这揭示了在稀疏时间采样下捕捉长期依赖性的弱点。为了解决这个问题，他们提出了自适应傅里叶滤波器交互式mamba（affirm），这是一种轻量级和通用的时间序列模型。affirm结合了自适应傅里叶滤波块（affb），在频率域中使用傅里叶变换、自适应阈值和学习滤波器来捕捉短期和长期模式。此外，交互式双mamba块（idmb）增强了时间特征提取。

基于类似动机，samforecast[147]引入了一种混合架构，结合了自适应小波分解、transformer自注意力和选择性状态空间建模。它的自适应小波块动态调整分解层次和基函数，消除了手动调整的需要，并通过结合多分辨率小波分析、注意力和基于mamba的建模，捕捉了全局依赖性和局部时间结构，提高了鲁棒性和多变量预测性能。 5 深度学习模型 深度学习方法在时间序列预测（tsf）中的应用可以分为九种主要架构类型（见图4）：前馈神经网络（fnns）、循环神经网络（rnns）、卷积神经网络（cnns）、变换器（transformers）、图神经网络（gnns）、生成模型（gennns）、基于mamba的模型、神经常微分方程（neural ode）模型以及基础模型（fm）。 5.1 前馈神经网络模型 fnns在时间序列预测中的应用可以追溯到20世纪80年代，早期的工作集中在径向基函数神经网络（rbf-nns）[185]和mlps [205]上。虽然这些早期模型较浅，但2010年代出现了更深层次的架构，如深度信念网络（dbns）[94]。最近的发展包括n-beats [141]、dlinear [204]、frets [203]和时间序列密集编码器（tide）[31]（见表4 a）。基于fnn的模型的一个显著优势是它们的运行效率，这使它们在计算资源受限的情况下特别适用。 5.2 基于rnn的模型 类似的早期方法基于rnns。基础架构如elman网络[41]、长短期记忆（lstm）[68]和echo状态网络（esns）[120]在1990年代和2000年代发展起来，为时间序列的序列建模奠定了基础。其中，lstm因其能够捕捉长-range依赖性和缓解梯度消失问题而特别突出，成为许多tsf应用的标准基线。最近的扩展包括门控循环单元（gru）[26]，它提供了一个简化但有效的lstm替代方案，以及双阶段注意力基rnn（da-rnn）[153]，它引入了注意力机制以提高可解释性和性能。概率rnn变体如deepar[161]通过允许概率预测并将外生变量（协变量）纳入预测过程来推进这一领域。最近提出的witran[78]通过结合rnn动态和分层注意力机制进一步改进了长序列预测。有关rnn的概述，请参见表4 b。 5.3 卷积神经网络模型 最早也是最具影响力的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止来自未来的信息泄露，并使用扩张卷积来有效建模tsf所需的长-range依赖性[208]。 近年来，几种有影响力的基于cnn的模型塑造了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]是一个重大进展，它引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改进长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。 5.4 变换器模型 变换器已成为tsf的强大模型类别，因为它们能够捕捉长-range依赖性和复杂的时间模式。最初为自然语言处理设计的变换器架构利用自注意力机制来关联序列中的不同位置，使其自然适用于需要跨时间建模关系的任务。在tsf中，早期的模型如时间融合变换器（tft）引入了基于注意力的机制以及可解释的变量选择和门控，以处理多变量输入并产生准确的多时域预测。后续模型如informer和autoformer通过引入稀疏注意力和基于自相关的依赖性建模等创新，提高了可扩展性和效率，特别是在长期预测方面（见表6）。 5.5 图神经网络模型 gnns已被应用于时间序列预测，尤其是在具有变量间依赖性的多变量环境中。即使没有明确的空间信息，也可以构建图来捕捉变量之间的潜在关系。节点通常代表具有时间序列数据的变量或实体，边反映了统计、功能或学习到的依赖性，或者在有此类信息时反映空间邻近性。gnns从图中编码节点交互，而时间动态则使用循环单元、时间卷积或注意力来建模。通过整合关系学习和时间建模，时空gnns可以有效地预测未来值，而无需预定义的空间布局[27]。 最早的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止信息泄露，并使用扩张卷积来有效地建模tsf所需的长-range依赖性[208]。 近年来，几种有影响力的基于cnn的模型推动了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改善长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。 5.6 生成模型 生成模型将输入时间序列映射到一个潜在空间，使得可以学习时间序列的固有数据分布，并提供压缩和结构化的数据表示，捕捉重要的模式和依赖性。潜在空间包含不可直接观察到的特征，但这些特征提供了更丰富的信息，编码了时间序列的关键特征，如季节性、长期趋势或异常信号[102]。然后，模型将潜在表示解码成预测，并根据从潜在特征中学到的内容来预测后续值。例如，变分自编码器（vaes）从潜在空间中的概率分布中采样，以生成多个可能的未来结果。采样捕捉了不确定性，使模型能够生成灵活的概率预测。genai在预测方面的另一个优势是数据增强，它生成虚拟样本以捕捉数据分布的特性，并创建具有特定属性的合成时间序列数据[3, 30, 209]。几种模型，如变分自编码器、生成对抗网络、扩散模型、自回归生成模型、条件可逆神经网络、混合模型等，在预测时很有用，特别是在数据缺失、处理时间延迟和传统模型中的累积误差以及预测中的不确定性挑战时[48, 112, 151, 192]。timegrad[157]是一种用于多变量时间序列的概率预测模型，它结合了rnn编码的时间上下文和条件去噪扩散模型来捕捉复杂的依赖性和不确定性。d3vae[102]假设可以从输入序列派生的潜在变量生成未来时间点。为此，它集成了噪声增强、新颖的生成模型和去噪技术，以提高时间序列预测的准确性和可靠性。tsf-cgans[72]是一种点预测模型，结合了条件gans、cnn和bi-lstm，从历史数据和气象数据中学习复杂的非线性模式，以预测光伏（pv）功率值（见表7 b）。 time-llm[82]重新利用大型语言模型（llms）进行长期时间序列预测，通过将时间序列数据与llm输入空间对齐。它将时间序列重编程为类似文本的原型，并使用prompt-as-prefix (pap)机制来丰富上下文并指导序列推理。llm处理这些转换后的片段，然后生成预测。该框架使time-llm能够捕捉复杂的长-range依赖性，在扩展时域预测任务上取得了与专用tsf模型相当的强性能。类似地，lliam[55]通过使用低秩适应（lora）适配llms进行时间序列预测，能够在时间序列数据集上进行高效微调，同时利用llm的固有序列建模能力进行长期预测。 5.7 mamba模型 mamba是一种基于结构化状态空间序列模型的新架构（见表8 a）。它随着序列长度线性扩展，允许高效建模长序列，显著降低了基于transformer的模型的典型计算成本[1, 99, 206]。已经开发了几种基于mamba的时间序列预测架构。例如，timemachine[1]使用集成的四重mamba设计来统一多尺度内容选择中的通道混合和通道独立性。s-mamba[184]引入了双向mamba块来建模变量间相关性，以及前馈网络来建模时间依赖性，平衡了效率和准确性。dpem[70]结合了多尺度卷积mamba（mscm）模块来捕捉重复的时间模式，以及自适应图卷积mamba（agcm）模块来建模空间依赖性。多头交叉注意力机制进一步实现了空间和时间特征之间的双向交互。 wu等人[197]指出了现有mamba模型的局限性，特别是在低频数据上的性能不一致，这揭示了在稀疏时间采样下捕捉长期依赖性的弱点。为了解决这个问题，他们提出了自适应傅里叶滤波器交互式mamba（affirm），这是一种轻量级和通用的时间序列模型。affirm结合了自适应傅里叶滤波块（affb），在频率域中使用傅里叶变换、自适应阈值和学习滤波器来捕捉短期和长期模式。此外，交互式双mamba块（idmb）增强了时间特征提取。>
5 深度学习模型
深度学习方法在时间序列预测（tsf）中的应用可以分为九种主要架构类型（见图4）：前馈神经网络（fnns）、循环神经网络（rnns）、卷积神经网络（cnns）、变换器（transformers）、图神经网络（gnns）、生成模型（gennns）、基于mamba的模型、神经常微分方程（neural ode）模型以及基础模型（fm）。

5.1 前馈神经网络模型
fnns在时间序列预测中的应用可以追溯到20世纪80年代，早期的工作集中在径向基函数神经网络（rbf-nns）[185]和mlps [205]上。虽然这些早期模型较浅，但2010年代出现了更深层次的架构，如深度信念网络（dbns）[94]。最近的发展包括n-beats [141]、dlinear [204]、frets [203]和时间序列密集编码器（tide）[31]（见表4 a）。基于fnn的模型的一个显著优势是它们的运行效率，这使它们在计算资源受限的情况下特别适用。

5.2 基于rnn的模型
类似的早期方法基于rnns。基础架构如elman网络[41]、长短期记忆（lstm）[68]和echo状态网络（esns）[120]在1990年代和2000年代发展起来，为时间序列的序列建模奠定了基础。其中，lstm因其能够捕捉长-range依赖性和缓解梯度消失问题而特别突出，成为许多tsf应用的标准基线。最近的扩展包括门控循环单元（gru）[26]，它提供了一个简化但有效的lstm替代方案，以及双阶段注意力基rnn（da-rnn）[153]，它引入了注意力机制以提高可解释性和性能。概率rnn变体如deepar[161]通过允许概率预测并将外生变量（协变量）纳入预测过程来推进这一领域。最近提出的witran[78]通过结合rnn动态和分层注意力机制进一步改进了长序列预测。有关rnn的概述，请参见表4 b。

5.3 卷积神经网络模型
最早也是最具影响力的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止来自未来的信息泄露，并使用扩张卷积来有效建模tsf所需的长-range依赖性[208]。

近年来，几种有影响力的基于cnn的模型塑造了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]是一个重大进展，它引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改进长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。

5.4 变换器模型
变换器已成为tsf的强大模型类别，因为它们能够捕捉长-range依赖性和复杂的时间模式。最初为自然语言处理设计的变换器架构利用自注意力机制来关联序列中的不同位置，使其自然适用于需要跨时间建模关系的任务。在tsf中，早期的模型如时间融合变换器（tft）引入了基于注意力的机制以及可解释的变量选择和门控，以处理多变量输入并产生准确的多时域预测。后续模型如informer和autoformer通过引入稀疏注意力和基于自相关的依赖性建模等创新，提高了可扩展性和效率，特别是在长期预测方面（见表6）。

5.5 图神经网络模型
gnns已被应用于时间序列预测，尤其是在具有变量间依赖性的多变量环境中。即使没有明确的空间信息，也可以构建图来捕捉变量之间的潜在关系。节点通常代表具有时间序列数据的变量或实体，边反映了统计、功能或学习到的依赖性，或者在有此类信息时反映空间邻近性。gnns从图中编码节点交互，而时间动态则使用循环单元、时间卷积或注意力来建模。通过整合关系学习和时间建模，时空gnns可以有效地预测未来值，而无需预定义的空间布局[27]。

最早的基于cnn的时间序列预测模型之一是时间卷积网络（tcn）[10]。tcn是卷积神经网络家族中的一个专门为序列数据设计的架构。它们使用因果卷积来防止信息泄露，并使用扩张卷积来有效地建模tsf所需的长-range依赖性[208]。

近年来，几种有影响力的基于cnn的模型推动了tsf的发展。dsanet[71]通过将cnn与自注意力机制和自回归组件结合，扩展了这一方向，在预测加油站收入方面取得了有竞争力的结果。scinet[114]引入了基于cnn的递归编码器-解码器结构，并在六个基准数据集上展示了改进的性能。timesnet[193]进一步将卷积架构概括化，以处理各种时间模式，并在包括ili和ecl在内的关键基准上取得了强大结果。最近，moderntcn[121]通过深度卷积和堆叠前馈网络改进了时间卷积框架，提供了一种强大且高效的架构，能够在六个不同的数据集上改善长序列tsf。这些模型共同展示了基于cnn的方法在tsf方面的日益成熟和有效性。有关概述，请参见表5。

5.6 生成模型
生成模型将输入时间序列映射到一个潜在空间，使得可以学习时间序列的固有数据分布，并提供压缩和结构化的数据表示，捕捉重要的模式和依赖性。潜在空间包含不可直接观察到的特征，但这些特征提供了更丰富的信息，编码了时间序列的关键特征，如季节性、长期趋势或异常信号[102]。然后，模型将潜在表示解码成预测，并根据从潜在特征中学到的内容来预测后续值。例如，变分自编码器（vaes）从潜在空间中的概率分布中采样，以生成多个可能的未来结果。采样捕捉了不确定性，使模型能够生成灵活的概率预测。genai在预测方面的另一个优势是数据增强，它生成虚拟样本以捕捉数据分布的特性，并创建具有特定属性的合成时间序列数据[3, 30, 209]。几种模型，如变分自编码器、生成对抗网络、扩散模型、自回归生成模型、条件可逆神经网络、混合模型等，在预测时很有用，特别是在数据缺失、处理时间延迟和传统模型中的累积误差以及预测中的不确定性挑战时[48, 112, 151, 192]。timegrad[157]是一种用于多变量时间序列的概率预测模型，它结合了rnn编码的时间上下文和条件去噪扩散模型来捕捉复杂的依赖性和不确定性。d3vae[102]假设可以从输入序列派生的潜在变量生成未来时间点。为此，它集成了噪声增强、新颖的生成模型和去噪技术，以提高时间序列预测的准确性和可靠性。tsf-cgans[72]是一种点预测模型，结合了条件gans、cnn和bi-lstm，从历史数据和气象数据中学习复杂的非线性模式，以预测光伏（pv）功率值（见表7 b）。

time-llm[82]重新利用大型语言模型（llms）进行长期时间序列预测，通过将时间序列数据与llm输入空间对齐。它将时间序列重编程为类似文本的原型，并使用prompt-as-prefix (pap)机制来丰富上下文并指导序列推理。llm处理这些转换后的片段，然后生成预测。该框架使time-llm能够捕捉复杂的长-range依赖性，在扩展时域预测任务上取得了与专用tsf模型相当的强性能。类似地，lliam[55]通过使用低秩适应（lora）适配llms进行时间序列预测，能够在时间序列数据集上进行高效微调，同时利用llm的固有序列建模能力进行长期预测。

5.7 mamba模型
mamba是一种基于结构化状态空间序列模型的新架构（见表8 a）。它随着序列长度线性扩展，允许高效建模长序列，显著降低了基于transformer的模型的典型计算成本[1, 99, 206]。已经开发了几种基于mamba的时间序列预测架构。例如，timemachine[1]使用集成的四重mamba设计来统一多尺度内容选择中的通道混合和通道独立性。s-mamba[184]引入了双向mamba块来建模变量间相关性，以及前馈网络来建模时间依赖性，平衡了效率和准确性。dpem[70]结合了多尺度卷积mamba（mscm）模块来捕捉重复的时间模式，以及自适应图卷积mamba（agcm）模块来建模空间依赖性。多头交叉注意力机制进一步实现了空间和时间特征之间的双向交互。

wu等人[197]指出了现有mamba模型的局限性，特别是在低频数据上的性能不一致，这揭示了在稀疏时间采样下捕捉长期依赖性的弱点。为了解决这个问题，他们提出了自适应傅里叶滤波器交互式mamba（affirm），这是一种轻量级和通用的时间序列模型。affirm结合了自适应傅里叶滤波块（affb），在频率域中使用傅里叶变换、自适应阈值和学习滤波器来捕捉短期和长期模式。此外，交互式双mamba块（idmb）增强了时间特征提取。

基于类似动机，samforecast[147]引入了一种混合架构，结合了自适应小波分解、transformer自注意力和选择性状态空间建模。它的自适应小波块动态调整分解层次和基函数，消除了手动调整的需要，并通过结合多分辨率小波分析、注意力和基于mamba的建模，捕捉了全局依赖性和局部时间结构，提高了鲁棒性和多变量预测性能。>基于Mamba的模型能高效处理长序列数据，提供线性可扩展性、更低的计算成本和更好的内存使用效率，因此非常适合大规模时间序列预测[184]。5.8 神经常微分方程模型（Neural ODE Models）神经常微分方程（见表8 B）是一类深度学习模型，它们使用神经网络来参数化隐藏状态的导数。作为残差网络（residual networks）的连续深度类比，该模型通过求解初始值常微分方程来获得输出，而不是通过堆叠离散层[22]。这种连续时间建模方法特别适合于采样不规则、时间间隔不一致或观测值缺失的时间数据[137]。在序列建模中，编码器将输入映射到一个初始潜在状态，其动态由神经网络参数化的导数定义。常微分方程求解器随时间积分这些动态，解码器通过适当的损失函数将结果状态映射到预测值[191]。Dupont等人[40]指出了连续时间建模的局限性，即神经常微分方程的导数仅依赖于当前状态，每个初始状态会产生唯一的轨迹，这意味着神经常微分方程本质上只学习与输入空间同胚的特征。为了解决这个问题，他们提出了增强型神经常微分方程（Augmented Neural ODEs，ANODEs），通过扩展潜在空间来克服标准自治神经常微分方程的局限性，并在这个更高维的空间中求解常微分方程。这保持了轨迹的唯一性，同时赋予模型灵活性并放宽了标准神经常微分方程的同胚约束。GRU-ODE-Bayes[33]是神经常微分方程模型的改进版本，它结合了GRU的循环结构和常微分方程求解器以及贝叶斯推断，有效地建模临床和气候数据。GRU-ODE-Bayes相对于神经常微分方程的优势在于它可以有效地处理时间间隔不规则的时间序列数据，尤其是当不是所有变量都在同一时间点被观测到时，通过紧密耦合观测处理和常微分方程动态，从而能够捕捉变量之间的相互作用和相关性，使得模型产生更准确的预测且不确定性更低。

基于Mamba的模型有效地处理长序列数据，具有线性可扩展性、较低的计算成本和改善的内存使用效率，使其非常适合大规模时间序列预测[184]。5.8 神经常微分方程模型（Neural ODE Models）神经常微分方程（见表8 B）是一类深度学习模型，它们使用神经网络来参数化隐藏状态的导数。作为残差网络的连续深度类比，模型输出是通过求解初始值常微分方程获得的，而不是通过堆叠离散层[22]。这种连续时间建模方法特别适用于采样不规则、时间间隔不一致或观测值缺失的时间数据[137]。在序列建模中，编码器将输入映射到一个初始潜在状态，其动态由神经网络参数化的导数定义。常微分方程求解器随时间积分这些动态，解码器通过适当的损失函数将结果状态映射到预测值[191]。Dupont等人[40]指出了连续时间建模的局限性，即神经常微分方程的导数仅依赖于当前状态，每个初始状态会产生唯一的轨迹，这使得这些轨迹无法交叉，这意味着神经常微分方程本质上只学习与输入空间同胚的特征。为了解决这个问题，他们提出了增强型神经常微分方程（Augmented Neural ODEs，ANODEs），通过扩展潜在空间来克服标准自治神经常微分方程的局限性，并在这个更高维的空间中求解常微分方程。这保持了轨迹的唯一性，同时赋予模型灵活性并放宽了标准神经常微分方程的同胚约束。GRU-ODE-Bayes[33]是神经常微分方程模型的改进版本，它结合了GRU的循环结构和常微分方程求解器以及贝叶斯推断，有效地建模临床和气候数据。GRU-ODE-Bayes相对于神经常微分方程的优势在于它可以有效地处理时间间隔不规则的时间序列数据，尤其是在不是所有变量都在同一时间点被观测到时，通过紧密耦合观测处理和常微分方程动态，从而能够捕捉变量之间的相互作用和相关性，使得模型产生更准确的预测且不确定性更低。

在神经常微分方程的基础上，Latent ODEs[160]引入了一种变分潜在空间建模方法，用于不规则采样的序列数据，尽管它并非专门为时间序列预测（TSF）设计。后续工作扩展了该模型对多变量和长期预测的能力。MTGODE[84]结合了图卷积和时间注意力机制来捕捉跨序列依赖性，而Neural LAD[98]则结合了潜在的神经控制微分方程（NCDEs）、注意力机制和趋势变换来更好地模拟长期结构。ANCDE[77]通过一个注意力驱动的NCDE框架进一步提高了预测准确性，尤其是在金融时间序列方面。同时，MTEC-AODE[25]通过整合基于图的时空建模、时间卷积和多时间尺度增强型神经常微分方程来解决时空交通预测问题。最近，DualDynamics[139]引入了一种双重潜在架构，结合了隐式的神经控制微分方程组件用于隐藏时间动态和显式的基于流的处理用于细化和稳定。扩展到随机场景，神经随机微分方程（Neural Stochastic Differential Equations，Neural SDEs）[179]可以同时模拟确定性漂移和随机扩散。变体如LSDE、LNSDE和GSDE通过不同的扩散参数化提高了稳定性和预测性能[136, 138]。总体而言，神经常微分方程模型可以被视为混合架构，因为它们通常整合了其他深度学习（DL）架构。然而，由于它们将连续时间动态引入时间序列预测（TSF），在我们的分类体系中被视为一个独立的类别，以强调它们独特的建模能力和捕捉不规则、非均匀时间模式的潜力。

5.9 基础模型另一种最近的时间序列预测方法基于FM[107]。FM的特点是在多样化且异构的时间序列语料库上进行的大规模预训练、高模型容量以及跨领域和任务的一般化能力。与传统的任务特定深度学习模型不同，后者需要为每个数据集或应用单独训练，FM旨在学习通用时间表示，这些表示可以通过零样本推断、少量样本适配或微调转移到下游预测问题中。这种范式代表了时间序列预测的根本转变：研究人员不再专注于为个别数据集设计和训练专门的模型，而是开发广泛适用的预训练系统，以捕获可泛化的时间动态，并减少重复训练的需求。时间序列预测的基础模型示例包括Chronos[8]、Lag-Llama[156]、Moirai[190]和TimesFM[32]。这些模型在大型多样化的时间序列数据集上进行了预训练，使它们能够在无需任务特定重新训练的情况下进行零样本或少量样本预测。Chronos采用基于Transformer的编码器-解码器架构，优化了长范围和多变量预测，有效捕捉全局和局部时间依赖性。Lag-Llama通过整合具有延迟感知的输入来专注于概率预测，实现稳健的多变量预测和不确定性量化。Moirai使用掩码编码器方法处理异构多变量序列，同时学习通用时间表示。TimesFM采用仅解码器架构和基于补丁的时间序列建模，高效捕捉长序列中的长时间模式。这些基础模型展示了预训练的大规模时间序列预测系统的潜力：它们利用了丰富的时间知识，能够快速适应新数据集，并减少了模型设计和训练的重复工作，最终提高了现代时间序列预测的效率和泛化能力。

5.10 混合模型到目前为止讨论的方法都假设存在一个核心概念，足以捕捉准确预测所需的信息。相比之下，混合模型遵循不同的哲学。它们结合了两个或多个基础组件，以利用各自的互补优势[165, 167]。这种方法的动机得到了例如M4竞赛结果的支持，该竞赛得出结论：“混合方法和方法组合是提高预测精度和增加预测价值的前进方向”[124]。早期的基于深度学习的混合模型探索了各种架构组合，例如CNN与RNN的组合（例如LSTNet[96]）、RNN与GNN的组合（例如DCRNN[103]），甚至RNN、CNN和GNN组合在一个框架中（例如RESTFul[196]）。混合模型也被开发用于概率预测，例如HEDL[18]，它使用DBN的集成。最近的努力包括将神经常微分方程与GNN结合（例如STG-NCDE[24]）、结合Mamba和Transformer组件（例如Mambaformer[199]），以及开发像PPTformer[113]这样的集成架构，该架构为极值预测增强了基于Transformer的骨干网络。另一个例子是Lena-TRNN[52]，这是一种结合了潜在能量建模的混合Transformer-RNN模型，用于捕捉多变量时间序列中的内在波动、振荡和趋势。其无解码器的、能量感知的架构通过最小化潜在能量来预测样本，有效地结合了RNN和Transformer的序列建模优势与受物理启发的能量优化，以实现稳健的预测和插补。

为了促进时间序列预测（TSF）方法的无缝应用，有许多软件实现可供使用。表9列出了支持时间序列（TS）库，这些库提供了易于使用的函数调用，用于TSF的深度学习方法。许多TS库和包可以在Python和R等平台上用于建模和预测相关问题。鉴于TS建模和预测的广泛应用以及各种数据类型，这些库必须提供全面的TS建模支持，涵盖多种基于深度学习的方法。关键特性应包括灵活性、可扩展性、直观的API、高效的内存管理以及针对深度学习的GPU支持[111]。不幸的是，许多现有包在各种公共平台上维护不力，导致漏洞、安装问题、可靠性挑战和其他安全漏洞[5, 176]。此外，TS库还应提供简单一致的数据结构以及各种可视化工具，帮助用户理解和探索复杂的时间数据，并内置适合单变量和多变量数据的短期和长期预测的评估指标，以支持开发和应用需求。然而，许多库并不易于使用、性能不佳或缺乏灵活性。在这种情况下，用户必须使用低级库函数来开发自己的模型。

表9. 包含深度学习模型的时间序列预测库及其可用性：
| 包名 | 描述 | 可用性 |
| --- | --- | --- |
| NeuralForecast [140] | 包含各种Transformer、CNN、RNN、KAN、MLP和GNN的单变量和多变量预测，支持外生变量及自动超参数优化 | Python |
| Pythondarts [65] | RNN、N-BEATS、N-HiTS、TCN、Transformer，支持单变量和多变量TS预测及概率预测能力，能够结合历史和静态协变量 | Python |
| Pythontsai [135] | RNN、TCN、LSTM、CNN、Transformer，支持单变量和多变量预测（包括多个未来时间点） | Python |
| Pythongluonts [4] | DeepAR、CNN、RNN、LSTM、Transformer，支持单变量和多变量（通过RNN和LSTM）及分层（RNN）的概率预测 | Python |
| TSLib [182] | 多种DL、Transformer、Mamba、MICN、MultiPatchFormer等新模型，支持长期和短期预测 | Github |
| MvTS [201] | LSTM、GNN、RNN、GCN、DeepAR、Transformer，支持单步和概率预测 |Github |
| TSdeeplearning | RNN、LSTM、GRU，支持单变量时间序列预测 | RtsfgrnnGRNNS |
| FRTimeSFM | Chronos-T5、TiRex等各种DL模型，支持预训练的TSF模型、GNN、RNN、LSTM和Transformer，支持概率和短期及长期预测 | Huggingface |

6 时间序列预测模型的讨论、比较和未来挑战鉴于现有的大量TSF方法，选择一个适合特定应用的模型可能具有挑战性。在本节中，我们比较了前几节讨论的各种TSF模型。首先比较了TSF模型分类法中的四个主要方法分支（见图3），然后详细讨论和比较了深度学习模型。

6.1 TSF模型的主要方法学类别尽管深度学习模型在时间序列预测中取得了成功，但将其能力与统计模型、机器学习模型和混合方法提供的能力进行比较仍然很重要，这些方法共同构成了TSF分类法的主要分支（见图3）。表10展示了主要特征的比较。从这个表中我们可以得出一些观察结果。虽然深度学习模型在处理非线性和多变量问题方面通常表现良好，但它们仍存在一些局限性。主要问题是它们由于黑箱性质而缺乏可解释性，这与ARIMA或VAR等统计模型的透明度和可解释性形成对比[144]。在健康和生命科学等领域，这种局限性尤为明显，因为基于深度学习的TSF模型往往无法为医疗或临床决策提供合理的解释。深度学习模型的另一个显著局限性是数据需求：与统计和机器学习模型相比，它们通常需要更多的数据进行训练。这源于它们复杂的架构和对数据学习模式的依赖，而不是强归纳偏见的整合，可能导致在小数据集上的表现不佳或过拟合。最后，深度学习模型计算要求高，需要大量的资源进行训练和推理。与大多数统计和许多机器学习模型不同，这些模型可以在标准笔记本电脑上高效运行，而深度学习模型通常需要强大的硬件（如GPU或计算集群）才能有效运行，否则运行效率较差。

表10. 标准 | 统计模型 | 深度学习模型 | 混合模型 |
| --- | --- | --- | --- |
| 可解释性 | （★★★） | （★★） | （★） |
| 季节性/趋势 | 内置（ETS、ARIMA） | 外部编码 | 学习自数据 |
| 非线性 | （★） | （★★） | （★★★） |
| 数据效率 | （★★） | （★★） | （★） |
| 运行效率 | （★★★） | （★★） | （★） |
| 可扩展性 | （★） | （★★） | （★★★） |
| 多变量I/O | VAR、ARIMAX、VARIMA | （★★） | （★★★） |
| 预测范围适用性 | 通常为短期到中期 | 短期到中期 | 短期到长期 | 取决于方法 |
| 支持的概率预测 | 常见 | 罕见 | 选择性地支持 |
| 可用性 | （★★★） | （★★） | （★） |
| 领域适用性 | 结构化预测领域（例如计量经济学） | 广泛适用 | 复杂/高维领域 | 任务特定应用 |

图3中四种主要方法学分支的示意性比较这些条目总结了共同特征和趋势，而非严格的分类。高/优秀：★★★；中等：★★；低/差：★。总体而言，虽然深度学习方法在许多TSF基准测试中取得了先进性能，但其优势并非普遍适用。实证研究表明，在涉及大规模数据集、复杂非线性动态、多变量依赖性、长时间预测范围或异构外源信息的场景中，深度学习架构特别具有竞争力。相比之下，传统的统计方法和简单的机器学习模型在小型数据集、强季节性或低噪声序列以及需要可解释性、计算效率或鲁棒性的应用中仍然具有很强的竞争力。此外，最近的基准测试表明，包括线性模型和精心调优的统计基线在内的简单架构在一系列实际预测场景中也能表现良好，特别是当潜在时间结构相对简单时。因此，TSF中的模型选择不仅应基于预测准确性，还应考虑数据特征、计算限制、可解释性要求和应用特定目标。

6.2 深度学习架构的比较接下来，我们比较了不同的深度学习架构下的TSF模型（见表11）。有几个发现值得注意。首先，捕捉季节性和趋势的能力各不相同：RNN、Transformer、GNN、Mamba和神经常微分方程通常可以直接学习这些模式，而FNN和CNN则往往需要外部特征工程。这在具有强周期性或结构化信号的领域中至关重要。其次，大多数模型的可解释性仍然有限。Neural ODEs通过基于物理的连续时间建模提高了透明度，而FM通常仍然不够透明。非线性依赖关系在不同架构中得到了很好的捕捉，Transformers、GNNs、生成模型、Mamba、Neural ODEs和FM尤其具有表达能力。表11 展示了各种模型的比较结果。

深度学习架构在时间序列预测（TSF）方面的评估标准包括：可解释性（Interp.）、季节性/趋势处理（Season./Trend）、非线性（Nonlin.）、数据效率（Data Eff.）、运行效率（Runtime Eff.）、多变量输入/输出（Multiv. I/O）、以及概率预测能力（Prob. Fcast）等。

数据效率对大多数架构来说是一个挑战，除了FNNs之外。RNNs、CNNs、Transformers、生成模型和FM通常需要大量数据，因为它们具有较高的容量并且依赖学习到的表示，当数据稀缺时表现较差。运行效率各不相同：FNNs和CNNs速度较快，Transformers和GNNs较慢，而Neural ODEs由于使用连续时间求解器，计算需求最高[87, 136]。Mamba和FM提供了一个折中的方案，既具有强大的建模能力，又相对更高效。Transformers和Mamba由于并行结构而具有较好的扩展性，而Neural ODEs则面临扩展性限制。大多数架构都支持短期和长期预测，尽管FNNs在短期预测方面更优，而Transformers、GNNs、生成模型、Mamba、Neural ODEs和FM能够有效处理长期依赖关系。生成模型和FM天生支持概率预测，而RNNs和Transformers需要特定的扩展（例如DeepAR、TFT）来进行不确定性估计。

尽管基于Mamba的模型、Neural ODEs和基础模型等新兴架构最近受到了广泛关注，但它们的实际效用和实证成熟度仍有很大差异。基于Mamba的方法在长序列预测方面显示出特别的前景，因为它们具有高效的状态空间公式化和良好的扩展性。然而，目前的实证证据仍然有限，且通常仅限于相对较少的基准数据集。基于Neural ODE的方法提供了优雅的连续时间公式化，特别适用于不规则采样或部分观测的时间序列，但这些方法通常伴随着计算复杂性的增加和优化的挑战。基础模型是另一个潜在的重要方向，因为大规模预训练和迁移学习可能有助于在数据量较少的情况下提高跨领域泛化和预测能力。尽管这些新兴架构具有相当大的潜力，但现有的成熟方法，包括Transformers、CNNs、RNNs以及强大的统计和线性基线，在广泛的实际TSF应用中仍然更具全面验证性、计算可行性以及鲁棒性。

最后，我们通过从8个数据集中的36项研究中提取数值结果，对TSF方法进行了基准测试，涵盖了15种不同的方法。为了确保统计稳健性，我们按照参考文献[35]中的方法构建了临界差异（CD）图表。这涉及对每种方法在每个数据集上的排名，并计算跨数据集的平均排名。Friedman检验用于确定观察到的性能差异是否具有统计学意义。如果发现显著性，则应用Nemenyi事后检验来比较方法对。在生成的CD图表中，方法根据其平均排名进行定位，统计上无法区分的方法组之间用水平线连接。

图7展示了电力和汇率数据集的代表性结果（其他数据集在质量上相似）。这里我们仅包括至少出现在两项独立研究中的方法。除了CD图表外，我们还提供了所有方法的MSE箱线图。箱线图中的红线表示表现最佳的方法的上四分位数（Q3），分别是iTransformer（电力）和DLinear（汇率）。由此可见，在这个范围内（即中位数（最佳）+ 25%），分别有5种和12种方法。这表明许多并非最佳性能的方法仍然提供了有竞争力的结果（也请参见CD图表）。此外，跨不同数据集的比较结果显示，没有一种方法始终表现优异或较差；相反，它们的性能取决于数据。总体而言，分析表明许多方法之间的竞争力很强，但选择最适合特定问题的方法需要特定的应用基准。

6.4 未来挑战
从我们的讨论中可以看出，时间序列预测（TSF）通常是一项复杂的任务。作为展望，我们概述了未来改进的关键方向：
6.4.1 强健处理不确定性和概率预测
时间序列预测模型常常难以捕捉不确定性并生成可靠的概率预测。未来的研究应致力于开发能够有效量化不确定性并产生可靠概率输出的方法，从而实现更加明智和稳健的决策。这包括推进原生支持分布输出的架构，以及整合贝叶斯技术、集成方法或生成建模方法。提高概率预测的评估分数对于确保模型在现实世界不确定性下的可靠性也至关重要。
6.4.2 建模复杂的时间依赖关系和结构
有效建模复杂的时间依赖关系仍然是时间序列预测的核心挑战。现实世界的时间序列常常表现出长程相关性、非线性动态、季节性以及多个变量和时间尺度之间的相互作用。虽然像Transformers这样的先进架构显示出潜力，但它们经常在准确性、可解释性和计算效率之间需要权衡。为了解决这些限制，最近提出的xLSTM-Mixer直接针对捕捉复杂的时间和多变量结构这一挑战[91]。通过整合线性预测、时间混合和表达力强的sLSTM模块，该模型能够有效捕捉短期和长期依赖关系，以及时间和变量之间的共同模式。展望未来，未来的研究应致力于开发能够灵活适应分层和不规则时间结构的模型，同时保持可扩展性和跨不同应用领域的泛化能力。
6.4.3 时间序列预测中的复杂性 vs 简单性
时间序列预测中的一个基本问题是，是否需要越来越复杂的模型才能实现强大的预测性能，或者更简单的架构是否已经足够[60]。参考文献[204]表明，简单的线性模型在多个基准数据集上可以胜过基于Transformer的方法，这挑战了架构复杂性必然带来更高预测准确性的假设。参考文献[86]进一步研究了自注意力机制在TSF中的有效性。他们的研究表明，简化架构（减少或替换完整的自注意力）可以匹配甚至超越标准Transformer模型，从而质疑了许多预测场景中高模型复杂性的实际必要性。我们预期，随着更复杂的深度学习架构（特别是基于Neural ODE的模型）的引入，这一讨论将会更加激烈，这些模型进一步增加了模型的灵活性和计算复杂性。

7 结论
本调查提供了时间序列预测方法的结构化概述，涵盖了从经典的统计和机器学习方法到现代深度学习架构的各种方法。通过从六个核心视角组织当前的方法，它为理解、比较、选择和改进不同实际应用中的TSF模型提供了实用框架。此外，我们还指出了新兴趋势、方法学挑战和开放的研究问题，为开发更加稳健、可扩展、可解释和计算高效的TSF模型提供了指导。

致谢
ST感谢奥地利联邦数字和经济事务部、国家研究、技术和发展基金会以及克里斯蒂安·多普勒研究协会的财政支持。