DeepVARwT：用于具有趋势特征的视频异常检测（VAR）模型的深度学习方法

《Journal of Applied Statistics》：DeepVARwT: deep learning for a VAR model with trend

趋势与依赖结构同步估计的深度学习VAR模型

　　时间序列建模和预测在经济、金融和工程等多个领域具有重要应用价值。传统的向量自回归（VAR）模型被广泛用于描述多个时间序列内部及之间的依赖关系。VAR模型通常适用于平稳时间序列，但可以通过引入确定性趋势来扩展，以适应非平稳数据。本文提出了一种新的方法，利用深度学习技术对趋势和依赖结构进行最大似然估计。通过使用长短期记忆网络（LSTM）来实现这一目标，我们能够在建模过程中同时估计趋势和VAR模型的参数，并在不忽略各序列之间依赖关系的前提下，确保模型的稳定性。为了验证该方法的有效性，我们进行了模拟研究和实际数据应用，结果显示，与现有方法相比，该模型在预测性能上具有竞争力。

传统的趋势提取方法通常采用差分法，这在趋势为低阶多项式时效果良好，但对趋势本身的估计可能不准确。另一种方法是通过平滑技术，如核平滑、局部加权散点图平滑（Lowess）或平滑样条等，来估计趋势。然而，这些方法往往在两个阶段分别进行趋势估计和模型参数估计，可能会忽略趋势估计误差对模型参数估计的影响。为了克服这一问题，本文提出了一种新的建模方法，将趋势估计和VAR参数估计结合在同一个网络中，并使用最大似然估计进行参数估计，以确保估计的准确性。

在实际应用中，我们利用LSTM网络来估计时间序列的均值趋势，并同时使用VAR模型来估计序列之间的依赖关系。通过这种方式，我们可以避免传统方法中因趋势估计误差导致的模型参数估计偏差。在建模过程中，我们特别关注VAR参数的因果性，以确保模型的稳定性。这不仅有助于训练算法的收敛，还能保证最佳线性预测器的可得性。

LSTM网络是一种特殊的循环神经网络，其结构包括输入门、遗忘门和输出门，这些门机制有助于控制信息流，解决传统循环网络中梯度消失的问题。在本文中，我们使用LSTM网络来生成趋势项，并通过适当的参数转换，将这些趋势项与VAR模型的参数结合起来。这一过程涉及对VAR参数进行重新参数化，以满足因果性条件，从而确保模型的稳定性。

在模型训练过程中，我们使用了梯度下降方法，并定义了基于高斯对数似然函数的损失函数。为了提高训练效率，我们为不同的参数部分设置了不同的学习率。这一策略有助于趋势参数的精细调整，避免因趋势估计过快而影响VAR参数的估计精度。通过反复迭代，直到损失函数的变化低于预设精度或达到最大迭代次数，我们能够获得模型的最终参数估计。

在模拟研究中，我们生成了100组时间序列数据，其中包含趋势项和VAR模型的参数。这些数据基于实际经济数据，并使用高斯对数似然函数进行评估。结果表明，与传统的VARwT模型相比，基于LSTM的DeepVARwT模型在趋势估计上表现出更小的偏差，同时保持了较高的预测精度。这一方法能够更准确地捕捉到趋势的变化，避免了传统方法中常见的过度平滑问题。

在实际数据应用中，我们对美国宏观经济数据进行了建模和预测。这些数据包括GDP缺口、通货膨胀率和联邦基金利率，时间跨度为1955年第一季度至2003年第一季度。通过使用LSTM网络，我们能够生成更精确的趋势估计，并同时估计序列之间的依赖关系。模型的预测结果表明，DeepVARwT模型在短期和长期预测中均表现出优于传统VARwT模型的性能。此外，我们还与其他深度学习模型（如DeepAR和DeepState）进行了比较，结果显示，DeepVARwT模型在点预测和预测区间上均表现更优。

在另一个实际应用中，我们分析了全球气温异常数据，包括北半球、南半球和热带地区的年度气温数据。这些数据的时间跨度为1850年至2021年，包含172个观测点。通过使用LSTM网络，我们能够更准确地捕捉到气温变化中的趋势项，并利用VAR模型描述序列之间的依赖关系。预测结果表明，DeepVARwT模型在短期和长期预测中均优于传统VARwT模型和深度学习模型。

在第三个实际数据应用中，我们对美国宏观经济数据进行了建模，包括通货膨胀率、失业率和国库券利率。这些数据的时间跨度为1953年第一季度至2001年第三季度，包含195个观测点。通过使用LSTM网络，我们能够生成更精确的趋势估计，并同时估计序列之间的依赖关系。预测结果表明，DeepVARwT模型在短期和长期预测中均优于传统VARwT模型和深度学习模型。

总的来说，本文提出了一种基于LSTM网络和VAR模型的深度学习方法，用于同时估计时间序列的趋势和依赖结构。该方法通过最大似然估计进行参数估计，避免了传统方法中因趋势估计误差导致的模型参数估计偏差。在模拟研究和实际数据应用中，该方法均表现出优越的预测性能，特别是在处理非平稳数据和复杂依赖结构时。未来的研究可以考虑引入正则化和低秩结构，以提高模型在高维时间序列中的性能。此外，可以探索将该方法扩展到离散数据或非高斯分布的场景中，以适应更广泛的应用需求。