基于概率的核机器用于非线性条件异方差时间序列

《Neurocomputing》：Likelihood-based kernel machine for nonlinear conditionally heteroscedastic time series

　　金昌圭|尹敏赫|李相烈韩国首尔大学统计学系，首尔，08826摘要本研究提出了一种新的基于核的回归方法，即基于似然的核机器，用于处理具有条件异方差的时间序列。该方法基于准最大似然估计，其原始形式可通过芬切尔-罗卡菲勒对偶定理转化为有限维对偶形式。该模型具有很强的稳定性，能够为各种非线性时间序列提供更准确的估计结果，包括那些具有偏态或重尾特征的创新值以及受噪声污染的观测数据。通过对欧斯托克50指数和日经225指数的实证分析，进一步证明了该方法在现实应用中的稳健性和稳定性。引言量化波动率是时间序列分析中的核心问题之一，尤其是在金融领域。准确估计条件波动率在风险管理中起着至关重要的作用，因为它可用于评估资产或投资组合的固有风险。然而，由于各种外部因素的影响，现代时间序列数据日益复杂且非线性，往往存在结构上的不规则性。因此，有效捕捉条件波动率的非线性动态已成为当代风险管理中的重要挑战。风险管理和条件波动率估计的标准框架是GARCH模型[4]、[15]。在实际应用中，GARCH(1,1)模型对于具有条件异方差的多种金融时间序列表现良好[22]。GARCH模型的成功推动了众多参数型和非参数型波动率模型的发展。其中比较著名的包括能够明确考虑波动率响应不对称性的GJR-GARCH模型[19]，以及能够容纳广泛非线性参数规格的EGARCH模型[40]、[49]。由于GARCH类模型的灵活性，大量文献聚焦于其在风险管理中的应用。典型的例子包括CAViAR模型[14]、用于预期亏损估计的非线性方法[28]，以及用于评估尾部风险的分位数回归方法[33]、[41]。尽管这些模型在多种情况下都具有广泛的适用性，但参数型GARCH模型的一个关键局限性在于需要事先指定模型结构——这一假设对于现实世界的时间序列来说往往难以成立。应对现实世界时间序列日益复杂性的一个潜在方法是采用基于核的学习方法。在本研究中，“基于核的学习方法”指的是源自再生核希尔伯特空间理论的回归模型。当样本量较小时，基于核的方法尤其有效，并且具有很强的泛化能力[51]。它们的主要目标是在高维特征空间中识别出一个线性函数，该函数对应于原始输入空间中的非线性函数。基于核的方法的一个关键优势在于，只要指定了合适的核函数，它们就能够以期望的精度估计数据的底层结构[38]。基于核的回归模型在过去几十年中，已有大量基于核的回归模型被开发出来。其中最著名的一类是支持向量回归的变体（SVR；Drucker等人[13]）。通过使用不变损失函数，SVR将估计函数简洁地表示为特征空间中稀疏支持向量的线性组合。由于其高效性和灵活性，已经提出了许多SVR的扩展版本，包括-SVR[46]、twin-SVR[44]，以及采用Huber损失函数的鲁棒版本[2]。最近，Gupta和Gupta[21]开发了twin-SVR的鲁棒版本，而Liao等人[36]则提出了一种将凸回归模型与SVR相结合的新框架。尽管SVR的变体是最受欢迎的基于核的模型之一，但也可以考虑不依赖于支持向量概念的回归框架。这是因为单变量核方法得益于表示定理[47]，该定理保证了结合非递减正则化项的广泛损失函数类存在解。因此，文献中出现了多种基于核的回归模型。例如，Shim和Hwang[48]提出了基于核的非线性泊松回归方法，而Jia等人[25]则扩展了可视为SVR的贝叶斯对应物的相关向量机。特别是，Zhu和Hastie[56]通过将负对数似然与惩罚项相结合，引入了逻辑回归的核化版本，而Cawley等人[8]则将广义线性模型扩展为可接受核化表示的形式，称为“广义核机器”。基于学习的时间序列模型在时间序列分析中，过去几十年里出现了多种基于学习的模型。在基于核的方法中，Chen等人[9]最初提出直接使用支持向量回归（SVR）来建模GARCH类型的时间序列。随后，Takeuchi等人[50]、Hwang和Shim[23]以及Anand等人[1]研究了使用基于核的方法对时间序列的条件分位数进行建模。最近，Yoon等人[52]通过采用基于不对称Huber SVR的回归框架对GARCH模型进行了扩展，而Chen等人[10]则利用功能神经切线核来建模金融时间序列，并基于期权开发交易策略。当观测样本数量变大时，近年来基于深度学习的时间序列模型越来越受到研究人员和实践者的关注。例如，Kim和Won[27]提出了基于长短期记忆（LSTM）的波动率模型来评估金融指数，而Ersin和Bildirici[16]则将混合数据采样方法与LSTM相结合来扩展GARCH类型模型。此外，García-Medina和Aguayo-Moreno[18]以及Zhao等人[54]考虑了将参数型GARCH类型模型与各种神经网络架构相结合的混合方法来估计条件波动率。同时，Zheng和Sun[55]提出了基于循环神经网络（RNNs）和变换器架构的概率时间序列模型，Oliveira和Ramos[43]评估了各种基于变换器的时间序列模型在零售需求预测中的应用，而Cho等人[11]则应用Kolmogorov–Arnold网络来建模波动率指数（VIX）。关于基于深度学习的金融模型的全面综述，可参考Li和Law[35]的文章。动机大多数GARCH类型模型的参数估计通常是通过准最大似然估计量（QMLE）来进行的。然而，GARCH模型的标准形式会导致一个非凸优化问题；详见第2节中的公式（4）。尽管已知GARCH模型的QMLE具有理想的理论特性[17]，但由于这种非凸性，数值优化往往会产生不满意的结果，尤其是当底层时间序列接近稳态边界时。此外，现有的基于核的GARCH类型模型，如Chen等人[9]和Yoon等人[52]提出的模型，面临着由于构建包含不可观测响应变量的回归模型而产生的固有难题。具体来说，给定一个损失函数，现有文献中的基于核的GARCH模型通常解决以下风险最小化问题：其中，是过去的观测值向量，是非递减的正则化函数。这意味着条件波动率具有如下形式。由于是不可观测的，现有方法用一个合适的初始估计量代替，记为，然后解决以下问题：其中。然而，从理论上讲，这种方法会导致产生一个均值响应，而不是真实的，因为解决（2）的主要目的是最小化和之间的差异。为了解决这两个问题并提高条件波动率估计的稳定性，我们提出了一种基于RKHS的新型核回归方法，称为“基于似然的核机器”。与现有的波动率模型相比，我们的基于核的波动率模型具有以下优势：•我们的基于似然的模型旨在比那些将支持向量回归（SVR）与GARCH模型结合的现有方法更准确地估计条件波动率。具体而言，我们的方法直接解决基于似然的优化问题，因此在训练过程中不需要响应变量的代理。因此，我们的核机器通常比基于代理的核GARCH模型表现得更好，更多讨论见第4.2节。•与所提出的核机器相关的优化问题是严格凸的；详见第2节中的公式（5）。因此，存在唯一的全局最优解，原始解和对偶解都是唯一确定的。这种严格的凸性大大提高了数值稳定性，有助于获得更可靠、更准确的参数估计。•我们的模型可以轻松扩展以满足各种实际需求。例如，可以修改底层分布以获得针对特定应用的估计量，比如采用泊松分布来建模计数型时间序列。或者，也可以整合其他基于似然的回归框架。一个简单的例子是标准的回归设置，其中可以将惩罚回归问题表述为第2节中的公式（5）。实际上，这些扩展使得模型形式类似于Cawley等人[8]的广义核模型，后者将广义线性模型嵌入到RKHS框架中。尽管Cawley等人[8]的广义核机器也基于RKHS理论，并使用与我们核机器类似的似然损失，但两者之间存在两个显著区别。首先，他们的方法基于统计学中的广义线性模型理论，假设观测值是独立同分布的。相比之下，我们假设观测值依赖于过去的信息，而且我们的核机器是基于Francq和Zakoian[17]的准最大似然估计量构建的，该估计量是专门为具有条件异方差的时间序列设计的。本文的其余部分安排如下。第2节详细介绍了为GARCH类型时间序列构建基于似然的核机器的步骤。第3节提供了解决实施所提出的核机器时出现的实际问题的详细方案，并总结了整个训练过程。第4节通过数值实验评估了所提模型在各种场景下的性能，包括不稳定的时间序列、非对称动态以及受创新噪声污染的观测数据。第5节分析了两个现实世界的金融数据集，即欧斯托克50指数和日经225指数，进一步证明了所提出的核机器的有效性。最后，第6节给出了结论性意见和进一步讨论。此外，我们还提供了作为附录的补充材料。补充材料包括：（i）关于核机器的额外理论细节；（ii）与近期基于学习的模型相比的额外数值分析结果，包括时间复杂度分析和大样本性能评估；（iii）第4节“数值分析”和第5节“真实数据分析”中使用的模型的详细规格。在整个文档中，这份补充材料被称为“附录”。章节片段用于时间序列的基于似然的核机器在本节中，我们介绍了用于估计时间序列条件波动率的基于似然的核机器。这是一种新颖的方法，它融合了最大似然估计量（MLE）的概念，可视为支持向量回归（SVR；[13]）的直接扩展。尽管之前的研究试图将MLE与GARCH模型结合起来[24]，但他们的方法与我们的方法之间存在根本区别。训练核机器在本小节中，我们总结了训练我们的核机器的总体流程。3.1节讨论了训练核机器时出现的一些问题，特别是如何处理不可观测量以及调优参数的过程。3.2节列出了拟合我们的核机器所需的逐步流程。数值分析本节评估了我们的基于似然的核机器在多种不同环境下的性能，并与几种非线性条件异方差模型进行了比较。第一个小节描述了实验设计和实现细节，随后的小节则报告并讨论了所提出的核机器的性能。在本节中，我们主要关注小样本性能，因为基于核的方法大多应用于浅层学习场景。真实数据分析现在，我们通过分析两个金融指数，即欧斯托克50指数和日经225指数的日对数收益率，来评估核机器在现实世界中的性能。这些数据来自investing.com网站。为简洁起见，本研究后续将相应的时间序列分别称为“Eurostoxx”和“Nikkei”。与第4节类似，我们还进一步使用Eurostoxx和Nikkei与基于LSTM、Transformer以及基础模型的模型进行了比较研究。

结论性意见：本研究提出了一种基于似然的核机器模型，用于估计具有条件异方差的時間序列的条件波动率。该核机器模型拓展了传统的GARCH()框架，其理论基础是准最大似然估计（QMLE）概念。与现有的基于核的GARCH型模型不同，我们的方法在训练过程中无需先对相关参数进行初始估计，这大大提升了数值稳定性。

CRediT作者贡献说明：
Chang Kyeom Kim：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究分析，形式化分析，数据整理，概念构建。Min Hyeok Yoon：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究分析，形式化分析，数据整理，概念构建。Sangyeol Lee：写作——审阅与编辑，写作——初稿撰写，验证，监督，资源提供，项目管理。

利益冲突声明：作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Sangyeol Lee表示获得了韩国国家研究基金会的财政支持。其他作者则声明没有已知的可能影响本文所述研究的财务利益或个人关系。

致谢：我们感谢三位匿名审稿人提出的宝贵意见。本研究得到了韩国科学、ICT与未来规划部资助的韩国国家研究基金会基础科学研究计划的支持（项目编号：RS2025-16067803）。Chang Kyeom Kim是首尔国立大学统计学系的博士生，他的研究兴趣包括开发基于核的学习方法、时间序列模型的分位数回归以及统计过程控制。