最小信息马尔可夫模型:面向高维时间序列的依赖建模与估计方法

《Journal of Multivariate Analysis》:Minimum information Markov model

【字体: 大 中 小 】 时间:2026年09月26日 来源:Journal of Multivariate Analysis 1.6

编辑推荐:

  高维时间序列数据的分析在众多领域中日益重要。近年来,一种在有限状态空间上构造最小信息马尔可夫核的方法已被建立。在本研究中,研究人员提出了一种基于其依赖函数参数化的统计模型,称为最小信息马尔可夫模型(Minimum Information Markov Mode

  
高维时间序列数据的分析在众多领域中日益重要。近年来,一种在有限状态空间上构造最小信息马尔可夫核的方法已被建立。在本研究中,研究人员提出了一种基于其依赖函数参数化的统计模型,称为最小信息马尔可夫模型(Minimum Information Markov Model, MIMM)。研究显示,该参数化在平稳分布与依赖函数之间引入了一种正交结构,并且该模型可作为散度率最小化问题的最优解出现。特别地,对于高斯自回归情形,研究人员确立了该最小化问题最优解的存在性,这是一个需要严格证明的非平凡结果。在参数估计方面,该方法利用了模型特定的分解结构,并提出了一种无需计算难处理归一化函数的方法。具体而言,研究人员针对单变量和多变量设置下的最小信息马尔可夫模型,开发了包括条件似然和伪似然估计器在内的多种估计器。研究人员通过模拟研究和对真实世界时间序列数据的应用,展示了这些方法的实际性能。
研究背景与问题:高维时间序列分析在金融、神经科学、基因组学与环境科学等领域日益重要。传统向量自回归(VAR)模型常需强假设以保证计算和统计可行性;混合转移分布模型等通过参数族刻画高阶马尔可夫链,但依赖特定形式。另一类思路是先指定平稳分布,类似于独立数据中的copula建模,但此思想在时间序列中较少被采用。近年来,Sei(2024)基于指数族马尔可夫链的信息几何,在有限状态空间上建立了最小信息马尔可夫核,其由平稳分布与依赖函数两部分刻画。本研究的动机是将该核推广为统计模型,使依赖结构和平稳分布可以分别建模,从而克服传统方法中约束估计与计算困难等问题。

研究人员开展了什么研究:他们提出了最小信息马尔可夫模型(MIMM),将依赖函数线性参数化。理论上,证明了该参数化在平稳分布与依赖函数之间诱导正交结构,并表明模型是散度率最小化问题的最优解;在高斯自回归情形下,证明了最优解的存在性,这是一个非平凡结果。估计方面,利用模型特定分解结构与排列不变性,提出了最大条件似然估计(MCLE)和Besag伪似然估计(PLE),无需计算不可解的归一化函数。通过模拟与多个真实数据应用验证了方法的实用性。

关键方法:研究人员基于依赖函数的线性参数化构建模型,利用广义勾股定理证明参数正交性,并通过代数Riccati方程建立高斯VAR参数与模型参数的一一对应。估计方法上,提出最大条件似然估计(MCLE),借助Metropolis-Hastings采样与Fisher scoring实现;为降低计算负担,发展Besag伪似然估计(PLE),将其转化为无截距逻辑回归问题,并采用二分子采样与在线随机梯度下降加速。实证数据来源:神经数据取自V4 Utah Array Plaid Movie Data中受试者“Wi170428”的局部场电位(LFP)和尖峰序列;股票数据取自Scikit-learn教程中的56只股票2003–2008年每日报价变化。

研究结果:
2.1 唯一性与正交性:通过定义散度率并应用广义勾股定理,研究人员证明了对于给定依赖函数和平稳分布,最小信息马尔可夫模型若存在则唯一,且该模型是散度率最小化问题的最优解。这实现了依赖函数与平稳分布的分离处理,类似于copula方法。
2.2 高斯自回归模型:通过显式构造,研究人员证明了AR(1)、AR(2)、AR(d)及VAR(1)、VAR(d)模型均可纳入最小信息马尔可夫模型框架,且模型参数与传统参数一一对应。例如AR(1)中(φ,σ2)与(θ,τ2)的等价转换,VAR(1)通过代数Riccati方程建立映射。这既验证了存在性与唯一性,也表明参数估计可转化为无约束优化问题。
2.3 其他例子:高斯copula马尔可夫模型、圆形过程、二元过程等均可表示为该模型的具体形式,从而为这些模型提供了统一解释。
3 参数估计:研究人员提出最大条件似然估计(MCLE),利用似然函数对数据排列的不变性,避免了计算归一化函数;同时提出Besag伪似然估计(PLE),其形式等价于无截距逻辑回归,计算更高效。
4 模拟研究:基于高斯AR和VAR过程生成数据,比较MLE、MCLE与PLE。结果表明,PLE的估计误差与MLE相当,并显著优于MCLE,且计算时间远小于MCLE。针对大样本,提出的二分子采样和在线SGD加速方法在保持估计精度的同时大幅提升了速度。
5 真实数据应用1:神经数据分析。对单变量LFP数据(N=1000),四个候选依赖函数中,与AR(1)等价的h(xt,xt-1)=xtxt-1对应的AIC最低;对LFP-尖峰双变量数据,最复杂依赖函数的AIC/PIC最低,表明该模型能够灵活刻画跨域神经信号的复杂依赖关系。
6 真实数据应用2:重尾股票数据分析。在t分布边际的模拟中,PLE正确恢复真实参数,而基于高斯VAR的MLE因模型误设误差较大。对PFE和NVS两只股票,模型识别出显著的自依赖和交叉依赖,例如当前PFE与过去NVS呈负相关。扩展到56只股票的高维分析中,在逻辑回归框架下引入L1惩罚,当正则化参数λ=0.3时仅4个参数非零,揭示了少数跨序列滞后相关结构。

讨论与结论:本文提出最小信息马尔可夫模型,通过分离依赖函数和平稳分布,为高维时间序列建模提供了类似于copula的灵活框架。参数间的正交性使得估计可使用MCLE或PLE,其中PLE因转化为逻辑回归问题而更具实用性。讨论指出,无限状态马尔可夫链的一般存在性理论尚不完善,依赖函数形式的选择仍是开放问题。该框架针对中等高维设置设计,但无约束参数化兼容正则化技术,为扩展到p?n情形提供了路径。未来工作需发展高维严格推断方法。研究结论可概括为:最小信息马尔可夫模型通过依赖函数与平稳分布的正交分解,实现了依赖结构的直接建模与高效估计,并在高斯与非高斯、单变量与多变量时间序列中均展现出良好的实用性与可扩展性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号