带延迟均值回归的随机游走模型:最大似然估计与长短期记忆网络方法

《Chaos, Solitons & Fractals》:Delayed random walks: Identification with neural networks

【字体: 大 中 小 】 时间:2026年07月08日 来源:Chaos, Solitons & Fractals 5.6

编辑推荐:

  本研究探讨了带延迟的随机游走(DRW)模型,这是一种具有历史依赖性的非马尔可夫过程,其每一步的转移概率取决于过去某一时刻的位置符号。研究人员证明了当 0

  
本研究探讨了带延迟的随机游走(DRW)模型,这是一种具有历史依赖性的非马尔可夫过程,其每一步的转移概率取决于过去某一时刻的位置符号。研究人员证明了当 0
研究背景与意义
在复杂系统与金融物理学领域,传统随机游走模型通常被假设为马尔可夫过程,即未来的状态仅依赖于当前状态。然而,现实世界中的许多复杂系统往往表现出非马尔可夫特性,即系统的演化不仅受当前状态影响,还受历史状态的制约。带延迟随机游走(DRW)模型正是为了描述这种历史依赖性而提出的。在该模型中,粒子下一步移动的方向概率并非由当前位置决定,而是由 τ步之前的历史位置符号所决定。这种机制使得 DRW 能够模拟具有反馈延迟或记忆效应的物理和金融过程。尽管 DRW 在理论上具有重要意义,但从实际观测数据中准确估计其延迟参数 τ和偏向概率 p仍然是一个具有挑战性的问题。因此,研究人员开展了此项研究,旨在通过结合经典统计学方法(MLE)与现代深度学习技术(LSTM),建立一套完整的 DRW 参数识别与序列建模框架,这对于理解非马尔可夫扩散过程具有重要的理论与应用价值。
关键技术方法
为了验证理论推导并进行参数估计,研究人员采用了以下关键技术方法:首先,利用 Foster 定理证明 DRW 在特定参数范围内的正递归性,从而确立其平稳分布的存在性;其次,基于条件独立性假设,推导了针对参数 p和 τ的最大似然估计(MLE)解析公式,该公式通过计算不同历史位置条件下的步进频数来构建似然函数;最后,设计并训练了两种深度学习架构:一种是结合双向 LSTM(BiLSTM)与全局平均池化(GAP)的 Delay LSTM 模型,用于分类识别延迟参数 τ;另一种是 Timeseries LSTM 模型,结合二元交叉熵损失函数,用于在每一时间步预测向上的转移概率 P(ξ(t)=1),并利用训练好的模型进行自回归序列生成。
研究结果
3.1 均值回归与 p<1/2时的平稳性
研究人员定义了均值回归的数学判据,即当 E[ξ(t)∣X(t),…]?(X(t)?m)<0(对于 X(t)=m)时,过程向长期均值 m回归。通过推导 DRW 的条件期望,发现当 ∣X(t)∣>τ时,E[ξ(t)∣Z(t)]=(2p?1)sgn(X(t))。由于当 0<p<1/2时,(2p?1)为负,这保证了过程的漂移方向始终指向原点,从而满足均值回归特性。随后,研究人员应用 Foster 定理,通过构造李雅普诺夫函数 h(z)=X2(t),证明了在有限集之外,函数的期望变化量严格小于零,从而确立了该马尔可夫链的正递归性与平稳分布的存在性。
  1. 4.
    最大似然参数估计
    研究人员将 DRW 的单步转移概率归纳为三种情况:若延迟位置为零,则以 1/2的概率随机选择方向;若为正,则以概率 p^向右;若为负,则以概率 1?p^向右。基于此,构建了包含计数统计量 xτ+、xτ?和 xτ0的似然函数。通过对数变换与优化求解,得出给定 τ时 p的最优估计量为 popt(τ)=xτ+/(xτ++xτ?)。通过在大规模数据集(L=108)上的数值测试,验证了 MLE 能够精确还原真实参数,最大绝对概率误差仅为 1.11×10?4。
  2. 5.
    神经网络模型与训练
    Delay LSTM 架构:研究人员构建了包含两层双向 LSTM(BiLSTM)的深度网络。第一层 BiLSTM 负责提取序列的前后向特征,第二层 BiLSTM 的输出经过全局平均池化(GAP)层压缩为固定长度的向量,随后通过层归一化(LN)、高斯误差线性单元(GELU)激活函数及全连接(FC)层,最终由 Softmax 输出各类延迟 τ的预测概率。该模型利用交叉熵损失函数和余弦退火学习率策略进行训练。
    Timeseries LSTM 模型:该模型结构相对精简,在每个时间步接收当前观测值 X(t)及上一时刻的隐藏状态 (h(t?1),c(t?1)),直接输出下一步向上的转移概率 p(t)。训练过程中采用二元交叉熵(BCE)作为损失函数,并使用 Sigmoid 激活函数确保输出在 [0,1]区间内。
  3. 6.
    结果
    在 p=0.4,τ=10的测试条件下,Delay LSTM 在绝大多数序列长度下均表现出优于传统 MLE 的延迟估计精度,例如在序列长度为 5000 时,其平均绝对误差降低至 0.001。对于 Timeseries LSTM 模型,研究人员利用训练好的网络进行了自回归序列生成。通过计算生成序列的均方根位置并与理论值对比,发现两者偏差极小,且模型能够精准复现序列初期的瞬态动力学行为,证明了神经网络对该随机动力系统的强大建模能力。
讨论与结论
本研究成功地将经典统计推断与现代深度学习相结合,解决了带延迟随机游走模型的参数估计与序列生成难题。研究结论表明,在 0<p<1/2的条件下,DRW 具备严格的均值回归特性与平稳分布,这为其在金融波动建模等领域的应用提供了坚实的理论基础。在参数估计方面,MLE 展现了极高的解析精度,而 Delay LSTM 则在处理有限长度序列时表现出了更优的鲁棒性。在序列预测与生成方面,Timeseries LSTM 不仅能够准确预测每一步的转移概率,还能生成高度符合原始 DRW 统计特性的时间序列。这项研究成果发表在高水平期刊《Chaos, Solitons》上,不仅丰富了非马尔可夫随机过程的理论体系,也为复杂时间序列的分析与合成提供了新的计算范式。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号