HGNJODE:一种用于时空事件预测的分层门控神经跳跃常微分方程
《Advanced Engineering Informatics》:HGNJODE: A Hierarchical Gated Neural Jump Ordinary Differential Equation for spatio-temporal event prediction
【字体:
大
中
小
】
时间:2026年05月06日
来源:Advanced Engineering Informatics 9.9
编辑推荐:
**罗通|刘瑶|刘旭翔|何鹏|甘彦雷|戴婷婷|刘桥|陈文宇**
中国电子科技大学计算机科学与工程学院,四川成都,611731
**摘要**
时空点过程(STPPs)为预测时间和空间中的离散事件提供了一个严格的概率框架。现有的STPP模型主要基于两种主流范式:离散序列
**罗通|刘瑶|刘旭翔|何鹏|甘彦雷|戴婷婷|刘桥|陈文宇**
中国电子科技大学计算机科学与工程学院,四川成都,611731
**摘要**
时空点过程(STPPs)为预测时间和空间中的离散事件提供了一个严格的概率框架。现有的STPP模型主要基于两种主流范式:离散序列架构和连续时间神经常微分方程(Neural ODEs)。前者仅在事件发生时更新强度函数,导致事件之间的动态呈现分段特性;后者能够捕捉连续时间的平滑演变,但缺乏明确的机制来模拟事件触发的强度跳变。为了解决这些局限性,我们提出了一个分层门控神经跳跃常微分方程(HGNJODE)框架,该框架通过神经常微分方程来模拟连续事件之间的潜在强度,同时集成了一种特定的分层门控机制来明确捕捉由时空异质性引起的突然跳变。此外,为了准确学习时空分布,并偶然克服对数似然的计算开销,我们开发了一种连续时间样本生成方法,该方法通过一对随机微分方程(SDEs)将前向添加噪声的过程和逆向采样过程紧密结合在一起。在三个标准STPP基准测试上的广泛实验表明,我们的模型不仅在点预测方面表现出色,还能够忠实恢复事件时间和位置的分布和不确定性。具体来说,与最佳竞争方法相比,我们的模型在点预测上的平均绝对误差(MAE)降低了25.3%,均方根误差(RMSE)降低了30.9%,即使模型规模仅为0.62M个参数。在分布建模方面,HGNJODE在Citibike数据集上的负对数似然(NLL)降低了25.3%,达到最优值-3.742。此外,我们的方法在Earthquake数据集上的校准性能也更为优越,校准分数(CS)降低了20.3%。即使在Earthquake数据集中有25%的随机缺失数据,我们的模型也将时间RMSE降低了13%,空间MAE降低了5.5%,证明了其对稀疏和不完整数据的鲁棒性。
**引言**
在现实世界场景中,特定事件的发生通常会触发一系列后续相同类型的事件,因此准确的事件预警和预测至关重要。例如,在地震监测中,根据历史地震记录预测余震的时间和位置对于减少人员伤亡和财产损失至关重要。时空点过程(STPPs)是一类旨在描述时间和空间域中离散事件发生的随机模型。通过明确建模事件强度的空间和时间变化,STPPs提供了一个统一的框架来揭示事件序列背后的潜在分布结构。该框架的核心优势在于其能够强有力地捕捉由时空异质性引起的复杂依赖性,从而实现对未来事件发生的可靠预测。由于这些内在优势,STPPs在包括地理信息系统(GIS)、交通管理[1]、地震预测[2]、生理监测[3]和应急响应[4]在内的多个领域得到了广泛应用。
传统的STPP方法通常采用基于经典点过程框架的参数化强度函数,如泊松过程[5]、Hawkes过程[6]和自校正过程[7]。然而,它们过于严格的分布假设严重限制了模型的表现力,使其无法捕捉现实世界事件数据的复杂异质性。利用深度神经网络(DNNs)的最新突破,越来越多的文献探索了数据驱动的STPP建模方法[8]、[9]、[10]。这些方法利用深度学习架构的核心优势,主要包括判别性的高维表示和端到端优化,能够稳健地捕捉事件序列中固有的复杂时空依赖性,而无需手动设计的强度函数。杜等人[11]首次将循环神经网络(RNNs)的序列依赖建模能力应用于捕捉连续事件之间的时空相关性。梅等人[12]进一步扩展了这一范式,使用长短期记忆(LSTM)网络基于自校正过程捕捉事件之间的动态兴奋性和抑制性相互作用。为了解决它们在建模STPP时的低效序列处理问题,周等人[13]引入了Transformer架构来捕捉事件序列中的长距离时空依赖性。尽管如此,上述建模范式依赖于离散的时间步长,无法完全符合现实世界时空事件的连续时间特性。
得益于强大的连续时间建模能力,神经常微分方程(Neural ODEs)已成为时空事件表示的有力替代方案[14]、[15]、[16]、[17]。陈等人[18]首次提出了NSTPPs,该方法利用神经常微分方程灵活捕捉连续时间的时空依赖性,支持准确的强度学习和精确的似然计算。在此框架的基础上,宋等人[19]进一步使用神经常微分方程捕捉不同类型事件的适应性和无缝动态,从而增强了其在复杂多类别时空事件表示中的适用性。Iakovlev等人[20]将神经常微分方程扩展到低维潜在空间,有效地捕捉了潜在的时空动态,同时降低了计算复杂性,从而实现了更紧凑和稳健的时空表示。尽管取得了这些进展,现有的基于神经常微分方程的方法过分强调了时间平滑性,而忽略了事件触发的不连续性,这导致强度估计不准确,并且在应用于现实世界事件数据时的泛化性能有限。
在事件发生过程中,特定事件的出现通常会触发一系列后续事件,从而在基础过程的强度函数中引起突然跳变。例如,地震可以触发后续的余震,导致地震事件的强度显著瞬时跳变。在传染病传播的背景下,疾病暴发可以引发连续的感染波,导致流行病强度的剧烈变化。同样,在城市交通流管理中,交通事故可以引发连锁拥堵,导致交通拥堵强度的明显变化。这些复杂的动态对现有方法构成了挑战。如图1所示,传统的基于RNN的方法(蓝色虚线)受到离散时间建模的限制,仅允许在观察到的事件时间更新强度,无法捕捉事件之间的平滑连续演变。相比之下,传统的基于神经常微分方程的方法(橙色实线)过分强调时间平滑性,平滑了真正的事件触发强度跳变,导致强度估计严重失真。为了解决上述问题,我们提出了一个分层门控神经跳跃常微分方程(HGNJODE)框架,该框架统一了连续事件之间的连续强度演变和事件触发的突然强度跳变,如图1中的绿色实线所示。具体来说,我们提出的HGNJODE使用神经常微分方程来模拟事件间的平滑强度动态,确保其潜在轨迹的连续性,同时集成了一种分层门控机制来明确捕捉由时空异质性引起的突然跳变。相应地,为了从事件分布中获得精确的时空样本,偶然克服了对数似然的计算开销,并减轻由误差累积引起的分布偏差。我们进一步开发了一种连续时间样本生成方法,该方法通过一对随机微分方程(SDEs)将前向添加噪声的过程和逆向采样过程紧密结合在一起。总结来说,我们的主要贡献如下:
• 我们开发了一个HGNJODE框架,该框架协同模拟了现实世界时空事件序列的两个关键特征:平滑的事件间强度演变和事件触发的突然跳变,克服了连续时间动态和离散事件建模之间的权衡。
• 我们开发了一种用于时空事件的连续时间样本生成方法。前向添加噪声过程和去噪得分匹配的逆向采样过程被参数化为通过一对SDEs的马尔可夫扩散过程,实现了自适应噪声注入和高效的连续时间采样。
• 全面实验表明,我们的方法在点和分布预测方面均取得了最先进的结果,尤其是在面对缺失事件数据时表现出更高的鲁棒性。
**相关工作**
在本节中,我们系统地回顾了时空点过程的代表性研究。我们主要关注阐明核心方法论差异和固有局限性,并进一步强调了所提出的HGNJODE框架的创新性。为了便于直观比较,我们在表1中总结了典型方法和我们工作的核心特征。
**时空点过程(STPPs)是一类旨在模拟稀疏、不规则事件的随机过程。**
**方法**
时空事件预测任务基于时空点过程(STPPs)框架,正式定义为:给定一系列历史时空事件(ti, xi)i=1L,其中ti表示第i个事件的发生时间,xi表示事件的空间位置(经度和纬度)。STPPs的核心目标是根据观察到的历史序列学习未来事件的条件概率分布。
**实验**
在本节中,我们进行了一组全面的实验,以评估所提出的HGNJODE与最先进的基线方法的性能。实验旨在评估模型在多种设置和条件下的有效性。我们进一步从点和分布的角度分析了其预测性能和鲁棒性。此外,我们还进行了消融研究,以调查关键超参数对整个模型的影响。
**结论**
在本文中,我们提出了一种新颖的HGNJODE框架,用于建模STPPs中的事件动态,该框架不依赖于任何统计假设。具体来说,我们提出的HGNJODE使用神经常微分方程来模拟事件间的平滑强度动态,确保其潜在轨迹的连续性,同时集成了一种分层门控机制来明确捕捉由时空事件引起的突然跳变。
**作者贡献声明**
罗通:撰写——原始草稿、可视化、验证、概念化。
刘瑶:撰写——审阅与编辑、验证。
刘旭翔:项目管理、调查。
何鹏:软件、资源。
甘彦雷:软件、概念化。
戴婷婷:撰写——审阅与编辑。
刘桥:项目管理、资金获取、形式分析。
陈文宇:调查、资金获取、概念化。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报道的工作。
**致谢**
本工作得到了中国国家自然科学基金(U22B2061)、中国国家重点研发计划(2022YFB4300603)和四川省自然科学基金(2024NSFSC0496)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号