用于时空数据预测的联邦动态建模与学习

《Neurocomputing》:Federated dynamic modeling and learning for spatiotemporal data forecasting

【字体: 大 中 小 】 时间:2026年01月18日 来源:Neurocomputing 6.7

编辑推荐:

  Thien Pham|Angelo Furno|Fa?cel Chamroukhi|Latifa Oukhellou COSYS-GRETTIA,古斯塔夫·埃菲尔大学,法国77420 摘要 本文提出了一种先进的联邦学习框架,用于预测复杂的时空数据,相较于现有的最先进

  Thien Pham|Angelo Furno|Fa?cel Chamroukhi|Latifa Oukhellou
COSYS-GRETTIA,古斯塔夫·埃菲尔大学,法国77420

摘要
本文提出了一种先进的联邦学习框架,用于预测复杂的时空数据,相较于现有的最先进模型具有更优的性能。在所提出的方法中,先前的动态时空图卷积循环网络中的门控循环单元被长短期记忆网络取代,这使得模型能够更有效地捕捉时间序列数据中的长期依赖关系。该架构显著提升了模型处理各种预测应用中复杂时间模式的能力。此外,所提出的联邦学习框架还整合了一种新颖的客户端验证机制,在将服务器端聚合的参数纳入本地模型之前,在客户端层面进行关键验证,从而确保仅保留最有效的更新,进而提升预测模型的稳健性和准确性。通过在实际应用中的大量实验,包括多模态交通需求预测的公共数据集以及城市区域起点-终点矩阵预测的私有数据集,证明了该方法的效率优势。实验结果表明,与传统方法相比,该框架在捕捉复杂时空依赖关系的同时能够更好地保护数据隐私。这项工作不仅为实时、区域性的预测与管理提供了可扩展且注重隐私保护的解决方案,还凸显了在联邦学习环境中利用分布式数据源的潜力。我们的算法已作为开源代码发布在GitHub上。

1 引言
由于现代系统如城市交通、能源网格和环境监测等的复杂性不断增加且相互关联,时空数据预测已成为一个重要的研究领域。准确的预测对于高效规划、资源分配以及减少干扰至关重要。随着城市地区及其他复杂系统的不断发展,这些系统的动态性和多样性进一步加剧了时空数据预测的难度。为捕捉时空数据中复杂的时空依赖关系,人们采用了从传统统计方法到先进的机器学习技术等多种模型。虽然自回归积分移动平均模型、指数平滑法和线性回归等简单模型长期以来被用于预测,但它们往往难以处理时空交互的复杂性。这类模型通常假设数据具有稳定性和线性特征,这限制了其在动态和非线性环境中的适用性。近年来,随着机器学习和深度学习技术的出现,该领域取得了显著进展。这些方法在捕捉时空数据中的复杂模式方面表现出色,相较于传统方法有了显著提升。图卷积网络和循环神经网络等高级模型因其能够更有效地建模空间关系和时间动态而越来越受到重视。长短期记忆网络、门控循环单元、专为时空预测设计的卷积神经网络,以及结合了这些技术的混合模型,都通过利用深度学习架构的优势,在预测精度上取得了显著提升。这些模型尤其适合捕捉时空系统中固有的非线性和复杂交互关系。图卷积循环网络作为一种有效的模型,能够捕捉时空数据中的空间和时间相关性。通过结合图卷积网络和循环神经网络的优势,这类模型尤其适用于建模复杂系统中的动态交互关系。近期,GCRN模型又发展出了多种针对不同时空预测需求的变体。Gong等人[7]提出的动态时空图卷积循环网络是一种用于建模多源时间序列数据中复杂时空依赖关系的最先进方法。该模型最初是为预测碳排放而开发的,但其灵活的架构使其特别适合用于时空预测任务。它能够很好地捕捉空间关系和时间动态,这对于准确预测随时间和地点变化的模式至关重要。在本文中,我们通过将LSTM网络集成到DSTGCRN模型中,提升了本地预测模型的性能,这种改进后的模型被称为LSTM-DSTGCRN模型。这一修改增强了模型捕捉时空数据中常见的长期时间依赖关系的能力,从而提高了其在动态变化系统中的预测效果。尽管在预测技术方面已经取得了进展,但仍然存在一个重大挑战:许多现有方法依赖于集中式数据集。而在很多情况下,数据实际上分布在不同地点,因此集中式访问并不现实。此外,依赖集中式数据的模型还面临诸多问题,包括隐私担忧、数据所有权问题以及管理大规模数据存储库的复杂物流问题。而且,每个组织的数据可能无法涵盖所有相关的特征和模式,因此需要通过协作和联合训练来提升预测精度。然而,直接共享这些数据集会带来严重的隐私风险和物流障碍,使得协作变得不切实际。这些挑战凸显出需要寻找替代方法,以解决集中式方法在实践和伦理方面的局限性。联邦学习提供了一种有效的解决方案,它允许多个客户端在不共享原始数据的情况下共同训练模型。只需交换和聚合模型参数,即可在不泄露数据隐私的同时充分利用集体学习的优势。这种协作方式不仅提升了预测的稳健性,还能最大化来自不同数据源的收益。在本文中,我们提出了一种改进的联邦学习框架,该框架在LSTM-DSTGCRN模型的基础上,用LSTM网络替换了原有的GRU网络。这一修改使模型能够更好地捕捉长期时间依赖关系,而这在各种时空预测任务中至关重要。为进一步提升联邦学习过程的效果,我们提出了一种新颖的客户端验证机制,旨在提高模型的稳健性和准确性。具体而言,在每轮服务器端聚合之后,客户端会在更新本地模型之前对聚合后的参数进行验证。对于每个模块,客户端会暂时用聚合后的参数替换本地参数,然后计算验证损失。如果损失有所降低,则保留新参数;否则恢复原有参数。这种选择性更新确保只有有益的变更会被应用,从而提升整体模型性能。在多种时空数据集上的大量实验表明,与现有的最先进方法相比,我们的方法具有更快的收敛速度和更高的预测精度。该框架尤其适合需要在不同数据源之间进行隐私保护型协同学习的任务。

本文的主要贡献如下:
• 我们通过用LSTM网络替换原有的GRU网络,提升了DSTGCRN模型的性能,使其更能捕捉长期时间依赖关系,从而更有效地应对时空预测任务。
• 我们设计了一种基于客户端-服务器交互的联邦学习框架,确保所有客户端基于共同构建的模型所得到的预测性能均优于本地训练的模型。
• 我们提出了一种新颖的客户端验证机制,可在客户端层面控制聚合模型参数的质量,确保只有有益的更新被纳入本地模型,从而提升模型稳健性并加速收敛。
• 我们在实际数据集上进行了大量实验,涵盖了多模态交通需求预测和起点-终点矩阵预测两种应用场景,证明了我们的方法相比传统的本地模型及现有的最先进联邦学习方法,在各类时空预测任务中都具有更优异的性能。

本文的结构如下:第2节回顾了时空预测和联邦学习领域的相关研究;第3节定义了符号,并阐述了时空数据预测和联邦学习面临的问题;第4节详细介绍了LSTM-DSTGCRN模型;第5节概述了我们的联邦学习框架和客户端验证流程;第6节展示了我们在多模态交通需求预测和起点-终点矩阵预测问题上的实验结果;第7节分析了实验结果及其意义;第8节总结了本文内容,并提出了未来可能的研究方向。

相关研究
随着交通数据量的增加以及复杂建模技术的发展,交通领域的时空数据预测取得了显著进展。近年来,深度学习模型因其能够从大量数据中学习复杂模式,已成为预测任务中的强大工具。尤其是循环神经网络,特别是长短期记忆网络和门控循环单元,已在诸多预测任务中展现出强大性能。

时空数据预测
设为我们希望解决的预测任务数量。在多模态交通需求预测问题中,这些任务可能包括预测公司①的出租车需求、公司②的共享单车需求、公司③的公交车需求等。我们将负责特定预测任务的各个实体称为客户端。每个客户端都有其服务网络,例如出租车的上下客点或公共交通的站点等。

所提出的LSTM-DSTGCRN模型
Gong等人[7]提出的动态时空图卷积循环网络最初是为了预测碳排放而开发的。不过,这一通用性强的模型在多模态交通需求预测方面也表现出色。它的优势在于能够捕捉空间关系和时间动态,因此非常适合处理像交通预测中遇到的那样复杂且不断变化的数据集。该模型整合了三个核心组件。

客户端验证机制
如3.2节所述,我们提出的联邦学习方案包含了一种客户端验证机制,用以提升模型的稳健性和准确性。这一创新机制在用服务器端发送的聚合参数更新本地模型之前,在客户端层面增加了额外的验证步骤,确保只有最有价值的更新被纳入本地模型。

实验
在本节中,我们介绍了为评估LSTM-DSTGCRN模型在所提出的联邦学习框架中的性能而进行的实验。首先描述了研究中使用的数据集,接着介绍了实验设置和评估指标。我们对实验结果进行了全面分析,包括将LSTM-DSTGCRN模型与其他最先进模型(无论是否采用我们所提出的联邦学习方案)进行比较、开展消融实验,以及探讨联邦学习轮次数量对性能的影响。

结果与讨论
在本节中,我们展示了在之前描述的真实数据集上进行的实验结果(具体应用场景将在各小节的标题中说明)。我们对比了本地模型和联邦学习模型,并分析了采用所提出的联邦学习方案后的LSTM-DSTGCRN模型的性能。此外,我们还对训练过程进行了一些分析,并展示了消融实验的结果,该实验旨在分析各个组件的贡献程度。

结论
在本文中,我们提出了一种先进的联邦学习框架,用于解决多模态交通需求预测和起点-终点矩阵预测等不同应用场景中的时空数据预测难题。通过采用改进后的LSTM-DSTGCRN模型,我们的方法能够在保护数据隐私的前提下,有效捕捉时空系统中复杂的空间和时间依赖关系。

致谢
本研究得到了法国“2030愿景”计划下的I-SITE FUTURE项目(参考编号ANR-16-IDEX-0003)、IRT SystemX的探索性研究机构“EXPLO”,以及ANR的MOBITIC项目(资助编号ANR-19-CE22-0010)的支持。Thien Pham于2022年在法国卡昂大学尼古拉斯·奥雷斯姆数学实验室(UMR CNRS 6139)完成数据科学和人工智能博士学位,其博士研究聚焦于利用专家混合模型对功能型和分布式数据进行建模与学习。2023年至2024年,他在古斯塔夫·埃菲尔大学的GRETTIA机构从事博士后研究,同期还担任IRT机构的访问研究员。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号