《Neurocomputing》:CoDE-FL: Coreset-guided evolving neural networks for communication-efficient federated trajectory forecasting
编辑推荐:
•CoDE-FL将轨迹核心集敏感性与神经拓扑演化关联起来。•双阶段核心集保留了具有信息量的实体和时间运动模式。•E-STN将活动通道和掩码适应于局部轨迹复杂度。•稀疏共识聚合在保持准确性的同时减少了上行流量。引言随着定位感知传感器、智能车辆和移动跟踪应用的快速普及,轨迹预测已
- •
CoDE-FL将轨迹核心集敏感性与神经拓扑演化关联起来。
- •
双阶段核心集保留了具有信息量的实体和时间运动模式。
- •
E-STN将活动通道和掩码适应于局部轨迹复杂度。
- •
稀疏共识聚合在保持准确性的同时减少了上行流量。
引言
随着定位感知传感器、智能车辆和移动跟踪应用的快速普及,轨迹预测已成为现代智能交通系统(ITS)[1]的基础基石。预测移动实体的未来空间路径可以产生关键的行为洞察,从而为从自动驾驶、碰撞避免到预测性城市交通管理等下游应用提供支持[2]、[3]、[4]。在实践中,轨迹记录本质上被特征化为连续的多元时间序列轮廓,用于在长时间线内监测高频横截面运动。随着这些跟踪数据集的粒度和历史长度的指数级增长,从去中心化的边缘客户端学习深度结构表示已成为捕获复杂移动动态的必不可少范式[5]、[6]。
为了应对严格的数据隐私约束和数据孤岛挑战,联邦学习(FL)已被广泛采用为一种去中心化训练范式,使客户端能够在不集中原始地理数据的情况下协作优化轨迹预测模型[7]、[8]。然而,在大规模轨迹流上部署传统的联邦学习基础设施会遇到严重的性能瓶颈。一方面,维持长时间轨迹历史记录会对资源受限的边缘节点造成巨大的存储和局部计算压力。另一方面,尖端预测框架,例如重型时空图神经网络(STGNNs),具有密集的结构参数;持续地通过高延迟无线上行信道传输这些巨大的权重空间或密集梯度会导致不可持续的通信开销,经常引起网络拥塞和同步失败[9]、[10]。
为了缓解这些通信和计算障碍,当代文献广泛探索了模型级优化技术,包括梯度量化、稀疏化和局部参数修剪[11]、[12]、[13]。尽管取得了成功,这些传统方法存在一个基本盲点:它们将客户端经验分布视为不可变的黑箱,完全忽略了原始轨迹中自然存在的大量信息冗余。高频跟踪日志经常产生大量线性、无信息量的运动,例如车辆沿直道匀速行驶,这些浪费了局部训练周期并将高度重复的参数向量注入到全局聚合循环中[14]。因此,在专门为轨迹预测任务联合优化数据级表示和模型级结构复杂度的情况下,实现通信高效联邦学习仍是一个关键空白。
为了解决耦合的数据和参数扩展问题,本文提出了CoDE-FL,一种用于通信高效联邦轨迹预测的核心集引导的演化神经框架。其核心思想是,轨迹信息量不仅应决定在边缘客户端保留哪些样本,还应作为适应局部时空神经网络活动拓扑的结构信号。在数据方面,CoDE-FL构建了一种双阶段重要性采样机制,在局部优化前将冗余轨迹流汇总为加权核心集窗口。在模型方面,CoDE-FL并不强制每个客户端在压缩数据上训练相同的密集架构,而是使用演化时空网络(E-STN)根据核心集复杂度和层激活方差来增长或修剪活动路径。由此产生的稀疏更新随后通过服务器端共识掩码进行聚合,以减少非独立同分布轨迹分布下的不稳定客户端特定坐标。
在本文中,联邦轨迹预测被视为分布式时空移动预测的一个代表性实例,其中预测的移动状态可以与单个实体或聚合的交通状态相关联。与主要关注模型级压缩的现有通信高效联邦学习方法不同,CoDE-FL同时考虑了轨迹数据和神经表示中的耦合冗余。它引入了一种轨迹感知的数据-模型协同设计范式,通过双阶段核心集机制提取轨迹信息量,并进一步用于指导神经拓扑适应。与主要依赖内部模型状态的常规动态稀疏训练方法不同,CoDE-FL在轨迹特征和模型演化之间建立了明确连接,实现了数据选择、模型复杂度和通信效率的联合优化。
本工作的主要贡献总结如下。
- •
我们提出了一种用于通信高效联邦轨迹预测的轨迹感知数据和模型协同设计框架。与分别优化数据选择或模型压缩的现有方法不同,CoDE-FL联合利用了轨迹信息量和神经结构适应,同时确保所有轨迹核心集严格保留在客户端本地,不存在隐私泄露风险。
- •
我们开发了一种基于实体敏感性和时间敏感性估计的双阶段轨迹核心集提取策略。所提出的方法在去除冗余轨迹观测的同时保留了信息量丰富的移动模式,实现了大规模边缘数据下的有效局部训练。
- •
我们设计了一种敏感性引导的演化时空网络,其中轨迹复杂度通过自适应通道扩展和参数修剪引导动态拓扑调整。与常规动态稀疏训练相比,该机制引入了轨迹感知的结构演化。
- •
我们引入了一种稀疏共识聚合策略,以减少非独立同分布数据联邦环境下的通信开销,并提供重要性采样近似分析来从理论上支持所提出的基于核心集的优化方法。
章节摘要
相关工作
本节回顾了本文框架的三个基础支柱方面的现有文献:通信高效联邦学习、基于核心集的数据缩减技术以及用于轨迹预测的深度时空架构。
预备知识
本节建立了去中心化轨迹预测的数学基础,形式化了从时间序列核心集文献中推导出的不可分解时间自回归混合模型,并定义了联邦学习范式下的理论优化目标。
方法论
本节介绍了CoDE-FL的综合架构设计,这是一种通信高效且具有延迟韧性的分层联邦轨迹预测框架。
实验与综合评估
本节从预测准确性、收敛行为、通信成本、局部计算以及在时空非独立同分布划分下的鲁棒性等方面评估了所提出的CoDE-FL框架。
结论与未来工作
本文提出了CoDE-FL,一种用于大规模时空轨迹预测的通信高效联邦学习框架。核心思想是使用轨迹核心集敏感性不仅用于客户端数据缩减,还作为适应演化时空网络(E-STN)活动拓扑的结构信号。通过结合双阶段核心集提取、敏感性驱动的稀疏局部训练和基于共识的稀疏聚合,CoDE-FL有效地
CRediT作者贡献声明
李凯举:撰写——初稿。张奇坚:方法论。徐强:形式分析、数据管理。邓明森:撰写——审阅与编辑、指导。
利益冲突声明
作者声明不存在已知的竞争性财务利益或个人关系,这些因素可能影响本文报告的工作。
致谢
本工作部分得到以下项目支持:上海浦江人才计划(24PJA056)、贵州省基础研究计划(自然科学)(黔科合MS[2025]227)、贵州省教育厅青年科技人才发展项目(QJJ[2024]86)、文化和旅游部旅游多源数据感知与决策技术重点实验室开放基金(TMDPD-2023 N-002)、贵州财经大学创新探索与
李凯举获得重庆大学计算机科学与技术学院博士学位。她目前是贵州财经大学信息学院助理教授。她的当前研究兴趣包括联邦学习、边缘计算和对抗机器学习。
李凯举|张奇坚|徐强|邓明森