一种结合自监督联邦学习的动态多模态融合神经网络用于预测交通状况

《Journal of the Franklin Institute》：A Dynamic Multimodal Fusion Neural Network with Self-supervised Federated Learning for Predicting Traffic Conditions

　　

•提出了一种多模态融合神经网络，集成交通流量、道路等级和车辆速度等多种数据源，以提高动态交通条件下的预测准确性和鲁棒性。•实现了一种动态调整机制，能够基于实时数据进行自适应参数调节，提升大规模分布式环境下的预测效率和稳定性。•使用阿里巴巴天池路况公开数据集进行评估，证明了联邦学习与多模态融合相结合在克服单一数据源预测局限方面的有效性。

引言
随着全球城市化进程的加速和机动车数量的增加，交通拥堵已成为现代城市面临的主要挑战之一。世界主要城市的交通拥堵状况日益严重，导致大量时间浪费和经济损失。据统计，伦敦是全球最拥堵的城市之一，每位驾驶员每年平均因交通拥堵损失156小时1。2023年，全球交通拥堵问题持续恶化，387个城市的平均出行时间和燃油消耗显著增加2。此外，美国交通拥堵每年造成约870亿美元的经济损失，包括燃油成本、延误成本和生产效率损失3。这表明交通拥堵不仅是个人的烦恼，更是一个亟需解决的社会问题。

如图1所示，我们的数据包含以下几种情况：1)路边有很多停放的车辆，但它们不影响行驶，实际路况为畅通。2)车辆之间的距离较短，前车遮挡了道路视野，影响对当前路况的判断。3)在双向道路上，对向车道拥堵，但行驶车道缓慢或畅通。4)摄像头安装角度偏移，可能影响路况判断。显然，用于训练的车辆数据越多，图像识别效果越好。然而，车主不愿意共享摄像头采集的图像数据。即使车主愿意共享，5G网络也无法支持如此大规模图像和视频带宽的传输。因此，联邦学习非常适合这种场景。联邦学习是一种分布式机器学习方法，允许多个设备（如车辆）在不共享原始数据的情况下协同训练模型。每辆车在本地训练模型，然后仅共享模型更新（如梯度或模型参数），而非原始数据。然而，现有的传统联邦学习模型存在明显不足，主要体现在：1)依赖历史数据和简单平均方法，难以有效应对复杂动态的交通模式1；2)通常忽略多模态数据融合，在处理大规模分布式数据时效率低下，面临准确性瓶颈2。

因此，我们采用结合联邦学习的多模态融合神经网络，以弥补传统模型在数据融合和复杂模式识别方面的不足。通过整合交通流量、道路等级和摄像头图像等多种数据源，我们可以全面反映交通动态。多模态融合神经网络利用不同数据源的互补性，提高预测准确性和鲁棒性。为解决数据隐私和计算资源瓶颈，我们引入了自监督联邦学习动态调整机制。该机制在每台设备上以分布式方式训练模型，减少了集中式处理所需的原始数据直接暴露，但需注意联邦训练本身并不能正式保证隐私，这一点将在后续讨论中进一步考察。

交通流量预测已成为智能交通系统的基础组成部分，深度学习方法相比传统统计方法展现出显著的性能提升。Liu和Shin（2025）对交通流量预测方法进行了全面综述，将其分为基于统计、基于机器学习和基于深度学习的三类方法，结论指出深度学习方法由于能够建模复杂非线性关系，整体性能更优3。Yu（2024）提出了一种基于图的自适应深度学习交通预测方案，解决可扩展性和可持续性挑战，利用领域知识将预测任务分解为子任务，并引入基于经验Fisher信息损失的流学习算法，实现增量学习而无需从头重新训练4。Dong等人（2025）开发了一种机制-数据混合驱动的方法，称为MHT-Net，通过多参数张量图卷积网络和张量循环神经网络实现交通参数间协同机制的知识嵌入，有效处理交通状态预测中的缺失值5。

混合深度学习架构的最新进展进一步提升了预测准确性。Topilin等人（2025）设计了一种整合机器学习优化与深度学习的CPO-CNN-LSTM-Attention模型，在巴黎道路交通数据上实现了17.35-19.83的RMSE和13.98-14.04的MAE6。Chiang等人（2025）探讨了数据预处理方法对交通流量预测的影响，证明结合日间和日内特征与CNN-LSTM模型可将预测错误率降至5%以下7。Alzughaibi等人（2024）引入了Hunter Prey优化算法与CBLSTM-AE混合模型，用于智能城市的交通流量预测，利用Z-score标准化和超参数优化提高预测准确性8。Zhu等人（2025）对基于分解和非基于分解的深度集成学习方法进行了实验比较，证明了分解方法的优越性，同时揭示了其对聚合策略和预测时距的敏感性9。Park等人（2024）提出了一种结合基于每日移动流量峰值时间聚类策略的多TCN-LSTM模型，通过利用地理相关性，相比最先进方法实现了高达28%的性能提升10。

物联网技术与深度学习的集成实现了实时交通预测能力。Sun和Dou（2024）探索了道路传感器和车载GPS等物联网设备在交通流量预测中的应用，设计了融合多源数据的算法和优化模型结构，绝对误差通常小于6km/h11。Li等人（2024）提出了PSO-LightGBM-TM方法，利用粒子群优化对每个网络流的LightGBM参数进行优化，在Abilene、GéANT和CERNET数据集上展示了优于深度学习模型的准确性和效率12。

联邦学习作为隐私保护交通预测的范式已崭露头角。Nidhi和Grover（2024）对联邦学习在车辆交通流量预测中的应用进行了全面分析，比较了FedAvg、FedProx等不同聚合技术和各种深度学习方法，证明联邦学习在有效应对隐私问题的同时，在分布式数据源上保持了预测准确性13。他们的研究强调了针对不同交通场景选择合适的聚合策略和深度学习架构的重要性，为智能交通系统中联邦学习的实际部署提供了指导。

自监督学习因其有效利用无标注交通数据的能力而受到广泛关注。Gao等人（2024）提出了基于自监督学习的交通预测框架TPSSL，引入自适应数据掩码以增强模型对噪声扰动的鲁棒性，并采用两种辅助自监督学习范式来捕捉时空异质性14。他们在四个广泛使用的交通流量数据集上的实验展示了最先进性能，证实了自监督方法在丰富交通预测任务嵌入方面的有效性。

大语言模型的出现为可解释交通预测开辟了新的可能性。Guo等人（2024）提出了基于大语言模型的交通流量预测模型xTP-LLM，通过将多模态交通数据转化为自然语言描述来生成可解释的预测15。LLM框架使用与时空交通流量数据对齐的语言指令进行微调，在与深度学习基线相比取得具有竞争力的准确率的同时，提供了直观且可靠的预测解释。Wang等人（2025）通过为深度学习方法开发反事实解释，进一步推进了可解释交通预测，提出了一个通过多目标优化生成解释的综合框架，包含有效性、接近性、稀疏性和可信度目标16。他们的场景驱动反事实解释整合了方向和权重约束，以针对特定用例定制解释，既惠及机器学习从业者也惠及交通领域专家。

表1系统总结了交通流量预测中的代表性方法，突出了其应用场景、研究贡献和潜在局限性。这种比较分析揭示，尽管现有方法在预测准确性或模型可解释性等特定方面取得了显著进展，但大多数方法存在某些局限性，包括依赖单一数据源、需要集中式数据处理，以及在分布式场景中未充分考虑数据隐私。这些局限性促使我们开发结合多模态融合、自监督联邦学习和动态调整机制的综合框架。

与此同时，基于学习的技术已证明其用途远不止于预测，还延伸至优化和控制领域。Chen等人17的迭代学习控制方案通过将一次任务的误差经验传递到新任务来完善闭环轨迹跟踪，尽管它是为重复性反馈控制而非交通状态预测而设计的，但其逐轮误差校正的理念与本文使用的动态调整方法相近，这暗示了未来可以将本框架的预测结果驱动该类型下游信号控制器进行耦合。

基于表1中的研究，我们提出了一种结合多模态数据融合、自监督联邦学习和动态调整机制的预测框架。我们在以下关键领域展示了其独特贡献和优势：

•提出多模态融合神经网络：通过集成交通流量、道路等级和车辆速度等多种数据源，多模态融合神经网络全面反映交通动态。该模型利用不同数据源的互补性，提高预测准确性和鲁棒性，有效应对复杂动态的交通模式。

•实现动态调整机制：为应对数据变化，我们引入了动态调整机制。该机制使模型能够基于实时数据自适应调整参数，提高预测准确性。该机制显著增强了模型在处理大规模分布式数据时的效率和预测能力，确保模型在动态环境中的稳定性和实时性能。

•单一数据源问题的评估与验证：我们使用阿里巴巴天池路况公开数据集验证我们的方法。通过将联邦学习与多模态融合及动态调整机制相结合，我们有效解决了传统联邦学习无法利用单一数据源全面反映交通动态的问题。

章节摘要

问题描述

问题1
路况预测的目标是基于平均车辆速度、道路等级和摄像头拍摄图像来预测道路上的交通状态（畅通、缓慢、拥堵），如图2所示。这项工作有助于交通管理部门优化交通调度和资源分配，从而缓解交通拥堵。

给定一组交通数据集D=(Xt,Yt)t=1T，其中Xt表示时间t的输入特征，包括平均车辆速度vt、道路等级lt，

算法伪代码

图4展示了上述算法对应的详细网络架构。该架构由三个主要组件组成：(1)模态特定编码器，从速度、等级和图像输入中提取特征；(2)多模态融合模块，使用基于注意力的机制集成这些特征；(3)时序建模组件，使用3层LSTM后接softmax分类器。联邦学习模块展示了自监督和

结果分析

本研究使用了阿里巴巴天池大数据竞赛平台的交通预测数据集。该数据集记录了平均道路速度、道路等级、摄像头图像和交通状态标签，类别分布为70%畅通、10%缓慢和20%拥堵。数据集包含2100个序列，总计约9800张图像。序列沿时间线排序，按时间划分而非随机打乱，最早70%（约7000张图像）

结论

本研究提出了一种创新的多模态融合神经网络框架，结合自监督联邦学习和动态调整机制，用于交通状态预测。通过利用交通流量、道路等级和摄像头图像，该模型在天池交通数据集上实现了96.8%的准确率、0.08的RMSE、0.98的AUC和0.88的NMI，显著优于基线方法。消融研究证实了每个组件的贡献：多模态融合贡献了17.3

数据可用性声明

本研究使用的代码可在Zenodo公开获取，网址为https://doi.org/10.5281/zenodo.18136464。本研究所使用的数据集可通过天池平台公开访问，网址为https://tianchi.aliyun.com/dataset/144857。

CRediT作者贡献声明

Yanxing Li：撰写-审阅与编辑，撰写-原稿，方法论，概念设计。

Jian Li: 撰写 – 初稿，验证，数据整理。
Jichang Chen: 撰写 – 审阅与编辑，可视化，数据整理，概念构思。
Xueping Zhu: 撰写 – 审阅与编辑，可视化，方法学。
Qingnian Li: 撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证。
Yuan Lei: 撰写 – 审阅与编辑，撰写 – 初稿，指导。
利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本报告中所述的工作。
Yanxing Li|Jian Li|Jichang Chen|Xueping Zhu|Qingnian Li|Yuan Lei