交通领域的跨模态时空预测：模型范式、表示方法、对齐机制与推理策略综述

《Information Fusion》：Cross-modal Spatiotemporal Prediction in Transportation: A Survey of Modeling Paradigms, Representations, Alignment, and Reasoning

　　潘宇辰|宋向宇|杨思毅|王俊阳|兰天一|李龙|王东|胡欣|赵杰|赵娟|孙世杰|徐采|李万林|崔华•从手工多模态融合到基于MLLM的预测的范式转变。•多模态交通预测的分类：轨迹、流量、需求以及多任务预测。•探讨了缺失数据、不对齐问题以及迁移学习；对比了MLLM与传统方法。•整理了模型、数据集和评估指标；总结了现有挑战与未来发展方向。

引言
交通预测是人工智能驱动的城市交通系统中的基础性任务。其准确性与可靠性直接影响交通效率、出行安全以及运营管理[1]、[2]、[3]。然而，预测性能不仅取决于交通状态的变化，还受天气、交通管控措施以及交通事件等外部因素的影响[4]、[5]、[6]、[7]、[8]、[9]。这些因素往往难以量化，且可能引入非平稳性干扰，给稳定可靠的预测带来持续挑战。随着传感技术的多样化以及通信和计算能力的提升，这类因素逐渐被纳入预测模型中。因此，研究方向也从仅依赖交通状态的传统的单模态方法[1]、[2]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]，转向了融合多种上下文信息的多模态预测方法[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]，以此更准确地描述交通动态并提升预测性能。

多模态交通预测旨在整合多源交通数据，包括结构化的时间序列交通状态、结构化的外部时间相关因素、道路网络图，以及可选的知识图谱，从而在统一框架内将时空交通动态与上下文信息共同编码，进而获得更完整的交通状态表征[18]、[19]、[21]、[26]。与单模态方法相比，多模态方法能够利用不同模态之间的互补信息，刻画交通动态与上下文条件之间的关联，实现更丰富的特征表示以及更精准的时空预测。尽管如此，现有研究仍面临三重挑战：（1）多源交通数据通常存在缺失值、噪声以及不平衡问题，这增加了跨模态补全和稳健预测的难度[27]、[28]、[29]；（2）不同模态之间存在语义差异和时空尺度差异，导致跨模态对齐和交互建模不稳定[18]、[21]、[30]；（3）不同场景下各模态的重要性不同，固定的融合权重限制了跨场景的泛化能力[31]、[32]。

为解决这些问题，先前的研究开发了用于时间信号和时空场的插补网络，以处理缺失数据[27]、[33]。还有些研究将上下文因素直接纳入预测过程，通过跨模态注意力机制提升多源数据的协同使用效率[18]、[25]、[34]，或通过自适应加权降低对特定场景下某类模态的依赖[31]、[35]。虽然这些方法已取得显著进展，但它们大多是为特定任务或问题场景量身定制的，尚未形成稳定且可迁移的多模态融合范式。近年来，MLLM的兴起为多模态交通预测带来了新可能。通过将异构输入通过分词或共享的语义表示进行组织，MLLM为跨模态融合、语义对齐以及场景迁移提供了更为灵活的接口，减少了对任务专用编码器及手工设计的对齐流程的依赖[22]、[36]、[37]、[38]、[39]。图1展示了从以任务为导向的手工多模态融合向基于MLLM的统一框架的范式转变，并总结了传统流程中的三大核心挑战以及对应的基于MLLM的解决方案。

具体而言，MLLM能够对多模态数据进行分词处理，将其映射为共享的语义标记表示，从而形成以语义整合为核心的统一融合范式[22]、[36]、[37]、[40]、[41]、[42]。为支持全场景表征与联合推理，基于MLLM的框架通常会采用三种机制：（1）数据模态的补全。通过自监督预训练、跨模态一致性约束以及不确定性估计，模型能够在共享的语义空间中进行语义插补和模态内的去噪处理。跨模态校准则有助于消除由缺失数据、噪声以及长尾分布带来的偏差[41]、[43]、[44]；（2）跨模态的时空对齐。对比对齐和基于匹配的目标函数有助于在不同模态之间建立共享的标记语义。多尺度时空编码则可将异构输入对齐到统一的时空尺度上，从而更一致地刻画跨模态关系，减少语义差异和尺度不匹配的问题[36]、[42]、[45]、[46]、[47]、[48]；（3）跨场景的泛化与适配。参数高效调优和指令调优可用于对不同任务进行对齐，而基于检索的上下文增强则可以将外部知识引入预测过程。动态模态权重调整和条件解码则进一步支持基于统一表示的跨场景迁移与适配[46]、[49]、[50]、[51]。

尽管现有的综述从不同角度探讨了LLM、MLLM、基础模型以及交通预测相关内容，但其研究范围和组织视角与本综述的重点有所不同。有些研究分析了LLM或大型模型在智能交通系统及自动驾驶领域的应用、作用以及面临的挑战[38]、[39]、[52]、[53]；还有些综述聚焦于基于LLM的出行规划或交通预测[51]、[54]，或是用于自动驾驶的多模态大型模型[55]；更广泛的综述则涉及时空预测[56]、时空基础模型的整体流程，包括数据整合、模型设计与选择、训练目标以及适配方法[57]，或是传统的基于图的交通预测方法[58]。这些研究都为相关领域奠定了重要基础，但并未系统性地梳理多模态交通预测在预测任务、模态接口以及建模范式方面的发展脉络。

为弥补这一不足并明确本综述的定位，表1从以预测为中心的组织方式、跨模态数据建模、任务级分类、跨范式组织以及统一接口/协议讨论等方面，对比了现有的代表性综述。基于此对比，本综述将多模态交通预测视为一系列跨模态时空预测任务。它在统一的模态接口下，对轨迹预测、交通流预测、出行需求预测以及多任务联合预测进行了综述，并在同一以任务为导向的框架内，对比了传统多模态流程与基于MLLM的范式。我们的主要贡献如下：•我们从微观到宏观层面对多模态交通预测任务进行了分类，分析了不同场景下所使用的输入模态及融合策略；•我们在统一的模态接口下，系统地对比了传统多模态流程与基于MLLM的范式，明确了两者在处理数据缺失、跨模态时空对齐以及跨场景适配方面的差异；•我们梳理了不同任务场景下的现有数据集与评估方案，分析了MLLM在多模态交通预测中的局限性及面临的挑战，同时提出了未来研究的建议。

章节节选
初步说明与任务分类
在多模态交通预测中，不同的任务场景在预测目标、时空尺度、输入模态以及输出形式方面存在差异。这些差异使得明确预测对象及其假设条件变得十分必要。为了为本综述奠定共同的基础，我们首先定义了具有明确场景边界的任务分类体系，随后引入了统一的符号系统，最后概述了论文的结构以及基于分类体系的文献索引。

任务定义
轨迹预测的对象是城市环境中的动态交通参与者，如车辆、行人和骑自行车的人。根据这些参与者的历史状态及周边场景信息，该任务旨在预测其在较短预测时间范围内的未来运动轨迹，或者从车道图中推断出其在候选车道或路径上的具有拓扑意识的行驶意图分布。具体而言，对于某个交通参与者a∈A，其多源输入包括结构化的历史轨迹信息……

任务定义
交通流预测的任务对象是网络中的道路单元，其目标是预测这些单元在给定时间窗口内的未来运行状态，包括流量、速度和密度。与关注单个交通主体的轨迹预测不同，交通流预测侧重于描述整个道路网络的运行状况及传播动态，重点关注道路连接性、拥堵演变以及容量变化。具体而言，对于某个任务，其多源输入包括……

任务定义
出行需求预测的任务对象是城市中的空间单元，如网格单元、功能区以及出行起点-终点对，其目标是预测这些单元在给定时间窗口内的未来出行需求。在实际应用中，出行需求可以表现为区域级别的强度或出行起点-终点级别的流量，而出行起点-终点分布则能进一步揭示人们的目的地偏好。为统一这些表述，我们定义了一个通用的空间聚合单元u∈D，其中D∈{R,O}：若u=r∈R，则表示一个区域，如网格单元或功能区……

任务定义
多任务联合预测的任务对象是交通系统的多个组成部分，其目标是在共享的时间窗口内预测这些组成部分的未来演化趋势。与单一任务预测不同，该任务通过在一个统一的建模框架内共享特征空间、交互机制以及一致性结构，强调不同任务之间的潜在关联。它能够刻画个体交通主体、道路网络状态以及区域需求模式之间的跨尺度依赖关系，从而实现更……

讨论与未来方向
本部分对多模态交通预测进行了统一阐述。我们首先总结了不同任务场景下的共性建模模式及常见瓶颈，接着对具有代表性的研究进行了对比总结，最后探讨了对于实现稳定实际应用和高效部署而言至关重要的未来研究方向。

结论
本综述系统地梳理了四种任务场景下的多模态交通预测：轨迹预测、交通流预测、出行需求预测以及多任务联合预测。从统一的时空和模态视角出发，我们总结了如何在不同任务中对异构输入进行组织、编码、对齐和融合，并对比了传统的任务专用融合流程与新兴的基于MLLM的范式。传统方法注重显式的……