基于预训练大型语言模型的自行车流量预测框架

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：A bicycle traffic prediction framework using pretrained large language models

　　

文夏梅|多琳·杜伊斯|塞尔日·霍亨多恩

摘要

作为可持续的交通方式，自行车出行有助于减少城市排放并提升城市宜居性。准确预测短期的自行车流量，能够为城市自行车系统中的实时及近实时交通管理决策提供支持。然而，由于高质量自行车数据有限、传感器覆盖范围不足，以及对外部因素的敏感度较高，这一任务颇具挑战性。在这项研究中，我们受大型语言模型强大的时间序列建模能力的启发，提出了一种用于自行车流量预测的自行车时空大型语言模型（BiSTLLM）。在BiSTLLM中，我们将每个地点的历史流量数据视为标记，从而使模型能够学习复杂的时空模式。具体而言，我们首先引入基于因果时间卷积的天气滞后处理机制，以捕捉天气对自行车流量的延迟影响。同时，我们还加入了兴趣点及自行车道可达性的语义嵌入信息，用以表示土地利用和基础设施状况，从而提升模型学习局部活动模式及更广泛时空动态的能力。此外，我们还设计了一种微调策略，以便将预训练大型语言模型的通用知识更好地适配于自行车流量的特定特征。在真实世界的自行车流量数据集上的实验表明，BiSTLLM的性能优于现有的最先进模型。值得注意的是，即使在少样本场景下，BiSTLLM也能保持出色表现，这凸显了其在数据稀缺环境中进行精确自行车流量预测的潜力。