StreetViewGPT：一种基于多模态大型语言模型的街景图像场景感知与推理方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：StreetViewGPT: A Street View Image Scene Perception and Reasoning Method Based on Multimodal Large Language Model

　　

摘要：

多模态大型语言模型在处理现实世界的视觉语言任务方面展现出巨大潜力。然而，现有的多模态大型语言模型在理解街景图像方面的能力相对有限，难以实现多层次的语义理解和空间推理，从而限制了其在地理空间人工智能领域的应用潜力。本研究构建了一个用于指令微调的数据集，旨在帮助多模态大型语言模型从街景图像中学习空间知识和场景特征，该数据集名为SVGPT-Instruct。这个大规模的街景理解数据集包含43万条指令样本和11万张街景图像。最终，我们提出了基于多模态大型语言模型的街景图像场景感知与推理方法——StreetViewGPT。StreetViewGPT能够统一处理各种街景图像任务，包括时间估计、天气识别、场景分类、空间距离估计以及场景图生成。实验结果表明，在时间估计、天气识别和场景分类任务中，StreetViewGPT的准确率分别比现有次优模型提高了1.33%、21.68%和18.83%。在空间距离估计任务中，预测结果落在[75%，125%]、[50%，150%]和[25%，175%]这三个误差容忍区间内的准确率分别达到了88.3%、97.7%和99.5%，相比现有模型提升了78.2%、78.7%和58.6%。在场景图生成任务中，其召回率和平均召回率分别达到了16.09%和6.84%，相比Qwen2-VL提升了12.49%和5.4%。这表明StreetViewGPT具备多层次的语义理解和空间推理能力，从图像层面的全局语义感知到区域层面的精细推理均能实现。所提出的方法提升了街景图像中空间场景的识别与认知能力，具有重要的应用价值...

显示更多