一种用于视觉语言模型（VLM）集成型真实世界自动驾驶的层次化测试平台

《ACM Transactions on Internet of Things》：A Hierarchical Test Platform for Vision Language Model (VLM)-Integrated Real-World Autonomous Driving

针对自动驾驶中Vision-Language Models（VLMs）的领域自适应挑战，提出分层式实车测试平台，集成轻量级中间件实现VLM无缝对接，支持模块化架构灵活切换传统与VLM驱动组件，并通过闭环场景测试验证感知-决策-控制全流程性能。

　　

摘要

视觉语言模型（VLMs）由于其强大的多模态推理能力，在自动驾驶领域展现了巨大的潜力。然而，将VLMs从通用数据适配到对安全性要求极高的驾驶场景中时，会遇到一个显著挑战，即“领域迁移”问题。现有的基于仿真和数据集的评估方法难以准确再现现实世界的复杂性，缺乏可重复的闭环评估机制和灵活的情景操控能力。此外，当前的真实世界测试平台通常只关注独立的模块，无法与基于VLM的系统进行全面的交互。因此，亟需一种能够整合感知、规划和控制模块的综合性测试架构，以支持基于VLM的系统的测试，并能够配置多样化的真实世界测试场景。在本文中，我们提出了一个专门用于严格评估集成VLM的自动驾驶系统的层次化真实世界测试平台，以填补这一关键空白。具体而言，我们的平台具备以下特点：采用轻量级、结构化且低延迟的中间件管道，实现VLM的无缝集成；采用分层模块化架构，支持传统自动驾驶组件与基于VLM的组件之间的灵活替换，从而提供出色的部署灵活性，便于快速实验；在受控测试轨道上具备先进的闭环情景测试能力，能够全面评估整个基于VLM的自动驾驶系统，涵盖从感知、推理、决策到最终车辆操控的全流程。通过一个广泛的真实世界案例研究，我们证明了该平台在评估不同真实条件下的VLM集成自动驾驶系统的性能和鲁棒性方面的有效性。项目页面和代码链接：https://github.com/YupengZhouPurdue/VLMTest