一种基于大模型优化的动态提示与场景生成方法，用于自动驾驶感知

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：A dynamic prompting and scenario generation method for autonomous driving perception via large-model optimization

自动驾驶感知系统中多模态大模型的部署优化研究，提出动态提示框架与混合数据集构建方法，结合知识蒸馏、LoRA和激活感知量化实现轻量化部署，显著提升锥桶检测、交通灯识别等任务准确率。

　　

张 Song | 林 Hongyi | 王 Mengjie | 魏 Bangyang | 刘 Yang | 曲 Xiaobo

清华大学车辆与移动学院，北京，100084，中国

摘要

大型多模态模型的出现为高度自动化驾驶提供了新的可能性。然而，它们在复杂驾驶场景中的实际应用仍受到场景理解能力弱、对长尾案例的泛化能力差以及缺乏系统化集成流程以适应现实世界操作的限制。本文并非提出一个新的独立算法，而是提出了一个统一且以部署为导向的框架，用于将多模态大型模型集成到自动驾驶感知系统中。我们的方法强调了在提示生成、混合数据构建和轻量级模型适应方面的系统级耦合，形成了一个结构化的开发工作流程，将大型模型的能力转化为可部署的性能。我们采用了一种迭代动态提示策略，通过验证反馈来优化受模式约束的提示模板，而无需修改模型权重。为了解决长尾数据的稀缺问题，我们构建了一个混合数据集，该数据集结合了自收集的驾驶日志和通过文本到图像以及程序化渲染流程生成的可控合成场景，并由自动化注释工作流程支持，以实现可扩展的监督。为了高效部署，我们集成了知识蒸馏、参数高效调整（LoRA）和激活感知量化（AWQ），在边缘计算的限制下实现资源高效的推理，同时保持强大的感知性能。实验结果表明，所提出的框架在包括圆锥检测、交通灯识别和速度限制建议在内的代表性驾驶感知任务中提高了准确性。总体而言，这项工作建立了一条从大型多模态模型能力到实际自动驾驶部署的路径，适用于长尾和资源受限的环境。

引言

自动驾驶车辆（AVs）经历了二十多年的快速发展，并取得了显著的里程碑（Liu等人，2025a）。如今，来自特斯拉、通用汽车和华为的许多商用车辆都提供了先进的驾驶辅助功能，并在特定的操作设计领域内实现了有限的高自动化功能（Huang和Yu，2022）。尽管取得了这些进展，但大规模部署仍然受到限制（Thadani，2023）。一个核心障碍是模型对多样化、不可预测环境的泛化能力不足，特别是在城市间交通转换的情况下（Yang等人，2025）。一些罕见但至关重要的情况（例如，不寻常的道路事件、新型交通标志和复杂的交叉路口）继续挑战当前的感知系统（Lin等人，2025；Wu等人，2024）。在当今的可部署系统中，感知主要还是在车辆收集的日志上进行监督训练的，且目标通常局限于一小部分固定类别（例如，车辆、行人、车道线、静态障碍物）（Lin等人，2024a）。因此，场景理解仍然有限，在开放世界条件下的鲁棒性不足。

大型语言模型（LLMs）和视觉语言模型（VLMs）的最新进展在提高通用感知和理解任务方面显示出巨大潜力（Hamad等人，2025；Liao等人，2024；Xu等人，2024）。这些基础模型可以在统一框架内处理图像和文本，从而实现更丰富的语义理解。这种多模态能力有潜力显著提升自动驾驶中的场景理解和适应性（Wang等人，2024；Zhang和Li，2022）。然而，将这些模型应用于现实世界的驾驶感知仍然面临三个主要挑战：（1）当前的多模态模型严重依赖精心设计的提示，这些提示在不同任务之间的适应性较差；（2）收集和注释罕见场景的高质量数据成本高昂且往往不完整（Tahmina等人，2025）；（3）大型模型计算密集，具有高延迟和内存需求，使得它们难以在边缘设备上高效部署（Liu等人，2025b；Liu等人，2023）。

为了解决这些挑战，本文提出了一种综合优化框架，用于将多模态大型模型应用于自动驾驶感知。我们的方法解决了三个关键问题：提示设计的泛化能力不足、构建高质量长尾数据集的困难以及大型模型推理和部署的低效率。我们提出了一种结合动态提示和场景生成的方法，并通过大型模型优化策略加以支持。具体来说，我们引入了一个动态提示调整框架，根据输入场景内容迭代优化任务指令，以增强模型对场景相关元素的关注。此外，我们构建了一个混合数据集，将自收集的真实世界驾驶数据与通过文本到图像模型和程序化3D渲染生成的合成数据结合起来。对于模型优化，我们采用了一种混合训练流程，结合了知识蒸馏和基于低秩适应（LoRA）的微调，随后进行激活感知量化（AWQ），以确保在资源受限平台上实现轻量高效推理。

我们的贡献总结如下：

•

我们为自动驾驶感知中的多模态大型模型引入了一种动态提示策略，其中提示模板根据模型反馈进行迭代优化，以更好地捕捉不同驾驶场景中的相关元素。

•

我们开发了一种可扩展的混合数据集构建流程，将自收集的真实世界驾驶数据与通过文本到图像和程序化渲染方法生成的多样化合成场景结合起来。

•

我们设计了一个混合模型优化框架，结合了知识蒸馏、基于LoRA的微调和激活感知量化（AWQ），以降低部署成本的同时保持感知性能。

本文的其余部分结构如下。第2节回顾了自动驾驶感知、驾驶场景生成、提示工程和模型优化方面的相关工作。第3节介绍了我们的整体系统架构和方法设计。第4节展示了实验设置和结果。最后，第5节总结了本文并讨论了未来的发展方向。

章节片段

相关工作

在驾驶场景感知领域，多模态模型的优化和部署仍然是研究的热点（Hu等人，2025；Lin等人，2023；Shao等人，2025）。本节从四个关键角度回顾了相关文献，并明确指出了我们的方法在可部署驾驶设置下与代表性工作的结构差异。

方法论

我们提出的方法遵循一个统一的优化流程，整合了动态提示构建、混合数据集生成和高效的大型模型适应。它系统地提升了多模态模型的感知能力，同时确保了轻量级部署。所提出方法的整体架构如图1所示。

实验

为了评估模型的性能，我们在包含自收集的真实数据和通过文本到图像及纯渲染技术生成的合成数据的数据集上进行了广泛的实验。最初，我们使用全部真实数据训练模型，以探索其在实际应用场景中的能力。随后，为了研究合成数据在训练过程中的潜在价值，我们进一步比较了模型在结合合成数据时的性能

结论

为了解决多模态大型模型在自动驾驶感知中的局限性，特别是在场景理解、长尾泛化和部署效率方面的问题，本文提出了一种综合优化框架，该框架整合了动态提示优化、混合场景生成和轻量级模型适应。在多个感知任务上的广泛实验证明了所提出框架的有效性。与仅使用真实数据进行训练相比，

CRediT作者贡献声明

张 Song：可视化、方法论、概念化。林 Hongyi：写作——审阅与编辑、撰写——初稿、方法论、形式分析、概念化。王 Mengjie：写作——初稿、验证、方法论、数据管理、概念化。魏 Bangyang：资源、监督、写作——审阅与编辑。刘 Yang：写作——审阅与编辑、资源获取。曲 Xiaobo：写作——审阅与编辑、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。