Sim2Real Diffusion：利用基础视觉语言模型实现自适应自动驾驶

《IEEE Robotics and Automation Letters》：Sim2Real Diffusion: Leveraging Foundation Vision Language Models for Adaptive Automated Driving

自动驾驶仿真中的跨域迁移框架，通过条件潜在扩散平衡领域适应、小样本优化、多模态提示和实时性，实验显示性能提升超40%。

　　

摘要：

基于仿真的设计、优化和验证对自动驾驶车辆的改进至关重要。然而，其有效性的最终衡量标准是它们能否成功从仿真环境过渡到现实世界（即从“sim2real”过渡）。然而，现有的“sim2real”迁移方法难以满足自动驾驶所需的几个关键要求：(i) 条件化领域适应能力，(ii) 在样本有限的情况下仍保持稳定的性能，(iii) 处理多种领域表示时的模块化能力，以及 (iv) 实时性能。为了解决这些问题，我们提出了一个统一的框架，通过条件潜在扩散技术来学习跨领域的自适应表示，以实现可迁移的自动驾驶。该框架提供了多种选项，包括：(i) 替代的基础模型，(ii) 少样本微调流程，以及 (iii) 用于在源领域和目标领域之间进行映射的文本和图像提示。此外，该框架在参数空间（如一天中的不同时间、天气条件、季节和操作设计领域）中进行扩散时，能够生成多样化的高质量样本。我们系统地分析了所提出的框架，并通过性能基准测试和消融研究报告了我们的发现。此外，我们还通过行为克隆案例研究证明了其在自动驾驶中的应用价值。实验表明，所提出的框架能够将感知上的“sim2real”差距缩小超过 40%。