《Pattern Recognition》：Observe, imitate, and then analogize: Long-tail traffic event generation for robust autonomous driving
编辑推荐：
•提出了DriveCoach用于稀有驾驶图像合成。•引入了三阶段智能体流水线以实现可解释生成。•建立了DriveTail数据集用于长尾场景评估。引言自动驾驶技术的最新进展正逐步受到多模态大语言模型（MLLMs）的推动，因为它们在与驾驶系统交互和理解驾驶过程方面具有巨大潜力[1
• 提出了DriveCoach用于稀有驾驶图像合成。
• 引入了三阶段智能体流水线以实现可解释生成。
• 建立了DriveTail数据集用于长尾场景评估。
引言 自动驾驶技术的最新进展正逐步受到多模态大语言模型（MLLMs）的推动，因为它们在与驾驶系统交互和理解驾驶过程方面具有巨大潜力[1]、[2]。然而，开放世界中的驾驶场景呈长尾分布，例如，与正常驾驶情况相比，图1中椅子从前方卡车掉落的情况极为罕见。尽管理解此类罕见事件对驾驶安全至关重要，但在现实世界中能记录并收集的样本极少。因此，这导致了一个关键挑战，即模型在这些长尾驾驶场景中未能得到良好的泛化或评估，原因在于有限数据下的调优困难。
数据合成可能是解决此问题的合理选择，尤其是在扩散模型快速发展的背景下[3]、[4]、[5]。然而，直接将这些扩散模型用于生成复杂开放的交通场景存在问题，主要存在两个障碍。（1）不真实的生成 。扩散模型难以生成具有复杂关系的场景级图像。例如，如果我们使用文本到图像模型（如DALL-E-3 [6]）根据真值（GT）描述来生成椅子掉落场景，由于描述过于简单，模型经常产生不真实的输出，空间关系错误，如图1所示。另一种方法是使用MLLMs为查询图像生成详细描述，并利用该描述生成合成图像。然而，由于细节过多，模型往往忽略长尾关系而关注不必要的物体，例如，巨大的椅子被错误地放在卡车上，许多无关的汽车出现。（2）同质化生成 。更不幸的是，上述方法只能生成包含相似物体（如卡车、椅子等）的同质化图像，缺乏多样性，因为生成是对同一查询图像的模仿。同时，文本语料库也很有限，使用这些同质化图像和相同的GT描述来微调MLLMs以理解角落案例，将限制这些MLLMs在开放驾驶场景中的泛化能力，正如[7]所指出的。此外，大量重复的示例甚至可能导致过拟合。
为应对这些挑战，我们引入了DriveCoach ，一个用于长尾交通场景的免训练数据合成的多智能体框架。与上述先前方法不同，我们的DriveCoach是一个结构化的OIA多智能体生成框架，具有三个关键阶段：观察（Observe） 、模仿（Imitate） 和类比（Analogize） ，通过MLLMs和扩散模型的独特协作，实现真实且多样化图像的渐进生成。（1）观察 ：首先，我们观察查询图像，从顶层到底层分解场景，以发现图像中的所有细节，因此，我们利用MLLM综合描述场景并列出所有参与者。（2）模仿 ：基于上述发现的参与者，我们进一步使用MLLM通过分析其因果关系来挖掘所有参与者实体中的异常，然后在重新描述中强调异常实体的长尾关系。根据这种异常事件驱动的描述，我们可以有效地生成更合理的图像，遵循查询图像中罕见的驾驶场景，并缓解不真实生成的问题。（3）类比 ：最后，我们利用MLLM的推理能力进行多轮反事实类比，以减少同质化生成。在每一轮中，基于先前阶段的因果关系和历史轮次的类比描述作为引导，我们提示MLLM通过修改或从底层实体生成，创建具有不同细节但保持长尾图像基本事件语义的新场景描述。随后，我们利用一系列扩散模型基于这些反事实描述生成多样化图像。此外，将应用判别器来验证生成的图像是否符合要求。如果不符合，该图像将被过滤掉并附带反思原因，MLLM将被要求重新表述类比描述以进一步生成。最终，我们获得了不同场景的高质量长尾图像以及标注的描述，用于进一步微调。
我们的贡献有三方面。
首先 ，弥合了合成图像生成与真实驾驶场景之间的鸿沟。DriveCoach是一个用于长尾交通事件生成的多智能体框架。它使对罕见交通事件中异常参与者及其因果关系的可控建模成为可能，缩小了通用合成图像生成与真实驾驶场景之间的差距。
其次 ，DriveCoach将观察–模仿–类比（Observe–Imitate–Analogize）流程应用于自动驾驶长尾场景，结合自上而下的场景理解和自下而上的生成，以提高生成驾驶案例的真实性和多样性。
最后 ，由于现有基准缺乏对长尾驾驶场景的适当评估，我们进一步构建了一个新的基准
DriveTail ，用于结合罕见事件定位和风险评估的综合理解。在DriveTail上的大量实验表明，DriveCoach有助于提高对长尾驾驶案例的理解能力，例如，它在DriveTail上将LLaVa [8]提升了5.5%的BertScore，将Shikra [9]从23.1%提升至25.8%的mIoU，比最强的合成数据基线高出7.5%。代码已发布在
https://github.com/ZZhangsm/DriveCoach 。
章节摘要 用于自动驾驶的MLLM MLLMs已从纯文本任务快速演进到自动驾驶等复杂现实世界应用。凭借广泛的预训练知识和强大的上下文理解能力，MLLM可以为自动驾驶（AD）系统增强传统感知模块难以提供的结构化推理和决策能力[10]、[11]。例如，DriveLM [12]采用Graph-VQA（基于图的视觉问答）形式，通过结构化感知、预测来模拟人类驾驶员的多步推理过程，
方法 真实驾驶事件的稀疏性限制了MLLMs理解罕见但对安全至关重要的情况的能力。为了解决这个问题，我们提出了DriveCoach，一个多智能体框架，从有限的真实世界事件D M D syn
实现与指标 我们在4块A100 GPU上使用官方脚本微调了Shikra7b [9]和LLaVa-Next [8]，并选择三个代表性指标来评估模型理解长尾交通场景的性能，包括异常区域的平均交并比（mIoU）以评估感知能力、预测描述与真值描述之间的BertScore以评估描述能力，以及风险分数的平均绝对误差以评估高层语义理解能力。对于
结论 本工作研究了长尾交通事件理解问题，这仍然是构建鲁棒自动驾驶系统的关键瓶颈。我们引入了DriveCoach，一个免训练的框架，利用多模态大语言模型（MLLMs）结合观察-模仿-类比（Observation-Imitation-Analogy，OIA）多智能体策略来合成语义多样的长尾驾驶场景。通过观察和模仿真实
CRediT作者贡献声明 陈思然（Siran Chen）： 撰写——原稿、软件、方法论、概念化。陈博宇（Boyu Chen）： 撰写——原稿、软件。张思明（Songming Zhang）： 撰写——审阅与编辑。罗玉潇（Yuxiao Luo）： 撰写——审阅与编辑。马越（Yue Ma）： 撰写——审阅与编辑。仇雨（Yu Qiao）： 撰写——审阅与编辑、监督。王雅丽（Yali Wang）： 撰写——审阅与编辑、监督。
生成式AI及AI辅助技术在写作过程中的声明 在准备本工作期间，作者使用了ChatGPT以改进语言。在使用该工具后，作者对所需要的内容进行了审阅和编辑，并对出版物的内容承担全部责任。
利益冲突声明 作者声明他们不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。
陈思然|陈博宇|张思明|罗玉潇|马越|仇雨|王雅丽
