《ADVANCED ENGINEERING INFORMATICS》：SCENELANG: A language-driven informatics framework for multi-modal scene understanding and generation in autonomous driving simulation
编辑推荐：
摘要生成真实且可控的驾驶场景对于自动驾驶汽车的安全开发和验证至关重要，然而当前的模拟工作流程仍受制于劳动密集型的参数驱动场景规范，这阻碍了高效的工程知识管理和跨团队协作。我们引入了 SCENELANG，一个统一的信息学框架，结合多模态场景理解与语言引导扩散，用于整体交通场景生
摘要
生成真实且可控的驾驶场景对于自动驾驶汽车的安全开发和验证至关重要，然而当前的模拟工作流程仍受制于劳动密集型的参数驱动场景规范，这阻碍了高效的工程知识管理和跨团队协作。我们引入了 SCENELANG，一个统一的信息学框架，结合多模态场景理解与语言引导扩散，用于整体交通场景生成。与以往以轨迹为中心的扩散方法不同（它们仅通过事后测试时引导来条件化语言），SCENELANG 在单一层级扩散过程中联合建模场景布局、代理行为和环境背景，并在训练时通过三个抽象层级（场景、代理、交互）将语言条件化。我们的关键见解是利用自然语言作为结构化知识接口来指定复杂的场景配置，从而实现对静态元素（道路拓扑、障碍物）和动态行为（代理交互、交通模式）的直观控制，同时作为人类可读的表示用于工程工作流中的场景文档、检索和重用。为支持这一能力，我们提出了 SCENETALK，一个基于 Waymo 开放运动数据集和 nuScenes 的 18 万个不同驾驶场景构建的大规模数据集，包含 28 万个空间关系描述以及互补的场景级、行为级和时间注解，是通过系统化的知识获取管道构建的，该管道整合了领域本体设计、自动化场景图提取和严格的质量保证。我们进一步介绍了一种场景一致的降噪策略，其地图合规、碰撞避免和运动可行性项共同维护了生成元素在多个尺度间的一致性。在 Waymo 开放数据集和 nuScenes 上的大量实验表明，SCENELANG 在基于扩散的模拟器中达到了最强的真实感（在 Waymo Sim Agents 基准测试中获得 0.738 的 Meta 评分，超越了 SceneDiffuser、VBD、CTG++ 和 LANGTRAJ），并与最先进的自回归模型保持竞争力，同时提供了明显更强且更可直接测量的语言可控性——包括 80.3% 的指令满足率，以及相对于手动配置减少了 75% 的场景规范时间。我们的方法为安全关键的自动驾驶模拟中语言驱动、知识中心的场景工程确立了新范式。
引言
安全可靠的自动驾驶汽车（AV）开发严重依赖于对多样化驾驶场景的全面测试。虽然现实世界测试提供了宝贵的数据，但它从根本上受到安全限制、地理覆盖范围和安全关键事件稀有性的限制 [1]。模拟提供了一种有前景的替代方案，使得能够在反事实场景中进行可扩展的评估，而这些场景在现实世界中遭遇将是不切实际或危险的 [2]。
当前的模拟方法面临真实感与可控性之间的根本张力。基于学习的方法 [3]、[4] 善于利用大规模驾驶数据生成真实的行为，但对特定场景特性的控制有限。相反，基于规则的系统 [5] 提供精确的控制，但难以捕捉现实世界交通的细微复杂性。扩散模型的最近进展在弥合这一差距方面显示出前景 [6]、[7]、[8]，然而现有方法通常侧重于轨迹级生成，忽视了根本塑造驾驶行为的更广阔场景背景。
我们的关键见解是，有效的场景生成需要整体的场景理解，这涉及联合建模道路拓扑、静态障碍物、动态代理及其集体行为之间的相互依赖性。此外，我们观察到自然语言提供了一种直观且富有表现力的接口来指定复杂的场景配置，使专家工程师和非技术利益相关者都能在不具备领域特定知识的情况下阐述测试需求。
从工程信息学角度来看，驾驶场景构成了关键的工程知识资产，必须在自动驾驶汽车开发生命周期中系统地创建、记录、检索和重用。当前实践依赖于低层参数文件和基于坐标的规范，这些对非专业利益相关者是不透明的，难以搜索和组织，并且难以在不同模拟平台之间迁移。相比之下，自然语言充当了一种结构化的知识表示层，桥接了人类认知理解和计算生成，类似于标准化信息模型（例如建筑信息模型中的 IFC）如何在其他工程领域变革知识管理 [1]。通过将语言确立为场景规范的主要接口，SCENELANG 将场景工程工作流程从手动、参数驱动的配置转变为支持高效知识获取、组织和重用的信息学驱动过程。
语言引导的场景生成挑战是多方面的。首先，自然语言描述跨越多个抽象层级，从高级场景属性（“一个繁忙的城市路口”）到具体的代理行为（“蓝色汽车激进地插队到前面”）。其次，生成的场景必须保持物理合理性和内部一致性：代理不应重叠，轨迹必须尊重道路拓扑，行为应遵循现实的交互模式。第三，生成过程必须足够高效，以便能够在可能需要数千种场景变体的模拟管道中进行实际部署。
我们提出了 SCENELANG，一个用于语言引导场景生成的统一框架，通过三个关键贡献来解决这些挑战：
- •
层级场景扩散。 我们引入了一种多尺度扩散架构，联合生成场景布局、代理放置和轨迹行为，同时通过一种新颖的场景一致降噪策略保持跨尺度一致性。
- •
语言 - 场景接地。 我们开发了一种接地机制，将自然语言描述映射到多个粒度的场景元素，从高级场景属性（“拥堵路口”）到具体的代理行为（“车辆向行人让行”）。
- •
SCENETALK 数据集。 我们提出了一个包含 28 万个场景级注解和多模态描述的综合数据集，包括空间关系、时间动态和语义场景类别，使基于语言条件的场景生成模型能够进行可扩展的训练。
图 1 说明了我们的整体框架架构。在 Waymo 开放数据集 [9] 和 nuScenes [10] 上的验证表明，SCENELANG 在生成真实感和语言可控性方面都表现出强劲的性能。我们的方法在 Waymo Sim Agents 挑战赛中获得了 0.738 的 Meta 真实感评分——这是基于扩散的模拟器中最强的，并与最好的自回归模型保持竞争力——同时通过自然语言实现了复杂的场景规范，而使用传统工具手动配置这些场景可能需要数小时。
章节片段
交通模拟与场景生成
交通模拟方法涵盖从基于启发式到基于学习的各种方法。经典模型如 IDM [5] 和 MOBIL [11] 依赖于手工制作的规则，这些规则捕捉了基本的驾驶行为，但无法重现现实世界交通模式的复杂性。基于学习的方法利用现实世界数据生成更自然的行为。TrafficSim [3] 采用变分自编码器进行场景级模拟，而 BITS [4] 结合目标推断与模仿
SCENETALK 数据集
有效的基于语言条件的场景生成需要全面的注解来捕捉驾驶场景的多面性。我们引入了 SCENETALK，一个旨在支持整体场景理解和生成的大规模数据集。
方法
SCENELANG 由三个主要组件组成：(1) 一个表示多尺度场景结构的层级场景编码器，(2) 一个将文本映射到场景元素的语言接地模块，以及 (3) 一个跨尺度生成一致场景的场景一致扩散模型。完整流程如图 1 所示。
实验设置
数据集。 我们在 Waymo 开放运动数据集（WOMD）[9] 和 nuScenes [10] 上进行评估。对于 WOMD，我们使用官方训练/验证/测试划分，包含 487k/44k/44k 个场景。对于 nuScenes，我们使用 700 个训练和 150 个验证场景。我们的 SCENETALK 注解派生自这些基础数据集。
指标。 我们使用以下指标评估场景生成质量：
- •
Meta 真实感： 来自 Waymo Sim Agents 挑战赛的复合评分 [54]，通过测量与现实世界数据的分布相似性
工程信息学价值
除了算法贡献之外，SCENELANG 在工程实践中驾驶场景知识的表示、管理和利用方式上引入了根本性的转变。
作为工程知识表示的语言。 传统的场景规范依赖于参数文件、脚本语言或基于 GUI 的工具，这些工具以机器可读但人类晦涩的格式编码场景。SCENELANG 用自然语言作为主要知识表示取代了这一范式，
结论
我们提出了 SCENELANG，一个用于语言引导场景生成的统一框架，能够实现直观且灵活的自动驾驶汽车测试。我们的主要贡献包括具有场景一致降噪的层级场景扩散架构、用于多粒度文本到场景映射的语言接地模块，以及 SCENETALK 数据集，该数据集基于 18 万个不同驾驶场景构建，提供了 28 万个空间关系描述以及互补的场景级，
CRediT 作者贡献声明
Xin Li：写作 – 审阅与编辑，写作 – 原始草稿，可视化，方法论，数据整理，构思。 Xiangyang Hu：可视化，调查，数据整理。 Leyao Wang：可视化，验证，调查。 Ruipeng Tong：写作 – 审阅与编辑，项目管理，资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文报告的工作。
致谢
本工作由 国家自然科学基金（编号52074302）支持。
Xin Li|Xiangyang Hu|Leyao Wang|Ruipeng Tong
