《Future Transportation》：An Efficient Simulation Scene Generation Method Based on Extracted Road Network Topology and Large Language Models
Ruihang Li,
Huangnan Zheng,
Jian Wang,
Kaikai Xiao,
Zhe Yin,
Kehan Wang,
Wangliang Guo,
Hong Li,
Pan Lv and
Zhijie Pan
+ 1 author
编辑推荐：
为突破自动驾驶高保真仿真测试中“路网构建成本高昂、场景要素布设效率低下”的瓶颈，研究人员开展了融合实景路网拓扑与大语言模型(Large Language Models, LLMs)的仿真场景生成研究。他们提出SceneGen-LLM工具链，利用大模型对路网图像与文本描述进行理解，生成语义热图，进而指导交通参与者的智能布设。该方法可高效生成大规模、高保真、低成本的仿真场景，并构建了用于感知算法训练的新型仿真数据集，有力推动了自动驾驶仿真测试技术的发展。
随着人工智能与传感器技术的飞速发展，自动驾驶已从概念愿景步入现实。然而，确保其在复杂多变甚至极端交通场景下的安全性与可靠性，是实现其大规模商业化部署必须跨越的关键门槛。传统的实车道路测试不可或缺，但其成本高昂、耗时漫长，且难以高效、安全地复现那些对系统安全至关重要的“边缘案例”。因此，高保真仿真测试已成为自动驾驶系统开发与验证不可或缺的并行范式。
尽管如此，当前主流的仿真场景构建方法正面临严峻挑战。首先，在路网构建方面，获取既符合物理与交规、又贴近现实世界的路网拓扑成本巨大。传统的手工建模或从零开始的专业软件创建方式费时费力，而基于高精地图采集的方式则涉及昂贵的车队运营与复杂数据处理流程。其次，在场景要素（如车辆、行人）部署上，目前大多依赖仿真工程师手工布设与编写行为脚本。这种“手工艺”式的开发模式不仅效率低下，而且严重依赖工程师的个人经验，导致生成的场景在多样性与复杂性上存在显著局限，难以满足自动驾驶算法对大规模、多样化测试用例日益增长的需求。
为了系统性地应对上述挑战，突破当前仿真场景生成的效率瓶颈，本文提出了一种高效的仿真场景生成方法与工具链——SceneGen-LLM。该方法的核心创新在于，利用大型多模态模型（Large Multimodal Models, LMMs）强大的图文理解能力，为场景要素的自动化部署提供空间先验。具体而言，通过向模型输入道路网络的鸟瞰图以及描述场景上下文的文本提示（如“城市学校区下午放学场景”），模型能够生成一张“语义热图”。这张热图以概率分布的形式，直观展示了不同交通参与者（如“学生”、“等候的家长”、“通行车辆”）最可能出现的区域。其中，暖色调表示高概率，冷色调表示低概率。这张热图随后可以指导程序化内容生成（Procedural Content Generation, PCG）过程，实现交通参与者的智能、规模化部署，从而解决传统方法效率低下、手工布设逻辑一致性不足等核心局限。本文提出的方法将路网的自动化构建与场景内容的智能部署无缝结合，形成了一条高效、全自动的流水线。相关研究成果已发表于《Future Transportation》。
为开展此项研究，作者主要采用了以下几项关键技术方法：1) 基于开源地理信息数据的路网拓扑提取与语义重建：从OpenStreetMap等公开数据源提取节点、边和属性集，构建基础路网图，并利用RoadRunner等工具，基于标准交通规则库为其丰富车道标线、交通标志与信号等语义信息，最终导出为兼容主流仿真平台的ASAM OpenDRIVE格式。2) 大模型驱动的语义热图生成：利用大型多模态模型，输入路网鸟瞰图和相关文本描述，使其输出能表示不同交通参与者空间概率分布的“语义热图”，这是本方法的关键创新点。3) 程序化内容生成与约束优化：将语义热图输入PCG引擎，在热图提供的空间先验指导下，结合交通规则与动力学约束，自动化、智能化地布设交通参与者，并优化其初始状态与行为参数，确保场景的逻辑合理性与多样性。
研究结果
3.1. 道路网络拓扑提取与语义重建
研究人员成功从OpenStreetMap等公开地理信息数据集中提取了路网拓扑，构建了包含节点集、边集和属性集的基础图结构。随后，他们通过规则匹配与工具辅助生成相结合的方式，为各路网元素丰富了交通语义信息（如交通灯、限速标志、车道属性），并基于道路类型、地理属性和交通规则模板推导了车道数量、宽度、通行方向等，最终完成了语义层的重建与OpenDRIVE格式的导出。
3.2. 大模型输入设计与语义热图生成机制
本研究设计了一套针对LMM的输入方案，将路网鸟瞰图与描述场景上下文、目标对象及分布的文本提示相结合。实验表明，该方案能使LMM有效理解复杂道路结构与场景语义，生成高质量的语义热图。例如，在“学校放学”场景下，模型能准确预测出学生聚集在校门口、家长在路边等候、车辆在特定车道行驶的概率分布区域。
3.3. 程序化内容生成与约束优化
通过将语义热图与PCG结合，本研究实现了场景要素的自动化部署。PCG引擎依据热图提供的概率分布进行采样，确定各交通参与者的初始位置，并进一步结合运动学模型、交通规则和随机扰动，为其生成逼真的运动轨迹与行为。此方法确保了生成场景既符合语义先验，又具有丰富的交互与动态变化。
3.4. 工具链实现与数据导出工作流
作者开发了完整的SceneGen-LLM工具链，实现了从地理数据到可执行仿真场景的自动化转换。该工具链包含数据预处理、LMM推理、PCG部署和仿真格式导出等模块，最终生成兼容CARLA、SVL Simulator等主流自动驾驶仿真平台的场景文件。此外，基于该流水线，研究者构建并发布了一个专为训练感知算法设计的新型仿真数据集。
结论与意义
本研究的核心是提出并实现了一种融合真实世界路网拓扑与大模型先验的高效仿真场景生成方法。该方法通过三个核心步骤——路网语义化、智能生成与程序化构建——系统解决了传统仿真测试在内容创建上面临的两大瓶颈。
在路网构建方面，该方法利用开源地理数据大幅降低了获取高保真路网的成本；在场景生成方面，引入LMM生成语义热图，为PCG提供了智能化的空间布局指导，取代了低效的手工规划，使生成的场景在空间分布上更符合真实世界的逻辑。实验结果表明，所提出的方法能够高效、自动化地生成大规模、高保真、低成本的仿真场景，这些场景不仅在拓扑和交通规则上保持真实感，还具备丰富的感知与交互特性。
此外，基于该方法构建的仿真数据集，为自动驾驶感知算法的训练与测试提供了新的资源。总体而言，SceneGen-LLM工具链为自动驾驶仿真测试提供了一套全新的解决方案，显著提升了场景生成的效率、真实性与多样性，对加速自动驾驶算法的研发、验证与安全评估具有重要意义。该工作为未来利用大模型推动仿真技术发展提供了新的思路与可行的技术路径。
