面向自动驾驶测试的驾驶场景视频生成研究综述：方法、数据集与未来展望

《Journal of Traffic and Transportation Engineering (English Edition)》：A survey on driving scenario video generation for autonomous vehicle testing: Methodology, datasets, and future prospects

　　

针对面向自动驾驶车辆（Autonomous Vehicle, AV）测试的驾驶场景视频生成（Driving Scenario Video Generation）问题，本文设计了一种基于方法论的分类框架，用于系统审查和分析现有生成方法；系统总结了该领域常用的数据集与评估指标（如Fréchet Inception Distance, FID；Fréchet Video Distance, FVD）；并识别出驾驶场景视频生成面临的四个主要挑战，同时指出了推动该领域向前发展的未来研究方向。

本文系统综述了面向自动驾驶测试的驾驶场景视频生成技术，旨在应对自动驾驶车辆在实际交通环境中安全性验证的迫切需求。由于真实事故场景数据稀缺，传统场景构造方法难以覆盖所有高风险情况，而现有综述多聚焦于决策与控制层面的场景生成，缺乏对视频级场景生成方法的系统梳理。为此，研究人员从方法与数据双重视角出发，提出了一种基于方法论的分类框架，将现有生成范式划分为生成对抗网络（Generative Adversarial Network, GAN）、变分自编码器（Variational Autoencoder, VAE）、自回归模型（Autoregressive Model, AR）、扩散模型（Diffusion Model）、大语言模型（Large Language Model, LLM）以及世界模型（World Model）等类别，并对各类方法的基本原理、适用场景与局限性进行了比较分析。同时，研究人员系统总结了常用的公开数据集与评估指标，涵盖KITTI、Cityscapes、BDD100K、nuScenes、Waymo Open等，以及FID、FVD、碰撞率、干预率等评价准则。基于上述分析，研究人员识别出计算效率、场景到情景迁移、多模态一致性和物理保真度四个主要挑战，并指出未来研究应聚焦于压缩时空令牌预算、构建静态多视角一致性到动态多智能体交互一致性的递进目标、建立相机-鸟瞰图-激光雷达三角一致性约束以及引入硬/软约束增强物理合理性。最后，研究人员强调驾驶场景视频生成正从数据增强工具转变为闭环仿真与安全验证的核心使能技术，不同生成范式具有互补优势，未来需在模型压缩、知识整合、多模态融合和4D渲染优化等方面取得跨学科突破，以支撑更安全、更可信的自动驾驶系统。

以下为论文解读：
研究背景与问题：随着高级别自动驾驶逐步商业化，其安全性验证仍面临严峻挑战。美国国家公路交通安全管理局（National Highway Traffic Safety Administration, NHTSA）的统计显示，高级驾驶系统相关安全事件数量依然显著。虚拟仿真测试场景是自动驾驶仿真测试、数字孪生测试和台架测试的关键，但真实事故数据稀缺，导致构造的场景难以覆盖所有危险情况。现有场景生成研究主要集中于高风险场景的决策与控制系统测试，而对视频场景生成方法缺乏系统梳理。同时，分层感知-规划-控制与端到端/世界模型两种范式并存，亟需面向数据闭环的视频场景生成技术，以支持感知算法测试及端到端系统训练。
研究内容与意义：本综述构建了基于方法论的分类框架，系统分析现有驾驶场景视频生成方法，并总结数据集与评估指标，识别主要挑战与未来方向。其意义在于为该领域研究提供结构化参考，推动生成技术从单纯数据增强走向闭环仿真与安全验证的核心基础设施。
关键方法：研究人员采用文献综述与分类对比方法，而非实验验证。通过设计基于生成范式的方法论分类框架，将现有方法归为GAN、VAE、AR、扩散模型、LLM、世界模型等类别，并在统一框架下比较其输入输出、控制粒度、闭环可用性等特点。数据来源于公开自动驾驶数据集，如KITTI、nuScenes、Waymo Open、Argoverse、ONCE、SemanticKITTI等，用于训练和评估生成模型。评估指标涵盖FID、FVD、LPIPS、时间-碰撞时间（Time-to-Collision, TTC）、碰撞率、信号时序逻辑（Signal Temporal Logic, STL）违规数、干预率、成功率、CLIP分数、重建误差、交并比（Intersection over Union, IoU）、倒角距离、推土机距离（Earth Mover's Distance, EMD）等。该方法体系从像素级、几何级、物理规则级、闭环级和效率层等多个维度刻画了场景生成质量，为领域建立了统一的比较基准。
研究结果：
场景定义与基础模型部分：研究人员明确了场景（静态）与情景（动态）的定义，给出情景的数学化表达，并比较了动态三维表示与时间序列图像序列等视频情景表示方法。同时介绍了VAE、GAN、Transformer、AR模型、扩散模型和世界模型作为基础生成模型的工作原理。
方法论部分：按照生成范式，研究人员分别评述了GAN、VAE、AR、扩散、LLM、世界模型等方法的特点。GAN在多样性和可控性上具有优势，但存在模式坍塌、条件忽略和跨视角不一致等问题；VAE擅长概率建模和离散潜在表示，但可能出现后验坍塌和过度平滑；AR模型支持逐步生成、长时序建模和多模态统一，但易出现误差累积；扩散模型在保真度和约束适应性上突出，但可能产生过度平滑的动态及条件跟随偏差；LLM增强了语义可解释性与文本驱动控制，但存在场景生成与地图、运动学和交互动态的落地（grounding）不足；世界模型能够模拟环境动力学，支持闭环推演，但需警惕因果不一致与长时漂移。各类方法在控制粒度和闭环可用性上各有取舍。
数据集与评估部分：论文将常用数据集分为静态图像、短视频、多相机同步视频以及占用/4D标注四类，并比较了各自的规模、传感器配置与局限。评估指标方面，按时间一致性、运动合理性、长时连贯性和可控保真度四类组织，给出了具体计算公式与适用场景。
挑战与未来展望部分：研究人员指出四个主要挑战：技术计算挑战、场景到情景挑战、多模态情景挑战、精度与保真度挑战。应对策略包括压缩时空令牌预算、采用潜伏扩散和流式生成、设计静态一致性-动态交互一致性-闭环可逆性递进指标、建立相机-鸟瞰图-激光雷达联合一致性约束，以及引入硬约束与软约束增强物理合理性。
讨论与结论：本综述认为，不同生成范式各有优劣，彼此互补。VAE捕获多模态动态和时空一致性，GAN擅长对抗式真实感生成，AR适合长时预测与多模态交互，扩散提供可控高保真生成，LLM提供语义理解与文本控制，世界模型保持时间与物理一致性，对闭环评估至关重要。未来需解决计算效率、跨模态一致性和复杂场景保真度等挑战，并借助模型压缩、知识整合、多模态融合与4D渲染优化，推动生成技术发展为安全可信自动驾驶的重要支撑。研究结论可归纳为：情景生成不再只是数据增强手段，而逐步成为闭环仿真与安全验证的核心驱动力；统一分类框架、系统化数据集与评估指标以及四类挑战的提出，为该领域后续研究提供了清晰路线图。