通过基于扩散的修复技术流程自动生成合成交通数据集 Daniel Gachulinec, Viktoria Cvacho, Maros Jakubec 和 Radovan Madlenak

《AI》：Automated Synthetic Traffic Dataset Generation via Diffusion-Based Inpainting Pipeline Daniel Gachulinec, Viktoria Cvacho, Maros Jakubec and Radovan Madlenak

　　摘要：为智能交通系统构建可靠的车辆检测模型需要大量标注良好的数据集——然而，收集和标记真实交通数据仍然既昂贵又耗时。本文介绍了一种名为Traffic Synth的自动化流程，它通过修改真实交通摄像头图像来生成合成训练数据集，而不是构建完全人工的场景。该系统首先通过实例分割检测车辆并将其从帧中移除，然后使用基于扩散的修复技术将新车辆直接放置到清理后的区域中，同时保留原始的道路布局、照明和摄像头视角。这样做在保持真实场景背景的同时，也增加了数据集中的车辆视觉多样性。为了确保生成的交通图像在物理上看起来合理，我们加入了一种车道感知机制，使每个车辆的方向与从摄像头看到的行驶方向相匹配。系统还利用了一个包含欧洲道路上常见车型和颜色的加权车辆数据库，以更好地匹配实际部署条件。特定类别的掩码处理（涉及各向异性缩放和相对膨胀）进一步完善了该流程，提高了不同车辆尺寸类别的生成质量。最终输出是一组具有标准对象检测格式的自动生成注释的图像。

1. 引言
为智能交通系统（ITS）构建可靠的车辆检测模型需要大规模且标注详细的数据集，以捕捉交通场景中的各种变化——从不同的车辆类型到变化的照明、天气和摄像头角度。然而，收集和手动标注交通数据成本高昂、耗时漫长，并且常常受到隐私或操作限制的制约。这些实际挑战使得合成数据生成成为计算机视觉领域的一个活跃研究课题[1,2]。生成对抗网络（GANs）长期以来一直是合成数据增强的首选方法[3,4]，尽管最近基于扩散的模型也作为一种有吸引力的替代方案出现[3]。早期的许多努力依赖于模拟环境，如CARLA[5]或基于游戏引擎的数据集，如Playing for Data[6]。虽然这些设置允许完全受控的标注，但它们往往存在所谓的“领域差距”，即合成图像与真实图像之间的统计不匹配，这在系统应用于实际交通视频时可能会影响模型性能[7,8]。领域随机化和改进的渲染有助于缩小这一差距，但真正的照片级真实感仍然是一个难以实现的目标。基于扩散的生成模型[9,10]已经证明可以生成照片级真实的图像并执行修复，从而可以在不从头开始生成完全合成场景的情况下修改真实图像。这种方法在保持真实背景背景的同时，仍然引入了可控的变化。Li等人[11]使用潜在扩散生成基于语义布局的交通场景，而Azizi等人[12]展示了将基于扩散生成的图像与真实训练数据结合使用时可以提高分类器的性能。Wang等人[13]将条件修复技术应用于红外图像中的多类对象检测，这是现有的最接近选择性对象替换用于检测训练的方法，尽管属于不同的成像领域。

在这项工作中，我们提出了Traffic Synth这一混合方向的流程。Traffic Synth不是生成完整的合成交通场景，而是通过基于扩散的修复技术在真实交通摄像头图像中选择性地替换车辆。原始的道路布局、视角和照明条件保持不变，而新车辆实例则具有不同的视觉特征。其目标是生成在视觉上与真实交通视频一致且同时增加数据集多样性的合成训练数据。为了使生成的场景在物理上看起来合理，该流程包括一个车道感知机制，根据相机视角调整每个车辆的方向。此外，一个包含加权样本的车辆品牌特定数据库捕捉了欧洲交通中典型的车型和颜色。不同地区的车辆 fleet 组成各不相同，考虑到这一点可以在部署期间显著提高检测器的性能。与依赖于游戏引擎或CARLA[5,6]等虚拟环境的模拟方法不同，所提出的流程逐比特地保留了原始背景场景，从而消除了所有插入车辆以外区域中合成图像与真实图像之间的领域差距[7,8]。与需要特定任务对抗训练的基于GAN的增强方法[3,4]不同，我们的方法以无训练的方式利用预训练的扩散模型，提供了更大的输出多样性和视觉保真度，无需专门开发模型。此外，虽然通用的修复方法[13]没有领域意识，但我们的流程引入了车道感知的方向条件以及特定区域的车辆数据库，从而使增强后的车辆在交通背景下既具有照片级真实感又语义合理。据我们所知，这种组合在文献中尚未被探索过。

Traffic Synth的主要贡献有四个方面：（i）一个端到端的流程，能够自动从未标记的交通摄像头视频中生成带注释的训练数据；（ii）一种掩码合成策略，既能保留原始背景的真实性，又能整合基于扩散生成的车辆；（iii）一种车道感知的方向性提示机制，将车辆方向限制在物理上合理的配置中；（iv）一个包含加权样本的区域特定车辆数据库，确保生成的车辆分布与目标部署区域观察到的真实世界交通模式相匹配。这些贡献是在一项涵盖118项关于计算机视觉中生成图像增强研究的综述背景下提出的，该综述指出基于扩散的交通图像选择性修复是一个尚未充分探索的研究方向。

2. 相关工作
本节调查了用于计算机视觉的合成训练数据生成方法，特别关注交通监控应用和基于扩散的生成模型。讨论基于PRISMA对118项关于计算机视觉中生成图像增强研究的综述，为本文旨在解决的研究差距提供了系统性的证据。

2.1. 合成数据生成范式
早期的合成数据生成主要依赖于3D模拟环境和游戏引擎。CARLA[5]是一个用于自动驾驶研究的开源模拟器，提供了具有自动地面真实注释的完全可控虚拟环境。类似地，Playing for Data方法[6]利用现代视频游戏引擎生成大规模的标注数据集。尽管这些方法能够提供完美的标注和完整的场景控制，但它们容易出现所谓的“领域差距”，即合成图像与真实图像之间的统计不匹配，这可能会在系统应用于实际交通视频时损害模型性能[7,8]。领域随机化技术通过系统地改变渲染参数、纹理和照明条件来尝试解决这一差距[7]。然而，照片级真实的渲染在计算上仍然非常昂贵，通常需要费力的手动资产创建。在更基本的层面上，完全合成的场景可能会错过真实相机传感器的微妙统计特性、大气效应和材料交互，这些特性赋予了真实交通视频其独特性。深度学习中数据稀缺的挑战已经被很好地记录在案[2]，这推动了对更有效增强策略的探索。

2.2. 用于数据增强的生成模型
生成对抗网络（GANs）[14]及其变体仍然是计算机视觉中合成数据创建最广泛使用的模型[3,4]。条件GANs[15]已被用于根据语义布局生成车辆图像，而基于StyleGAN的方法[16]在受控条件下产生照片级真实的输出。尽管如此，GANs存在众所周知的问题：训练不稳定、模式崩溃以及难以生成具有细粒度控制的高分辨率图像[17]。已经为增强任务设计了许多特定领域的GAN架构。Cano-Ortiz等人[18]开发了AsphaltGAN，这是一种用于生成罕见沥青路面缺陷的类条件GAN。Bosquet等人[19]提出了一个基于GAN的小对象检测完整数据增强流程。Posilovic等人[20]引入了一个带有对象检测器的GAN，用于超声波B扫描中的缺陷检测；仅在GAN生成的数据上训练（72.1%的准确率）比在真实数据上训练（71%的准确率）略好。变分自编码器（VAEs）[21]提供了一个具有更稳定训练动态的替代生成框架，尽管它们的输出通常比GANs更模糊。

与本案例最相关的是Wang等人[13]提出的DOCI-GAN，这是一个用于红外图像中多类对象检测增强的条件图像修复框架。这是现有方法中最接近我们方法的，尽管它是在红外领域工作的，而不是在可见光谱交通摄像头图像上，并且没有结合车道感知条件或区域特定车辆数据库。

2.3. 用于图像合成和编辑的扩散模型
扩散模型[9,10]在多个合成基准测试中的图像质量超过了GANs。这些模型通过迭代细化学会将随机噪声去噪为连贯的图像。潜在扩散模型（LDMs）[10]在压缩的潜在空间而不是像素空间中操作，减少了计算需求，同时保持了生成质量。在条件方面，扩散模型已被用于图像生成和编辑。Li等人[11]引入了GLIGEN，实现了具有空间控制的开放集地面文本到图像的生成。Azizi等人[12]表明，将基于扩散生成的图像与真实训练数据结合使用可以提高ImageNet分类器的性能。Hirahara等人[22]使用文本引导的扩散模型进行葡萄园拍摄检测中的领域自适应数据增强。Furlanetto等人[23]评估了Stable Diffusion模型在草莓种植中合成杂草图像的生成。Moreno等人[24]分析了Stable Diffusion衍生的合成图像，用于训练卷积神经网络进行杂草检测。Liu等人[25]将扩散模型应用于遥感图像中的少样本对象检测。Liao等人[26]使用Stable Diffusion进行变压器故障检测中的条件图像增强。Yao等人[27]将超分辨率与去噪扩散概率模型结合用于路面裂缝检测数据增强。

图像修复，即填充缺失或被遮盖区域的任务，已经从经典的地块基础方法[28]发展到深度学习方法[29]。基于扩散的修复模型现在可以为被遮盖区域生成连贯的、上下文合适的图像[29]。FLUX.1 Fill [30]是一种扩散Transformer模型，是目前性能最强的修复模型之一，提供全精度生成并可靠地遵循提示。利用修复进行数据增强具有保留真实背景背景的同时引入可控前景对象变化的优点。Wang等人[13]将条件修复应用于红外图像中的多类对象检测，Suryanto等人[31]使用基于扩散的图像编辑来基准测试语义分割的鲁棒性。

2.4. 条件生成和空间控制
控制生成图像的空间布局和语义内容对于实际数据增强至关重要。ControlNet[32]引入了一个框架，用于向预训练的扩散模型添加空间条件，通过边缘图、深度图或分割掩码实现对生成内容的精确控制。T2I-Adapter[33]提供了类似的能力，但计算开销较低。InstructPix2Pix[34]实现了基于指令的图像编辑，而InstructDiffusion[35]将这一想法扩展到多模态条件生成。Bai等人[36]提出了KeyBoxGAN，用于带注释和可编辑的图像合成，将生成与自动注释结合起来。Giakoumoglou等人[37]引入了一个用于农业合成数据集生成的Generate-Paste-Blend-Detect流程，该框架与我们生成并将对象整合到真实场景的哲学一致。然而，编码车辆方向性的车道感知机制在现有文献中尚未被探索。

2.5. 交通领域的合成数据
几项近期研究专门针对交通领域进行了合成数据的生成。Ayub和Kim[38]提出了ColourGAN，用于修改车辆颜色以增强车辆检测CNN的训练数据，并表明即使是简单的外观变化也能提高检测性能。Chen等人[39]使用改进的GAN生成了合成交通事故数据。Jilani等人[40]应用基于GAN的增强技术进行交通拥堵分类。Konushin等人[41]使用神经网络为道路图像添加了合成交通标志。其他关注交通的研究集中在传感器数据和环境条件上。Lee等人[42]开发了一个基于GAN的LiDAR转换，用于在晴朗和恶劣天气之间的自动驾驶。Xiang等人[43]生成了用于改善驾驶场景对象识别的合成LiDAR点云。Bang等人[44]提出了一个考虑语义和几何的日夜图像转换网络。Sultana和Ohashi[45]应用基于GAN的图像转换进行夜间行车记录数据的增强。Evain等人[46]通过风格转换增强了3D单目对象检测的夜间增强。Li等人[47]通过姿态引导的车辆图像合成解决了车辆重新识别的问题。张等人[48]开发了用于恶劣天气条件的激光雷达点云增强方法。这些交通研究中的一个共同点是，大多数研究依赖于生成对抗网络（GANs），并关注激光雷达数据、整体场景条件（夜间、天气）或简单的视觉调整，如颜色变化。在现有文献中，尚未涉及基于选择性扩散的完整车辆修复技术，将其融入到真实交通相机图像中，并结合车道感知的条件和特定区域的车辆数据库。

2.6. 验证与质量评估
在合成数据生成中，建立严格的验证方法仍然是一个未解决的挑战。常见的方法包括统计相似性指标，如Fréchet Inception Distance（FID）[49]、Inception Score（IS）[50]和精确度-召回率曲线[51]，以及下游任务性能评估，即将基于合成数据训练的模型与真实的测试集进行对比[12]。来自相关领域的定量证据支持了合成数据增强的有效性。在X射线安全检测中，刘和林[52]报告称，使用GAN增强数据训练时，mAP@0.5提高了4.6%，mAP@0.5–0.95提高了15.9%。在超声波缺陷检测中，Posilovic等人[20]发现，仅使用GAN生成的数据进行训练的结果可能略优于使用真实数据的训练结果。然而，我们范围审查中的几项研究指出，随着合成样本数量的增加，性能提升可能会减弱，这表明存在收益递减的现象。如果合成数据不能充分代表现实世界条件，也可能引入偏差[53]。特别是对于交通监控，目前还没有标准化的基准来评估合成数据生成的质量。

2.7. 研究空白与机会
通过对118项研究的范围审查和上述文献的分析，发现了几个促使我们进行当前工作的空白：
(1) 在所调查的研究中，尚未发现有将基于扩散的选择性修复技术应用于交通相机图像以进行车辆检测训练的方法。尽管扩散模型在一般图像合成方面取得了领先的结果，但它们在真实交通场景中的选择性车辆替换应用仍不为人所探索。
(2) 大多数生成方法没有明确编码交通流量约束、车道几何形状或车辆方向一致性，这往往导致生成的结果在物理上不现实。没有一项研究将车道感知机制纳入生成的车辆的方向控制中。
(3) 现有的方法通常忽略了车辆组成的区域差异。没有一项研究使用特定区域的车辆数据库和加权采样来匹配生成数据中的本地交通模式。
(4) 许多研究报告了生成质量指标（FID、IS），但没有严格评估合成数据是否实际提高了检测器在真实测试集上的性能。
(5) 当前的基于扩散的方法需要大量的推理时间，这限制了它们在大规模数据集生成中的可扩展性。

我们的工作通过一个基于扩散的修复流程来解决这些空白，该流程保留了真实的背景上下文，结合了车道感知的方向提示，使用了特定区域的车辆数据库，并应用了特定类别的掩码处理。

3. 材料与方法
我们提出的系统是一个自动化流程，用于从真实交通相机图像生成用于车辆检测的合成训练数据。它获取由固定路边相机捕获的交通帧，并逐步将它们转换为带有注释的合成训练样本。该流程分为三个主要阶段：(1) 实例分割，以识别原始图像中的车辆；(2) 基于扩散的修复，用新生成的车辆替换选定的车辆；(3) 为对象检测训练生成自动标签。一个统一的配置文件管理整个工作流程，可以根据数据集准备的需求，将其作为一个完整的流程或单独的处理阶段运行。

3.1. 实例分割阶段
分割阶段使用YOLOv8x-seg [54]，这是一个在COCO数据集[55]上预训练的高精度实例分割模型，用于检测和划分源图像中的车辆实例。我们选择YOLOv8x-seg是因为它结合了高分割精度（“x”变体是YOLOv8系列中最精确的）、COCO上预训练的权重已经涵盖了所有需要的车辆类别，以及一种高效的单阶段架构，能够快速批量处理交通相机帧。对于每个置信度超过阈值τ = 0.40的车辆，模型会产生一个每像素二进制分割掩码M ∈ {0, 1}{H×W}，以及相应的边界框坐标和COCO类别标签。我们将τ = 0.40作为召回率和掩码质量之间的经验折中：降低阈值会增加误报（例如，将道路设施误分类为车辆），而提高阈值则可能导致模型遗漏部分遮挡但其他方面有效的车辆实例。分割结果被序列化到磁盘上的结构化目录层次结构中，从而允许高效地重新执行而无需重复计算。该流程将检测结果过滤为与交通监控相关的四个目标超级类别：汽车（COCO类别2）、卡车（类别7）、公交车（类别5）和摩托车（类别3）。一个可配置的最小掩码面积参数（默认值：5000像素）排除了远处的、分辨率较低的检测结果。低于此阈值的车辆通常太小，扩散模型无法生成连贯的替换件；掩码内的有限空间分辨率会导致提示 adherence 不良和视觉伪影。一个最大面积比例过滤器（默认值：总图像面积的40%）移除了可能表明分割错误的异常大的检测结果。

3.2. 基于扩散的修复阶段
3.2.1. 模型架构和工作流程
车辆替换使用FLUX.1 Fill [30]进行，这是一个专门为图像修复构建的全精度扩散变换器模型。该模型在ComfyUI推理引擎内的一个有向无环图（DAG）中运行的潜在扩散框架中操作。图1展示了完整的推理工作流程，包括一个真实的生成示例，以及用于抑制非真实感伪影的相应负提示。“一个真实的黑色现代SUV，正面视图，接近相机，在道路上，交通相机视角”。图1. ComfyUI用于基于扩散的车辆修复的工作流程。该流程使用FLUX.1 Fill处理带有正提示“一个真实的黑色现代SUV，正面视图，接近相机，在道路上，交通相机视角”的输入图像，并使用负提示“卡通、绘图、模糊、扭曲、不真实、水印”，生成右侧的修复输出。

文本编码。两个互补的文本编码器并行处理生成提示：CLIP-L [56]捕获文本描述和视觉特征之间的高级语义对齐，而T5-XXL [57]量化到FP8精度以提高内存效率，提供细粒度的文本理解。它们的联合表示由一个FluxGuidance节点进行调制，引导比例γ = 30.0控制文本条件生成的强度。
条件化。InpaintModelConditioning节点接受四个输入：(i) 来自提示编码器的正文本条件；(ii) 负文本条件（用于抑制非真实感伪影）；(iii) 源图像像素；(iv) 来自上传的RGBA图像的alpha通道的二进制修复掩码。DifferentialDiffusion模块进一步细化了模型在掩码边界处的空间注意力，实现生成区域和保留区域之间的感知平滑过渡。
采样。KSampler节点使用Euler采样器进行k = 20步的迭代去噪，去噪强度为σ = 0.95。我们选择20步配置是为了在输出质量和生成时间之间取得实际折中：经验测试显示，超过20步后视觉改进效果会减弱，而较少的步骤会在车辆纹理中引入明显的伪影。选择Euler采样器是因为它与FLUX架构的兼容性以及与简单噪声调度的兼容性。将去噪强度设置为0.95而不是1.0，允许少量原始像素信息影响生成，我们发现这在掩码边界处提高了颜色一致性。
解码。变分自编码器（VAE）解码器将去噪后的潜在表示映射回像素空间，生成最终分辨率为1920 × 1088像素的修复图像。

3.2.2. 掩码组合与背景保留
一个关键的设计决策确保了背景的忠实度：而不是保留完整的扩散输出（由于VAE的编码-解码损失，在非掩码区域会引起轻微的退化），流程执行选择性的像素合成。给定原始帧I_orig、扩散输出I_diff和二进制掩码M，最终图像计算如下：
I_final = I_orig ⊙ (1 ? M) + I_diff ⊙ M
(1)
其中⊙表示Hadamard（逐元素）乘积。这种公式确保背景像素与源帧保持位级相同，只有被掩码覆盖的车辆区域由扩散模型填充。

3.2.3. 掩码处理流程
在修复之前，每个车辆掩码都要经过一个两阶段处理流程，以改善不同车辆类别的生成质量。
各向异性掩码缩放。对于原始分割掩码不能充分覆盖生成车辆预期形状的车辆类别，会应用每类缩放因子。特别是厢式货车，会使用[1.12, 1.30]（水平、垂直）的缩放因子，因为针对乘用车优化的COCO训练模型系统性地低估了厢式货车的的高度。缩放是通过以掩码边界为中心的仿射变换来执行的，同时保持原始掩码位置并按比例放大它。
相对掩码膨胀。缩放后，每个掩码都按照其边界框对角线的可配置比例（默认值：3%）进行膨胀。这种相对方法与固定像素膨胀相比，确保了膨胀边距随车辆大小自然变化：附近的大车辆获得更宽的边距，而远处的小车辆则获得较窄的边距。最小（2像素）和最大（35像素）边界防止了极端尺度下的欠膨胀或过度膨胀。椭圆形结构元素产生平滑、自然的掩码边界。

3.2.4. 车道感知的方向提示
仅应用无空间意识的文本引导修复会产生方向任意的车辆，包括物理上不合理的车辆，例如面向相反交通的车辆。我们通过车道掩码机制来解决这个问题，该机制编码了空间交通流量信息。
为每个相机部署位置手动标注一个车道分割图L ∈ {红色、绿色、中性}{H×W]。这种注释是使用标准图像编辑器一次创建的彩色编码图像：操作员用红色标记接近相机的车道（车辆接近的方向），用绿色标记远离相机的车道（车辆远离的方向）。这个一次性手动步骤是必要的，因为自动车道检测方法不能可靠地编码交通方向性，而且每个相机视点的注释通常不到5分钟。该图编码了每个交通车道的空间范围和方向性，其中红色像素（R > 200, G < 100在BGR颜色空间中）表示靠近车道，绿色像素（G > 200, R < 100）表示远离车道。对于每个车辆实例，流程在边界框的底中心点采样车道掩码，即车辆接触路面的底部边缘的中点。这种单点采样比基于质心或多数投票的方法更准确：高车辆（例如卡车）的质心可能由于高度原因落入相邻车道，而在整个边界框上的多数投票可能会被车辆车身超出相邻车道的情况所干扰。相比之下，底中心点可靠地指示了车辆车轮实际占用的车道。然后按照以下方式确定方向提示：
靠近车道（红色）：“正面视图，接近相机”
远离车道（绿色）：“背面视图，远离相机”
这种相对于相机的方向编码在实践中比绝对方向描述符（例如“向左/右行驶”）更有效，尤其是在对角线道路视角下，绝对方向不明确的时候。虽然我们没有进行系统的定量比较，但对生成图像的定性检查一致显示使用相对于相机的描述符时方向一致性更好。
正式地，提示构造可以表示为确定性映射P: (l, θ, V) → p，其中l表示车道索引，θ ∈ {朝向, 离开}是从车辆与地面接触点的车道掩码颜色推断出的行驶方向，V是车辆数据库。函数P选择一个可接受的车辆类别，并生成一个结构化的文本提示p，该提示编码了车辆类型、颜色以及相对于摄像机的方向，与车道l的方向语义一致。3.2.5 区域特定的车辆数据库和加权提示生成为了最大化在斯洛伐克共和国部署的训练数据的真实性，流程中包含了一个精心策划的车辆品牌数据库，该数据库反映了在欧洲和斯洛伐克道路上看到的车辆品牌和颜色的实际分布。数据库按车辆类别（汽车、货车、卡车、公交车、摩托车）进行层次化组织，每个品牌条目都携带与其估计的实际普及率成比例的频率权重。提示指定了品牌和车身类型，为扩散模型提供了足够的信息来生成每个品牌内的多样化车辆外观。品牌选择方法对于乘用车，品牌权重是根据欧洲汽车制造商协会（ACEA）发布的2025年全年的新车注册统计数据得出的[58]。数据库涵盖了主要市场参与者中的21个品牌：大众（w = 11）、丰田（7）、斯柯达（7）、雷诺（6）、宝马（6）、梅赛德斯-奔驰（5）、达西亚（5）、标致（5）、奥迪（5）、现代（4）、起亚（4）、雪铁龙（3）、欧宝（3）、福特（3）、沃尔沃（2）、座椅（2）、日产（2）、铃木（1）、特斯拉（1）、马自达（1）和保时捷（1）。车身类型（轿车、掀背车、旅行车或SUV）对于每个车辆实例都是均匀随机抽样的，具体车型外观由扩散模型决定。对于商用车，品牌权重来自欧洲市场的特定数据。货车的权重反映了ResearchAndMarkets报告的欧盟轻型商用车（LCV）市场份额[59]，涵盖了8个品牌：福特（w = 18）、雷诺（15）、菲亚特（12）、大众（11）、梅赛德斯-奔驰（10）、标致（8）、雪铁龙（7）和欧宝（6）。卡车的权重来自ICCT的2024年全年的欧洲重型车辆市场报告[60]，包括7个制造商：梅赛德斯-奔驰（w = 20）、曼（14）、依维柯（13）、沃尔沃（13）、斯堪尼亚（12）、达夫（10）和雷诺（8）。对于公交车，权重通过结合欧洲市场数据[61]和部署地点的公共交通运营商的实际车队组成[62]进行调整：Solaris（w = 33）、依维柯（33）、Irisbus（12）、梅赛德斯-奔驰（9）、曼（7）和沃尔沃（6）。尽管流程设计是区域无关的，但这些权重可以通过替换相关的注册或车队统计数据来适应其他部署地点。表2展示了车辆品牌数据库的摘录，说明了跨车辆类别的选定条目的层次结构和频率权重。流程支持两种可配置的抽样策略，可以通过命令行标志（--sampling）进行选择。在加权模式下（默认），车辆品牌根据上述经验权重进行抽样，以匹配部署区域的车队组成。在无品牌模式下，文本提示中完全省略了品牌名称，允许扩散模型不受流程固定品牌词汇的约束生成车辆。颜色、车身类型和方向条件在两种模式下都保持有效。当目标部署区域与源数据库不同或需要最大视觉多样性时，推荐使用无品牌策略。颜色分配。所有车辆类别的频率权重是根据每个品牌的市场份额或车队存在比例设置的，然后规范化为一个方便的整数比例。对于乘用车，提示包括品牌和车身类型（轿车、掀背车、旅行车或SUV），这些信息是均匀随机抽取的，而扩散模型确定具体的车辆外观。品牌级别的视觉特征（格栅设计、徽标、比例）由扩散模型一致再现，这种方法由于模型可以在指定的品牌和车身类型内产生任何合理的车辆，从而增加了生成车辆的有效多样性。车辆颜色来自基于欧洲车辆颜色流行调查和观察数据的11个选项的加权分布[63]。中性颜色占主导：白色（w = 20）、银色（18）、灰色（15）、黑色（12）和深灰色（10），这些颜色合计约占采样概率的75%。剩余的25%分布在彩色颜色中：蓝色（8）、深蓝色（5）、红色（5）、深红色（3）、绿色（2）和棕色（2）。这种分布与BASF的欧洲汽车颜色报告一致，该报告一致地将无彩色车辆的比例置于70%以上。生成的结构化提示遵循以下规范形式：“一个真实的{颜色} {品牌} {车身类型}，{方向}，在道路上，交通摄像头视角”。例如：“一个真实的深灰色斯柯达轿车，正面视图，接近摄像头，正在路上，交通摄像头视角”。对于从后面看到的大型车辆，专门的提示模板描述了可见的后部特征。例如，从后面看到的驶离摄像头的卡车会收到如下提示：“一个真实的白色梅赛德斯-奔驰卡车，显示了拖车的后门和尾灯，正在驶离，正在路上，交通摄像头视角”。除了正面提示外，流程还使用负面提示来抑制不希望出现的生成伪影。对每次生成都应用一个全局负面提示（“卡通、绘画、油画、模糊、失真、不真实、水印”），以强制输出照片级真实感。对于某些车辆-方向组合，还会附加特定于类别的负面术语；例如，后视卡车提示包括“前格栅”作为负面术语，以进一步防止方向不一致。每帧的去重机制确保同一生成图像中的两辆车不会具有相同的品牌-颜色-车身类型组合，从而提高视觉多样性。选择算法尝试最多10次重采样迭代，以避免在每帧中有许多车辆的情况下出现重复组合。车辆选择遵循两级层次分布。设B = {b1, …, bN}表示带有相关权重wi的车辆品牌集合，且wi之和为1。一个品牌被抽样为b ~ Cat(w1, …, wN)，然后从品牌b下注册的模型中均匀抽取一个特定模型m：m~Uniform(Mb)。因此，选择属于品牌bi的模型m的总体概率为P(m) = wi/|Mbi|。3.3 标签生成阶段对于每个生成的车辆实例，流程都会生成一个相应的YOLO格式的注释，指定目标类别索引和标准化边界框坐标（x_center, y_center, w, h）。边界框是从原始分割掩膜（经过掩膜缩放和膨胀后）派生的，而不是从生成的图像内容中派生的。具体来说，cv2.findContours应用于每个处理过的二进制掩膜，cv2.boundingRect最大的轮廓产生轴对齐的边界框。这种方法无论扩散输出如何变化，都能保持注释的一致性，并且避免了在生成图像上进行额外检测的需要。每个车辆的文本提示都是按照固定模板算法构建的：“一个真实的[颜色] [品牌] [模型] [车身类型]，[方向描述符]，交通摄像头视角，白天”，其中[颜色]是从预定义的调色板（白色、黑色、银色、红色、蓝色、灰色、深绿色）中均匀抽取的，[品牌]和[模型]根据3.2.5节描述的层次抽样分布从加权车辆数据库中抽取，[车身类型]由数据库条目确定（轿车、SUV、掀背车等），[方向描述符]由车道感知机制解析（例如，“正面视图，接近摄像头”或“背面视图，驶离摄像头显示尾灯”）。对所有生成结果应用了一个负面提示，“卡通、绘画、油画、模糊、失真、不真实、水印”。每帧去重以防止单个帧内出现相同的品牌-模型-颜色组合。当选择无品牌抽样策略时，提示模板简化为“一个真实的[颜色] [车身类型]，[方向描述符]，在道路上，交通摄像头视角”，省略了[品牌]和[模型]字段。这允许扩散模型从其预训练语料库中生成任何品牌的车辆，而不是将输出限制在流程加权数据库中的21个汽车、8个货车、7个卡车和6个公交车品牌。类别分配遵循一种随机映射，旨在扩展COCO分类法，添加与交通监控相关的细粒度类别。具体来说，COCO汽车检测（类别2）根据可配置的van_ratio参数（默认值：0.30）随机分为两个子类别：汽车（类别0）和货车（类别1）。这意味着大约30%的检测到的乘用车被重新标记为货车，并接收针对货车的特定提示和数据库条目，产生视觉上不同的送货货车图像。卡车、公交车和摩托车类别直接从它们的COCO对应类别映射过来。这种随机分割机制能够针对性地增强代表性不足的类别，解决了交通数据集中常见的长尾分布问题，因为在这些数据集中，货车的注释频率通常远低于汽车。生成后的标签细化已知的一个掩膜派生边界框的局限性是，扩散模型可能会生成一个与原始分割掩膜的空间范围不同的车辆：生成的车辆可能更小、更大或相对于掩膜区域有所偏移。为了解决这个问题，流程包括一个可选的生成后标签细化步骤。在所有车辆都被填充和合成后，对每个车辆区域应用Segment Anything Model 2（SAM2），使用掩膜质心作为点提示。SAM2生成实际生成车辆的像素级精确分割，然后通过轮廓分析得出紧密的边界框。这个回退机制以每辆车为粒度操作：对于帧中的每辆车，如果SAM2成功分割了生成的内容，则细化后的边界框将替换掩膜派生的框；如果SAM2对特定车辆失败（例如，由于掩膜面积非常小或生成质量差），流程会用原始掩膜派生的框替换该车辆，同时保留同一帧中其他车辆的SAM2细化框。这种对象级别的回退确保在细化过程中不会丢失任何车辆注释，因为每个被分配提示的车辆在输出标签文件中都会收到一个边界框，无论SAM2是否对该特定实例进行了细化。重要的是，在提示生成期间分配的类别身份始终得到保留；SAM2仅提供几何细化，而不进行类别重新分类。这个细化步骤由配置标志控制，并记录每帧的统计数据，包括成功细化的标签比例和原始边界框与细化边界框之间的平均IoU。3.4 计算流程端到端流程被设置为离线、批量处理的过程，用于预训练数据集的准备工作，而不是实时或即时数据生成。它将一组N个源交通帧转换为K个合成训练图像，其中K由用户定义，遵循以下步骤进行。阶段1：分割。所有N个源帧都通过YOLOv8x-seg进行处理；每个实例的掩膜和元数据被序列化到一个结构化的缓存目录中。在NVIDIA RTX 4090 GPU上处理8帧（分辨率为1920 × 1088）大约需要7秒（单图像批量大小，顺序处理）。分割阶段随着源帧数量的增加而线性扩展，并支持恢复：在重新执行时，具有现有元数据文件的帧将自动跳过。阶段2：帧选择。通过轮询分布在源池中选择K帧，以最大化场景多样性。实际上，在每轮中随机打乱所有可用的源帧，并在重新使用任何帧之前生成一个变体。这确保在重复之前每个摄像头视角都被表示出来，防止任何单个源帧在生成的数据集中过度代表。阶段3：每辆车的填充。车辆一次填充一个，而不是在一次扩散过程中一次性填充所有车辆。我们选择这种逐车处理方法有两个原因：（a）每辆车都获得其特定的提示，包括品牌、颜色、车身类型和方向描述，这在组合的多辆车提示中会被稀释；（b）顺序填充可以为个别车辆产生更高质量的结果，因为扩散模型可以专注于单个掩膜区域，而无需同时生成多个不同的车辆。对于选定帧中的每辆车，流程：（a）构建一个RGBA图像，在alpha通道中编码分割掩膜，（b）通过HTTP multipart POST将合成图像上传到ComfyUI推理服务器，（c）从加权数据库中选择车辆品牌、颜色和车身类型，并进行每帧去重，（d）构建包含车道感知方向描述的结构化提示，（e）提交生成工作流程并等待完成，（f）检索结果并使用方程（1）将其合成到工作画布上。阶段4：标签导出。YOLO格式的注释会与每张生成的图像一起输出，每个图像对应一个文本文件，每个车辆实例占一行。这些注释是根据处理后的分割掩膜（经过缩放和膨胀处理）计算得出的，因此边界框能够反映生成车辆的预期空间范围。3.5 实施细节该系统被实现为一个模块化的Python应用程序，专为从交通摄像头图像生成可复制的合成数据集而设计。其架构包括专门的组件，例如分割（VehicleSegmenter）、基于扩散的图像生成（ComfyUIClient）、标签生成（LabelGenerator）以及整体流程编排（TrafficSynthPipeline）。这种模块化布局使得可以独立修改各个组件，而不会破坏端到端的工作流程。表3总结了本研究中使用的参考实现的技术配置。实验主要在配备NVIDIA RTX 4090 GPU的工作站上进行。不过，该流程不依赖于特定硬件，并且可以根据资源情况适应不同的计算环境。表3. Traffic Synth流程的技术规格。扩散修补后端作为一个持续的本地推理服务运行，支持异步任务提交和批量处理期间的结果检索。这种设置在进行大型数据集生成时可以提高吞吐量。模块化架构还使得轻松扩展流程成为可能（例如，通过更换不同的分割模型、扩散后端或区域车辆数据库），而无需对整体工作流程进行重大修改。4. 结果该流程通过使用固定位置的高速公路摄像头的真实交通视频进行了多次生成运行并进行评估。本节展示了生成的合成数据的定性输出、计算性能指标以及其特征。4.1 定性生成结果图2展示了流程输出的一个代表性示例，原始交通摄像头帧与修补后的结果并排显示。原始帧（a）捕捉到了高速公路交通场景中的一辆银色客车，而修补后的结果（b）则显示了相同的场景，但原始车辆被使用FLUX.1填充流程生成的一辆黑色现代SUV替代。得益于掩膜合成操作（公式（1）），背景与源帧保持位级相同，保留了真实的道路几何形状、光照条件和周围的交通元素。图2. 合成车辆生成的示例。（a）原始交通摄像头帧（scene21601），其中包含一辆银色客车。（b）使用FLUX.1填充流程生成的黑色现代SUV替代了原始车辆。背景通过掩膜合成（公式（1）与源帧保持位级相同。生成的车辆与道路表面的透视对齐正确，与其他场景元素的比例适当，光照和阴影特征一致，掩膜边缘的过渡自然。这些定性结果表明，将FLUX.1填充与车道感知的方向提示相结合，可以生成在物理上合理的车辆替代品，非常适合用于检测训练数据的生成。为了展示流程对不同部署环境的适应性，图3展示了在具有不同视角角度和城市背景元素的区域道路上，从另一个摄像机位置生成的结果。图3. 来自不同部署环境的生成结果。（a）来自区域道路摄像机的原始帧，具有城市背景和冬季条件。（b）修补后的结果，其中包含生成的车辆。该流程保留了独特的背景环境，包括住宅建筑和被雪覆盖的山坡，同时生成了合理的车辆替代品。图4展示了流程在恶劣天气条件下的性能。源帧是在降雪期间捕获的，当时能见度降低，路面潮湿，路边植被上有积雪。图4. 在恶劣天气条件下的生成结果（降雪）。（a）在降雪期间捕获的原始帧，路面潮湿，能见度降低。（b）修补后的结果，显示了流程在具有挑战性的天气条件下的视觉连贯性。保留的背景保留了真实的雪、湿润的路面反射和大气雾霭。图5展示了一个生成失败的案例，以说明流程的局限性。图5. 生成失败案例的示例。（a）原始帧显示了一辆带有拖车的白色货车在两条车道上的场景。（b）修补后的结果，其中扩散模型生成的车辆在视觉上不合理——生成车辆的几何形状与掩膜区域相比显得扭曲。这种失败通常发生在掩膜包含多个重叠物体或车辆比例与可用掩膜区域冲突时。4.2 流程性能计算性能是在NVIDIA RTX 4090 GPU上进行了10次独立生成运行后评估的，共生成了479个合成车辆实例。第一次运行在1921秒内生成了43辆车（每辆车44.7秒）。第二次运行在1245秒内生成了31辆车（每辆车40.2秒）。第三次运行在1199秒内生成了30辆车（每辆车40.0秒）。第四次运行在160秒内生成了4辆车（每辆车40.0秒）。第五次运行在3618秒内生成了74辆车（每辆车48.9秒）。第六次运行在4146秒内生成了81辆车（每辆车51.2秒）。第七次运行在4318秒内生成了90辆车（每辆车48.0秒）。第八次运行在2112秒内生成了46辆车（每辆车45.9秒）。第九次运行在282秒内生成了7辆车（每辆车40.3秒）。第十次运行在3866秒内生成了73辆车（每辆车53.0秒）。平均而言，每次运行每辆车的生成时间约为48秒，不同规模下的吞吐量保持一致。在所有10次运行中，流程的完成率为100%，且没有生成错误。每辆车的处理时间涵盖了整个生成周期：掩膜检索和处理、从区域特定车辆数据库中构建提示、在1920 × 1088分辨率下进行20次去噪步骤的FLUX.1填充推理、基于掩膜的背景合成以及YOLO格式的标签生成。虽然每辆车48秒的推理时间比基于GAN的方法慢得多，但整个流程完全自动化运行，无需任何人工注释或干预。4.3 生成的数据集特征每次流程运行都会生成直接兼容YOLO基检测器训练的带注释的训练数据。对于每个处理过的帧，流程输出：（i）一个以原始摄像头分辨率（1920 × 1088像素）合成的图像，其中合成车辆无缝融入真实交通场景；以及（ii）一个对应的YOLO格式注释文件，其中包含所有生成车辆实例的标准化边界框坐标和类别索引。生成数据中的车辆类别分布反映了来自区域特定车辆品牌数据库的加权采样策略。在评估过程中，流程生成了轿车、卡车和货车，类别比例由来自注册统计数据的欧洲和区域车辆车队组成权重决定[58,59,60,61,62]。每帧的去重机制通过防止同一品牌-颜色组合出现在单个帧内，确保了视觉多样性。4.4 生成质量评估为了量化生成车辆的视觉真实感，我们计算了裁剪后的真实车辆区域和生成车辆区域之间的Fréchet Inception距离（FID）。我们没有比较整个帧，因为在整个帧中保留的背景会主导评估结果，而是仅比较车辆内容本身。对于每个生成的车辆实例，我们从原始源帧（包含真实车辆）和输出帧（包含扩散生成的车辆）中提取相同掩膜边界框位置的裁剪图像。排除小于64 × 64像素的裁剪图像以避免严重放大造成的伪影。所有保留的裁剪图像都被调整大小至299 × 299像素，并通过预训练的InceptionV3网络获得2048维的特征向量。然后根据标准公式计算两个特征分布（真实和生成）之间的FID。我们报告了所有车辆实例的整体FID和每类FID值（轿车、货车、卡车、公交车、摩托车），以识别不同车辆类别之间的潜在质量差异。由于统计样本量有限，类别样本数量少于50个的应谨慎解读。表4总结了从生成数据集中提取的2392对裁剪车辆对的计算FID结果。整体FID为28.60，将流程的输出质量置于通常与领先扩散模型相当的范围（FID < 30）。分类分析显示，卡车的FID最低（最佳），为36.00（n = 1131），其次是轿车，为40.74（n = 883）。货车的FID较高，为79.65（n = 355），这可能反映了各向异性掩膜缩放和随机轿车/货车类别划分引入的更大形状变化。由于样本量较小，应谨慎解读公交车的FID（FID = 130.43，n = 23）。在评估的子集中没有摩托车实例。有6个裁剪图像（0.3%）因低于64 × 64像素的最小尺寸阈值而被过滤掉。表4. 裁剪后的真实车辆区域和生成车辆区域之间的Fréchet Inception距离（FID）。* 公交车的FID基于少于50个样本，应谨慎解读。参考FID范围：FID < 30被认为非常优秀，可与领先的生成模型相媲美；FID 30–50表示质量非常好；FID 50–100表示质量良好，通常是训练有素的生成模型的典型表现；FID > 100表明存在明显的质量差距。整体FID为28.60，表明流程生成的扩散车辆在InceptionV3特征空间中与真实车辆在统计上相似，为视觉真实感提供了定量证据，补充了图2中的定性示例。5. 讨论本文提出了一种通过基于扩散的修补真实交通摄像头图像来生成合成车辆检测训练数据的自动化流程。该方法保持了照片级真实的背景，以物理上合理的方向生成车辆，并符合区域车辆车队组成。在本节中，我们讨论了该方法的贡献、局限性和影响。5.1 主要贡献和设计理由该流程做出了四个主要贡献，每个贡献都针对现有合成数据生成方法中的具体缺点。通过选择性合成保留背景。与生成完整合成场景的方法[5,6]或在整张图像上运行扩散模型的方法[10]不同，我们的方法通过基于掩膜的合成（公式（1）保留了原始背景像素。这种设计选择的原因很简单：尽管扩散模型的生成质量很高，但由于VAE编码-解码损失，非掩膜区域仍会出现细微的退化。通过仅将掩膜车辆区域合成到原始帧上，流程确保道路几何形状、光照条件、摄像头视角和环境背景与源视频保持位级相同。保留这种真实的背景应有助于缩小完全合成方法[7,8]中发现的领域差距，尽管我们尚未在标准基准测试中验证这一点。车道感知的方向提示以实现物理上的合理性。简单的基于文本的修补方法的一个明显缺点是它生成的车辆方向随意，有时会产生物理上不合理的配置，例如车辆面向来车方向。车道掩膜机制通过简单的颜色编码注释来编码空间交通流信息。在车辆与路面相交的位置查询车道掩膜的方法，经过实证证明比基于质心或多数投票的方法更可靠，特别是对于边界框可能延伸到相邻车道的高车辆。这种相对于摄像机的方向编码与最近关于扩散模型的空间条件工作[32,33]一致，尽管它使用了一种更简单的、特定于领域的机制。虽然Ayub & Kim [38]仅修改用于检测训练的车辆颜色，但我们的方法生成了具有受控方向的完全新车辆实例。Wang等人[13]将条件修补应用于红外图像中的对象检测；我们的工作将这种模式扩展到了可见光谱交通摄像头视频，并增加了车道感知条件。具有加权采样的区域特定车辆数据库。车辆品牌数据库基于来自欧盟新车注册统计数据的实证车辆车队组成数据[58]、欧洲LCV市场份额[59]、HDV市场数据[60]、欧洲公交车市场分析[61]和当地公交车车队组成[62]。车辆车队组成在不同地区差异很大；例如，Skoda在中欧拥有显著的市场份额，但在北美几乎不存在。在我们范围内的118项研究中，没有一项结合了具有加权抽样的区域特定车辆车队组成数据库来进行交通场景合成。基于品牌级别的提示方法通过允许扩散模型在每个品牌内生成多样化的车辆模型，同时每帧的去重防止了相同车辆组合出现在单个帧中，从而扩大了有效的车辆多样性。流程设计是区域无关的，可以通过更新品牌数据库和权重来进行调整。对于基于品牌级别的加权采样，一个潜在的担忧是可能过度拟合数据库中包含的特定品牌集合。即使调整了权重，生成的数据集也仅能包含数据库中存在的21个汽车品牌、8个厢式货车品牌、7个卡车制造商和6个公交车运营商，而来自这些集合之外的品牌的车辆将永远不会出现在数据集中。为了解决这一限制，该流程提供了一个“无品牌采样”模式，在这种模式下，文本提示中的品牌名称会被完全移除。在这种模式下，FLUX.1 Fill仅基于类别、颜色和车身类型描述符来生成车辆，利用其预训练数据的全部多样性，而不受任何预定义品牌词汇的限制。这种可配置的范围，从针对特定区域的加权采样到完全不考虑品牌的生成，允许从业者根据他们的部署场景选择适当的区域具体性。

为了提高生成质量，采用了针对特定类别的掩码处理方法。两阶段掩码处理流程（首先是对厢式货车进行各向异性缩放[1.12, 1.30]，然后是对边界框对角线长度的3%进行相对膨胀）来解决我们观察到的特定生成质量问题。厢式货车的掩码需要垂直扩展，因为针对轿车优化的COCO训练的分割模型系统性地低估了商用送货卡车的 height。相对膨胀方法确保小型远距离车辆得到的边界边缘与大型邻近车辆的比例更小。通过限制膨胀的范围（最小2像素，最大35像素），可以防止极端情况下出现的问题。

与现有合成数据生成方法相比，所提出的方法在几个方面有所不同。与基于模拟的方法[5,6]相比，后者虽然提供了对场景的完全控制，但存在领域差距问题，而我们的修复方法保留了来自真实视频的真实的相机特性、光照和道路几何形状。另一方面，模拟方法确实具有生成难以通过现有视频修复来捕捉的罕见场景的优势。表5总结了所提出方法与代表性基线方法之间的关键差异。基于模拟的方法（如CARLA）提供了对场景的完全控制和真实标注，但由于非真实感渲染而存在显著的领域差距。基于GAN的增强方法（例如Ayub & Kim）实现了亚秒级推理，但仅限于简单的外观修改（如颜色变化），并且需要对抗性训练。而“生成-粘贴-混合-检测”方法避免了就地生成，但会在粘贴操作中产生可见的边界伪影。我们的基于扩散的修复流程虽然生成时间较长（约48秒/辆车），但能逐位保留真实的背景语境，生成具有受控方向和外观的全新车辆实例，并且不需要模型训练。生成速度与输出质量之间的权衡反映了一个有意的设计选择，即优先考虑数据集的真实性而不是吞吐量，这适用于离线数据集构建。

与基于GAN的增强方法[18,19,38]相比，基于扩散的方法带来了更好的训练稳定性和生成质量[9,10]，尽管推理时间较长。与其他领域的条件修复方法[13]相比，我们的方法适用于可见光谱的交通图像，并添加了车道感知的条件以增强物理真实性。在我们回顾的交通领域研究[41,42,44,45]中，虽然有针对交通标志、昼夜转换或LiDAR增强的研究，但尚未有结合文本提示的选择性基于扩散的车辆修复方法。

当前实现存在一些需要承认的局限性。最显著的局限性是缺乏在标准检测基准上的定量评估。虽然图2展示了生成的定性质量，但我们尚未测量该流程对下游检测器性能的影响。计划中的配套研究将通过定量评估来解决这个问题：在BDD100K[64]、nuScenes[65]或Waymo Open Dataset[66]等基准测试集的保留真实测试集上，使用YOLOv8或类似的检测器进行训练，并评估mAP@0.5和mAP@0.5:0.95。这种有意的分离使得本文能够专注于生成流程的架构及其设计理由，而配套研究将解决关键的经验问题：合成增强是否能够提高检测精度，最佳的合成与真实数据比例，每类别的性能差异，以及与传统增强技术的比较。

计算效率方面的限制是，该流程在NVIDIA RTX 4090 GPU上每辆车大约需要48秒，这是基于10次独立生成运行共479辆车实例的测量结果。这明显慢于亚秒级的GAN推理速度，尽管该流程确实实现了无需人工注释者的全自动化。然而，有意义的加速机会受到模型架构的限制。FLUX.1 Fill是一个流动匹配模型，而不是传统的扩散模型，这意味着像DDIM或DPM-Solver这样的替代采样器在架构上不兼容；对于修正后的流动模型，Euler求解器 avec 一个线性的时间步长调度是正确且标准的求解器。将步长减少到20以下会在车辆纹理中产生可测量的伪影。RTX 4090的24GB VRAM在1920 × 1088分辨率下在使用120亿参数的模型时已完全饱和，没有空间来增加批量大小。FP8量化可以将推理时间减少15-25%，但会引入需要重新验证的质量不确定性。因此，生成时间是选择最高质量模型以实现最大合成数据真实性的直接结果。对于包含平均每张图片4辆车的5000张图片的数据集，总生成时间大约为267个GPU小时。这虽然可观，但作为一个一次性离线过程是可以管理的。

该流程主要是在具有特定特征的高速公路交通摄像头视频上开发和测试的：俯视视角、日光条件和干燥天气。使用不同摄像头位置（图3）和冬季/降雪条件（图4）的初步实验表明，当提供合适的源帧时，该流程可以适应不同的环境，因为背景保留机制与场景内容无关。夜间条件由于缺乏合适的源视频而未进行测试，计划在未来工作中进行测试。该流程在处理具有复杂多方向交通流、不同摄像头角度和不同交通密度的城市交叉口时的泛化能力仍然是一个未解决的问题。这些场景可能需要对车道掩码机制、提示模板或掩码处理参数进行调整。

小型车辆的生成质量有待提高。掩码面积小于大约5000像素的车辆往往表现出较低的提示遵循度和偶尔的方向不一致性。这一限制源于扩散模型在小掩码中可用空间的有限性，使其难以生成连贯的内容。潜在的解决方法包括从原始帧中保留小型车辆、应用超分辨率预处理或使用专门的小型对象生成模型。其他限制包括部分遮挡处理，在某些情况下，可见部分与被遮挡部分之间存在冲突，从而产生伪影；标注准确性方面，虽然可选的基于SAM2的标签细化步骤（生成后标签细化部分）可以缓解但无法完全消除掩码生成的边界框与实际生成车辆范围之间的空间不对齐；以及合成数据可能引入偏差的风险，因为这些数据并不完全代表现实世界条件[53]。在更广泛的增强文献中的多项研究也报告了随着合成样本数量的增加，收益逐渐减少的现象，这表明需要通过实证来确定合成与真实数据的最佳比例。

展望未来，未来的工作可以集成更大的预训练基础模型来进一步提高真实感。通过ControlNet[32]或T2I-Adapter[33]进行的高级空间条件处理可以实现精确的姿势控制和深度感知生成。基于指令的生成[34,35]可以获得更灵活的编辑控制。受到Sultana & Ohashi[45]和Bang等人[44]等方法的启发，昼夜和天气增强可以扩展流程以适应多样化的环境条件。混合训练策略可以通过在合成数据上进行课程学习或自我监督的预训练，然后在真实数据上进行监督微调，从而帮助优化真实数据和合成数据之间的平衡。特定区域的车辆数据库方法也可以通过更新车队组成统计信息扩展到其他地理区域。尽管当前工作仅专注于来自固定交通摄像头的RGB图像，但底层流程架构本质上并不限于可见光谱。未来的研究可以探索将修复和合成阶段扩展到适应互补的传感器模式，如热红外或LiDAR点云投影，从而生成更好地反映智能交通系统中越来越多使用的传感器配置的多模态合成训练数据。这样的扩展将需要特定于模态的扩散模型或跨模态条件机制，但流程中的车道感知空间逻辑和车辆数据库组件可以无需修改即可重用。

另一个未来的验证途径是人类感知评估。可以通过结构化研究向评估者提供随机混合的真实和生成车辆图像，并要求他们将每张图像分类为真实或合成（二选一强制选择）。正确分类的比例提供了视觉真实性的直接衡量标准：接近50%（概率水平）表明生成的车辆在感知上与真实车辆无法区分。这样的研究可以通过使用Amazon Mechanical Turk或Prolific等平台进行基于网络的调查，让20-30名评估者对按车辆类别和距摄像机的距离分层的200-300对图像进行评分。评估者间一致性（Fleiss’ kappa）和每类别准确性可以补充FID指标，捕捉自动化指标可能遗漏的真实感方面，如上下文合理性和细节连贯性。

对于考虑使用合成数据增强进行交通监控的实践者来说，有几个实际考虑因素需要记住。当真实数据稀缺、某些车辆类别代表性不足、部署区域的车辆分布与现有的训练数据集不同或隐私限制妨碍了真实交通视频的收集时，合成数据生成往往最为有益。另一方面，当真实标注数据已经可用、计算资源有限或部署场景与源视频有很大不同时，合成生成可能不太合适。我们建议首先进行小规模的试点实验来验证生成质量，然后进行严格的消融研究以确定哪些流程组件实际具有价值。验证应始终使用来自目标部署环境的保留真实测试数据。实施质量控制过滤以排除低质量生成非常重要，同时使用合成数据来增强而不是替换真实数据也很重要。最后，随着车辆车队的演变，还需要监控数据分布的变化。

本文介绍了一种通过基于扩散的修复技术对真实交通摄像头图像进行合成车辆检测训练数据的自动化流程。该流程通过选择性像素合成保留真实的背景语境，通过车道感知的方向提示控制车辆方向，通过针对特定区域的加权采样反映真实的车辆车队组成，并通过针对特定类别的掩码处理提高生成质量。

这项工作做出了四个主要贡献：（1）一个端到端的自动化流程，能够在无需人工干预的情况下将未标记的交通摄像头视频转换为带注释的训练数据集；（2）一种背景保留策略，通过基于掩码的合成保持背景像素的位级一致性，从而可能减少领域差距；（3）一种车道感知的方向提示机制，通过空间车道掩码和相对于相机的方向描述符编码交通流信息；（4）一个具有加权抽样的特定区域车辆数据库，反映了实际车辆车队的组成。在我们进行的范围审查中调查的118项生成图像增强研究中，没有一项结合了基于扩散的选择性修复、车道感知的条件和特定区域车辆数据库用于交通监控。

最重要的限制仍然是缺乏在标准检测基准上的系统定量评估。未来的优先工作包括：在BDD100K[64]、nuScenes[65]或Waymo Open Dataset[66]上进行基准测试评估，使用不同的合成与真实数据比例训练检测器；通过模型量化或架构特定优化研究计算效率，需要注意的是FLUX.1 Fill的流动匹配架构排除了使用DDIM[67]、DPM-Solver[68]或蒸馏扩散模型[69]等替代采样器的可能性；以及进行消融研究以隔离每个流程组件的贡献。**中等优先级的工作包括**：在不同部署场景中进行的泛化验证、提高小型车辆生成质量，以及进一步验证本研究中引入的基于SAM2的标签细化和基于FID的质量评估方法。未来的研究方向包括基础模型的集成、通过ControlNet[32]或T2I-Adapter[33]进行空间条件化处理，以及结合真实数据和合成数据的混合训练策略。

**6.3 更广泛的影响**
自动合成数据生成有潜力降低预算有限机构的标注成本，使检测器适应当地车辆队的组成，支持检测架构的快速原型设计，并避免存储包含可识别车辆的真实交通录像。我们的范围审查确认，合成增强技术在交通、医疗、农业和制造等领域已被证明是有效的。

**6.4 负责任的部署**
使用合成增强的组织应建立系统的质量控制机制，包括自动过滤低质量的生成结果，并持续监控下游模型的性能。评估合成数据生成过程中可能存在的潜在偏见非常重要，这些偏见可能会从源数据中传递或被放大。在合成数据上训练的模型应清楚地记录生成方法及其已知局限。最重要的是，在未经目标部署环境中的真实测试数据严格验证之前，不应将合成增强技术应用于安全关键的应用中。

**6.5 结论性意见**
除了这些研究贡献外，所提出的流程对运营中的交通监控系统也具有若干实际意义。通过自动化生成逼真的训练样本，这种方法可以大幅降低与手动图像标注相关的成本和时间，而手动标注仍然是在新摄像头安装中部署检测模型的主要瓶颈。模块化的车辆数据库可以通过更新品牌分布和车身类型频率来轻松适应不同的地理区域，从而实现快速的业务迁移，而无需重新训练生成组件。此外，由于该流程是从零开始合成车辆而不是重新利用真实录像，因此具有天然的隐私优势：训练数据集可以在不保留可识别的真实车辆或车牌的情况下构建，从而简化了数据保护法规的遵守过程。最后，标准的输出格式（带边界框的标注图像）允许直接集成到现有的目标检测训练工作流程中，而无需修改下游的模型架构或训练程序。

本研究表明，基于扩散的修复技术可以从真实交通摄像头图像生成带有注释的训练数据，同时保留原始背景。生成的数据保留了场景上下文，并在车辆外观上引入了可控的变化。目前尚未解决的核心问题是：这种合成增强是否真的能够提高检测器在真实测试数据上的性能，这正是我们正在进行研究的重点。