D2S2-UI：一种用于无人机语义分割与跨数据集泛化的扩散驱动合成数据集

《Knowledge-Based Systems》：D2S2-UI: A diffusion-driven synthetic dataset for UAV semantic segmentation and cross-dataset generalization

　　

## 摘要

高质量语义分割对于基于无人机的应用至关重要，能够实现对数据的精确解读、高效的决策制定以及提升多领域的应用效率。然而，鲁棒分割模型的开发往往受到大规模高质量标注数据集稀缺的限制，而这些数据集的产生成本高昂且耗费大量人力。在本研究中，我们提出了一种名为 D2S2-UI 的新型合成无人机数据集，专为语义分割而设计，利用基于结构化提示和语义控制的文本到图像扩散模型生成。我们的方法将高层次文本条件与类别一致的颜色映射相结合，从而在无需手动标注的情况下合成大量带标签的航空影像。这种方法使我们能够在确保标签保真度和场景多样性的同时，大规模创建数据集。D2S2-UI 涵盖多高度（20米、60米、120米）和多视角（正射、高斜视、低斜视）覆盖范围，并在环境条件（如天气、时间）和特定区域地形（如亚洲、阿拉伯、美洲、埃及、欧洲）方面具有广泛的多样性。这种程度的多样性增强了在该数据集上训练的模型的泛化能力。实验结果表明，在 D2S2-UI 上训练的模型相比在现有合成无人机数据集上训练的模型，在分割精度上实现了显著提升，并且能够有效地泛化到多个真实世界的无人机基准测试中。该数据集已在 https://github.com/fahad-lateef/UAV-semantic-segmentation-dataset 公开，以支持航空场景理解和无人机视觉系统的进一步研究。

## 引言

无人机（UAV）技术取得了快速进步，使自主操作得以在广泛的应用中实现，包括基础设施检查、环境监测、监视、搜救、空中制图、应急响应和物流。在这些应用中，无人机不仅需要捕获图像，还需要理解周围环境以支持可靠的决策制定。语义分割通过将语义标签分配给图像中的每个像素，在提供关于道路、建筑物、植被和其他物体的上下文信息方面发挥着基本作用。这种像素级信息使无人机能够安全导航[1]、监测基础设施[2]、[3]、评估环境变化[4]、[5]、检测自然灾害后的受损区域[6]、评估农作物状况[7]、支持无人机遥感中的地面物体识别[8]、[9]，并支持自主任务规划[10]。深度学习领域的最新进展显著提高了语义分割的性能。然而，这些模型严重依赖于大规模、准确标注的数据集的可用性，以便进行有效训练并在多样化环境中泛化。

为无人机影像构建和维护此类大规模语义分割数据集既耗费人力又成本高，需要使用手动或半自动技术来准确标注大量航空影像。除标注之外，数据收集也面临重大挑战，因为无人机通常在偏远或复杂环境中运行，高度、比例、地形的变化，以及需要在特定地点和季节捕获高分辨率影像的需求，增加了数据获取的复杂性。因此，收集和标注无人机影像仍然是一个耗时且昂贵的过程。在计算机视觉中解决这些数据限制通常通过数据增强或使用基于物理的模拟器生成合成数据来实现。

数据增强通过旋转、缩放和翻转等变换扩展现有数据集。然而，航空场景的复杂性要大得多，因为无人机图像表现出受地理位置、季节、高度和地形影响的多样化物体实例、土地覆盖类别和环境条件。因此，传统增强技术通常不足以捕捉这些变化。另一方面，基于物理的模拟器提供了一个灵活且可控的环境，用于在不同环境条件、照明和物体配置下生成多样化的合成场景。然而，它们需要大量的计算资源、专业知识和时间来逼真地模拟复杂环境，使其成为一种成本高昂的解决方案。

除降低数据收集和标注成本外，另一个关键挑战是确保语义分割模型能够在不同数据集和真实场景间泛化。在单一数据集上训练的模型往往因数据源、标注风格、照明、地形、物体外观和场景组合的变化而在其他数据集上表现不佳，这通常被称为数据集偏移问题。因此，合成数据集不仅应增加训练数据的数量，还应捕捉多样化的条件和环境以提高模型泛化能力。通过纳入高度、天气、时间、季节和场景组合的变化，此类数据集提供了更丰富的训练基础，使模型能够学习更鲁棒且与数据集无关的特征，从而改善对未见数据集和真实场景的泛化能力。

为了应对这些挑战，一种替代策略是使用生成式人工智能（AI）模型，近年来这些模型在产生各种计算机视觉任务的逼真且多样化的数据方面已展现出巨大前景，如图像分类[11]、[12]、[13]、对象检测[14]、[15]、[16]和语义分割[17]。在现有生成模型中，包括生成对抗网络（GANs）[18]、变分自编码器（VAEs）[19]、自回归模型、流模型，以及最近兴起的扩散模型（DMs）[20]、[21]已成为合成高质量图像的有效方法，这些图像具有丰富的结构细节。然而，它们在无人机语义分割中的应用仍然有限，特别是对于生成语义一致的图像-标签配对以提高跨数据集泛化能力的方面。

受这些进展的启发，我们提出了一种基于扩散的无人机语义分割数据生成管道，使用文本到图像框架。低秩适应（LoRA）扩散模型[22]用于从语义标签及其相应的文本描述中生成合成语义标注，而 ControlNet[23] 则利用这些标注作为结构指导，合成具有像素级一致性的逼真无人机场景。利用该框架，我们生成了一个包含配对语义标注和相应无人机图像的大规模合成无人机语义分割数据集。实验结果表明，D2S2-UI 在跨数据集泛化、鲁棒性和适应性方面提高了最先进的语义分割模型的性能，同时大幅降低了对昂贵的像素级手动标注的依赖。

我们的贡献如下：

- **引入 D2S2-UI**：我们引入 D2S2-UI（基于扩散的无人机影像语义分割数据集），这是一个使用文本到图像扩散框架生成的大规模合成数据集。该数据集提供了配对的语义标注和相应的无人机图像，以应对无人机语义分割中标注成本、数据多样性和跨数据集泛化的挑战。
- **综合多条件数据集**：D2S2-UI 包含多种无人机飞行高度（20米、60米和120米）、视角（正射、高斜视和低斜视）、多样化的场景类别（如住宅区、高速公路、屋顶、公园、水体和绿地）、季节变化（夏、秋、冬、春）、天气条件（晴、多云、雨、雾和雪）、一天中的时间（黎明、正午、黄昏和夜晚），以及代表埃及、亚洲、欧洲、美洲和阿拉伯地区的地理多样化环境。这种多样性全面覆盖了真实无人机操作中遇到的条件。
- **大规模合成数据生成**：D2S2-UI 由7000对语义标注和相应的无人机图像组成，为深度语义分割模型提供了足够的训练数据。
- **跨数据集泛化**：我们通过最先进语义分割模型对 D2S2-UI 进行了全面评估，在 D2S2-UI 上训练并在多个真实无人机数据集上测试。实验结果表明，与现有合成数据集相比，跨数据集泛化、鲁棒性和适应性均有改善。

本文其余部分的结构如下：第2节回顾了该领域的研究工作。第3节描述了 D2S2-UI 数据集的构建过程，用于场景语义分割，包括生成数据创建过程的细节、数据集规格和数据集划分。第4节呈现了实验结果，并评估了最先进方法在已建立的基准测试上的性能。最后，第5节总结了论文并讨论了 D2S2-UI 数据集的展望。

## 相关工作

本节概述了与我们工作密切相关的相关研究。我们首先详细回顾现有的针对城市和乡村场景无人机影像的语义分割数据集，包括真实和合成数据集。随后，我们探讨了生成模型在无人机分割中的作用，讨论其在合成数据生成、数据增强以及提高多种无人机场景下分割准确性和鲁棒性方面的应用。最后，

## 基于扩散的无人机影像语义分割数据集

本节详细介绍了所提出的基于扩散的无人机影像语义分割数据集（D2S2-UI）的构建和内容。D2S2-UI 的主要动机是克服大规模、多样化且准确标注的无人机语义分割数据集的稀缺性，同时降低手动像素级标注的巨大成本。现有合成数据集主要通过模拟引擎生成或专注于卫星影像，这限制了其……

## 实验

本节呈现了旨在实现以下目标的实验：（1）评估我们提出的合成无人机语义分割数据集的真实感，以及（2）在将其测试到真实世界航空数据集作为未见数据时评估其泛化能力。

## 结论

我们提出了基于扩散的无人机影像语义分割数据集（D2S2-UI），这是一个多样化的、包含高质量无人机图像的集合，旨在推进计算机视觉、遥感和自主系统的研究。使用先进的文本到图像扩散模型创建，D2S2-UI 通过精心设计的文本提示捕捉了广泛的无人机操作场景，涵盖各种类别组合、高度（20米、60米、120米）和相机角度（正射90°、高斜视……

## CRediT 作者贡献声明

Fahad Lateef：撰写—初稿、验证、调查、形式分析、数据整理、概念化。
Mohamed Kas：验证、监督、形式分析、概念化。
Yassine Ruichek：撰写—审阅与编辑、验证、监督、形式分析。

## 关于写作过程中生成式人工智能和AI辅助技术的声明

在本文中，我们利用ChatGPT进行AI生成辅助，以增强文本的清晰度、语法和整体流畅性。使用此工具/服务后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

## 利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：本研究获得了 Institut Carnot ARTS 的财务支持。

## 致谢

ANR/Institut Carnot ARTS 在 TECTONIC 项目下支持了本研究。作者感谢 Dr. Abdurrazak CHAHI 的宝贵讨论，以及 CIAD-UTBM 在物流和管理方面的协助，以完成本研究。

Fahad Lateef | Mohamed Kas | Yassine Ruichek