《Expert Systems with Applications》:AeroDistinct: A generative data construction pipeline and benchmark for drone–bird discrimination in urban air mobility
编辑推荐:
•首个无人机-鸟类共存基准数据集:19,600张带有双类别标注的图像。•生成式人工智能框架大规模合成安全关键场景。•在八种检测器架构上实现30%的召回率提升,同时误报率降低10%。•对未见过的天气条件展现出鲁棒的零样本泛化能力,验证了方法的可迁移性。引言城市空中交通(UAM)
- •
首个无人机-鸟类共存基准数据集:19,600张带有双类别标注的图像。
- •
生成式人工智能框架大规模合成安全关键场景。
- •
在八种检测器架构上实现30%的召回率提升,同时误报率降低10%。
- •
对未见过的天气条件展现出鲁棒的零样本泛化能力,验证了方法的可迁移性。
引言
城市空中交通(UAM)和电动垂直起降(eVTOL)飞行器正从概念设计阶段迈向商业部署,在客运交通、物流运输和应急响应等领域展现出广阔的应用前景(Su, Huang, Zhang, Wang, Wang, 2024, Xiang, Xie, Ye, Yan, Han, Niu, Li, Huang, 2024)。UAM系统的安全运行关键在于先进的自主感知能力,能够在复杂的空域环境中准确识别和分类各类移动物体(Kaleem, 2024, Munir, Siddiqui, Hossain, El-Maleh, 2025)。基于视觉的感知方法与深度学习相结合,凭借其优异的成本效益和技术成熟度,已成为UAM环境感知领域的主导技术路径。
深度学习模型的有效性在很大程度上取决于训练数据标注的数量、多样性和质量。然而,获取真实的UAM运营数据面临诸多困难。航空数据采集涉及高昂的成本,包括飞行器租赁和专业设备的费用。此外,空域法规通常对数据采集活动施加严格的时间和空间限制(Wang et al., 2024)。同时,天气条件为在特定大气状态下采集数据的可行性增加了不确定性。最重要的是,安全关键的边缘案例在实际中极为罕见,几乎不可能通过传统方法收集到足够的代表性样本。为应对这些挑战,研究人员已开始探索合成数据生成技术。然而,现有技术方法在生成质量、物理保真度和开发效率之间存在各种权衡取舍。
在UAM运营面临的安全挑战中,一个至关重要却长期被忽视的问题是无人机与鸟类之间显著的视觉相似性。当从远处观察时,小型多旋翼无人机在尺寸、轮廓形态和运动模式方面与中小型鸟类表现出惊人的相似性(Zamri et al., 2024)。在低分辨率条件下或面对复杂背景时,区分这两类目标尤为困难。这种混淆引入了非对称的安全风险:将具有威胁的无人机误分类为无害的鸟类可能导致碰撞危险,而将鸟类错误识别为无人机则会触发不必要的规避机动,从而损害系统可靠性(Coluccia et al., 2024)。
我们对现有公开数据集的系统性审查揭示了三个根本性缺陷。首先,大多数现有数据集仅包含单一类别的目标,仅标注无人机或鸟类。因此,它们缺乏进行有监督判别学习所需的基础支持。其次,现有数据集严重缺乏无人机-鸟类共存场景的样本。即使在少量同时包含两种类别的数据集中,标注通常也仅涵盖一个类别;例如,"无人机与鸟类检测挑战赛"(Drone-vs-Bird Detection Challenge)中虽包含鸟类实例,却未提供任何鸟类标注(Coluccia et al., 2021)。第三,当前数据集缺乏系统的多天气样本,阻碍了全面的全天候鲁棒性评估。这些系统性的数据层面缺陷直接制约了高可靠性无人机-鸟类判别模型的开发。
为填补这些空白,我们提出了
AeroDistinct,一个专门为UAM共存环境中无人机与鸟类区分设计的综合基准数据集。利用生成式人工智能,我们建立了一个渐进式训练和评估框架,包含6,000张公开的无人机/鸟类图像、6,000张生成的无人机-鸟类共存图像、额外的6,000张生成的恶劣天气训练图像,以及1,600张现场采集的真实图像用于验证和测试。我们的贡献如下:
- 1.
我们构建了AeroDistinct,一个用于无人机-鸟类区分的基准数据集,结合了公开的单类别数据、生成的共存场景和恶劣天气样本,以及现场采集的真实图像用于验证和测试。
- 2.
我们开发了一套可复现的基于Qwen-Image的数据构建流程,用于场景保持的目标插入和天气编辑,并设计了明确的提示约束以确保场景上下文完整性和标注兼容性。
- 3.
我们在八种代表性检测器上建立了渐进式评估协议。该设置评估了在保持检测器架构和标准训练轮数设置不变的情况下,逐步以共存场景和恶劣天气样本丰富训练数据的实际效果。
- 4.
实验结果显示各检测器族均获得了一致的性能提升:Test-Real上的平均mAP50从Train-Public的47.6%提升至Train-Coexist的65.9%,再提升至Train-Weather的70.9%;在引入天气增强后,Test-Weather上的平均mAP50从59.6%提升至77.8%。
本研究为开发更安全、更可靠的UAM应用感知系统提供了必要的数据资源和方法论框架。
各章节摘要
空中移动目标的视觉感知与分类
在低空空域日益拥挤的背景下,对空中移动目标进行精确的视觉感知和分类对于确保安全并提升运营效率至关重要。无人机和鸟类作为低空领域最常见的两类移动物体,表现出显著的形态相似性以及高度不可预测的行为特征,给视觉感知系统带来了独特的挑战。
深度学习
数据集构建与评估协议
如图2所示,AeroDistinct的构建由两个独立的分支组成:训练数据构建和评估数据构建。训练分支采用渐进式设计。我们首先基于目标宽高分布从多个公开的无人机和鸟类数据集中进行尺度感知采样,选取6,000张图像构建Train-Public,作为基准训练集。
以Train-Public作为源图像池,应用Qwen-Image编辑进行
实验设置与实现细节
为全面评估AeroDistinct及其生成增强流程的有效性,我们遵循第3.1节中定义的渐进式数据集设计。该渐进式设置评估了在保持检测器架构和标准训练轮数设置不变的情况下,逐步以共存场景和恶劣天气样本丰富训练数据的实际效果。由于三个训练配置包含不同数量的图像,但使用相同的训练轮数
讨论
本研究呈现的实验结果表明,生成增强在推进视觉感知能力方面具有显著潜力。然而,我们承认光学传感器在孤立运行时面对极端条件(如浓雾或完全黑暗)时面临根本性的物理限制。自动驾驶和无人飞行器导航领域的近期研究表明,将RGB图像与LiDAR点云或深度
结论
本工作提出了AeroDistinct,一个用于城市空中交通中无人机-鸟类区分的基准数据集和生成数据构建流程。AeroDistinct在渐进式训练和评估协议中结合了公开的无人机和鸟类图像、生成的共存场景和恶劣天气样本以及现场采集的真实图像。在八种检测器架构上,Test-Real上的平均mAP50从Train-Public的47.6%提升至Train-Coexist的65.9%,再提升至Train-Weather的70.9%。在
CRediT作者贡献声明
Shuming Lin:概念化、方法论、软件、撰写——原稿。Siyuan Zhan:验证、调查、撰写——审阅与编辑。Jinyi Liang:数据管理、验证、形式化分析、可视化。Junnan Tan:数据管理、验证、形式化分析、可视化。Sang Feng:验证、调查、撰写——审阅与编辑。
利益冲突声明
作者声明不存在已知的财务利益冲突或可能影响本文报告工作的个人关系。
Shuming Lin|Siyuan Zhan|Jinyi Liang|Junnan Tan|Sang Feng