针对无人机目标检测的自适应图像放大技术,结合边界框变换

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Adaptive image zoom-in with bounding box transformation for UAV object detection

【字体: 大 中 小 】 时间:2026年02月06日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2

编辑推荐:

  王涛|林晨宇|唐晨伟|周吉哲|邓雄|李建安|赵坚|吕建成 四川大学计算机科学学院,成都,610065,中华人民共和国 **摘要** 由于物体尺寸较小,从无人机拍摄的图像中检测物体具有挑战性。在这项工作中,我们探索了一种简单高效的自适应放大框架,用于无人机图像中的物体

  王涛|林晨宇|唐晨伟|周吉哲|邓雄|李建安|赵坚|吕建成
四川大学计算机科学学院,成都,610065,中华人民共和国

**摘要**
由于物体尺寸较小,从无人机拍摄的图像中检测物体具有挑战性。在这项工作中,我们探索了一种简单高效的自适应放大框架,用于无人机图像中的物体检测。主要动机是,与常见场景图像中的物体相比,无人机图像中的前景物体通常更小且分布更稀疏,这阻碍了有效物体检测器的优化。因此,我们的目标是对物体进行自适应放大,以更好地捕获用于检测任务的物体特征。为了实现这一目标,需要两个核心设计:(i)如何高效地对每张图像进行非均匀放大?(ii)如何使用放大后的图像空间进行物体检测训练和推理?相应地,我们引入了一种轻量级的偏移预测方案,并结合了一种新的基于盒子的放大目标,以学习输入图像的非均匀放大。基于学习到的放大变换,我们提出了一种角对齐的边界框变换方法。该方法将真实边界框拉伸到放大后的空间以进行物体检测,并在推理期间将预测的边界框拉伸回原始空间。我们在三个具有代表性的无人机物体检测数据集上进行了广泛实验,包括VisDrone、UAVDT和SeaDronesSee。所提出的ZoomDet架构无关,可以应用于任何物体检测架构。值得注意的是,在SeaDronesSee数据集上,ZoomDet相比Faster R-CNN模型获得了超过8.4个百分点的mAP提升,仅增加了约3毫秒的延迟。代码可在https://github.com/twangnh/zoomdet_code获取。

**引言**
在无人机(Unmanned Aerial Vehicle)拍摄的图像上进行物体检测(Xia等人,2018年;Yang等人,2019年;Ding等人,2021年)一直是活跃的研究课题,因为它在许多遥感应用中发挥着重要作用,例如无人机辅助的环境监测和灾害响应系统。随着深度卷积神经网络(CNN)的发展,无人机物体检测近年来取得了显著进步(Yang等人,2019年;Zhu等人,2021年;Li等人,2022a年;Li等人,2020c年;Deng等人,2020年;Han等人,2021年)。由于无人机图像中的许多物体体积较小、分布不均匀且由于高视角和不规则视角而分布稀疏(Yang等人,2019年),一个主要的研究课题是如何有效检测这些物体。当前的SOTA方法通过将图像均匀裁剪成小块并独立地对每个块进行检测来处理图像(Koyun等人,2022年;Duan等人,2021年;Wang等人,2020年;Xu等人,2021年;Li等人,2020c年;Yang等人,2019年)。这些基于块的方法在检测精度方面提供了稳定且显著的提升。然而,它们仅有助于解决跨块分布的差异,而图像块内仍可能存在小或稀疏的物体。此外,基于块的方法由于复杂的程序和多次前向传递引入了显著的额外计算成本和延迟,这对于运行在无人机上的边缘计算设备来说非常昂贵。

受先前工作的启发(Recasens等人,2018年),该工作学习了非均匀图像放大以放大重要细节,从而提高了图像分类性能,我们的目标是开发一种非均匀放大框架,该框架能够自适应地放大图像中的物体区域以改进检测优化,同时通过仅处理单张图像来保持效率。图1展示了这种用于无人机物体检测的非均匀放大的总体思路。该框架的核心设计是将输出图像空间中的离散像素坐标映射到原始图像空间。这种框架不仅直接,而且与基于块的方法正交,可以结合使用以实现最佳性能。然而,在设计用于物体检测的自适应放大框架时,发现了两个独特的挑战:(1)基于显著性的方法(Recasens等人,2018年)使用图像显著性的平均值和预定义的高斯距离核来计算坐标映射(Recasens等人,2018年)。这种公式不仅使用高斯核进行调整时复杂,而且由于显著性预测的尖锐峰值特性,可能会导致物体及其周围上下文的严重失真。(2)尽管物体被放大了,但图像变换会导致真实边界框的对齐错误,这阻碍了使用放大后的图像进行 detector 的训练和推理。

为了克服上述限制并设计一个有效的放大框架,我们引入了一种基于偏移的简单物体放大方法,并结合了角对齐的前向和后向边界框变换。具体来说,使用了一种轻量级的偏移预测器来回归改变原始均匀网格坐标的空间偏移,这些偏移可用于实例化图像变换的坐标映射。这部分是受到可变形卷积的启发,后者预测空间偏移以应用卷积操作(Dai等人,2017年;Zhu等人,2019年),在这里,偏移被预测以应用图像变换操作。为了学习偏移预测,我们开发了一种新的基于盒子的放大目标,通过最大化放大后边界框面积与原始边界框面积的比率来学习物体放大。与之前的基于显著性的设计(Recasens等人,2018年)不同,边界框下的面积被放大,从而有助于在极端失真情况下保持物体及其周围上下文。

通过上述偏移预测,现在可以对输入图像进行自适应放大以聚焦于物体,但由于空间变换,原始的真实边界框注释变得无效。将边界框转换为放大后的空间的逆变换需要准确的坐标映射,这很困难。因此,我们开发了一种近似的边界框变换方案。具体来说,使用两个角点作为边界框的表示,并找到它们在放大图像空间中的最近映射坐标以获得变换后的边界框。这是通过将上述偏移放大过程中计算的前向映射视为查找表,并在逆表上进行最近邻搜索来实现的。在推理期间,预测的边界框同样被转换回原始图像空间进行评估。这种变换经过实验验证,可以引入较小的误差。这是通过计算原始边界框与转换到放大图像空间后又能转换回原始空间的边界框之间的IoU来执行的。所提出的图像放大和边界框变换被集成到一个高效的“放大并检测”框架中,称为ZoomDet。为了验证该框架,我们在三个具有代表性的城市和海洋场景的无人机物体检测数据集上进行了彻底实验:VisDrone(Zhu等人,2021年)、UAVDT(Du等人,2018年)和SeaDroneSee(Varga等人,2022年)。对于检测架构,验证了两阶段Faster R-CNN检测器(Ren等人,2015年)和流行的一阶段YOLOv8检测器(Jocher等人,2023年)。ZoomDet为基线检测器带来了显著的提升,仅增加了少量的额外延迟。例如,配备了ZoomDet的Faster R-CNN模型在SeadroneSee数据集上获得了8.4个百分点的mAP提升,仅增加了2毫秒的推理时间。在类似的延迟开销下,ZoomDet在VisDrone和UAVDT数据集上增加了约2.0个百分点的mAP提升。此外,ZoomDet与其他基于放大的无人机物体检测SOTA方法相比显示出正交提升,例如在小物体上进一步提高了SOTA基于块的放大和隐式放大方法超过1.0个百分点的mAP。此外,我们还提供了定性示例,表明放大后的图像有助于改进大型空中视觉语言模型(Kuckreja等人,2023年),这显示了在更高级的空中图像理解场景中进一步开发所提出的放大机制的潜力。

**贡献总结如下:**
(1)深入分析了设计基于非均匀放大的无人机图像物体检测框架的背景和挑战,揭示了坐标映射公式和原始图像空间与放大图像空间之间边界框变换的主要困难。
(2)引入了一种由新的物体放大目标监督的直接偏移预测机制,该机制将偏移与物体放大联系起来,并学习对物体的自适应和准确放大。基于学习到的非均匀放大,开发了一种角对齐的边界框变换,以实现放大空间中的灵活检测器训练和推理。
(3)我们首次展示了非均匀图像采样方法可以应用于具有挑战性的无人机物体检测领域,在各种基准数据集和基线上取得了显著的性能提升,同时参数、计算和延迟的额外开销很小。
(4)所提出的“放大并检测”框架具有良好的通用性和可扩展性。它与各种检测架构(Faster R-CNN、YOLO)兼容。此外,它还可以与其他放大方法(如基于块的方法和特征级增强)结合使用,以获得进一步提升。此外,它可以扩展到大型空中视觉语言模型,用于视觉问答,表明其潜力超出了纯检测任务的范畴。

**章节片段**
**无人机图像上的物体检测及其发展**
物体检测是计算机视觉领域的一项基本任务。随着深度学习框架(Paszke等人,2017年)和几代GPU计算设备的发展,深度卷积神经网络(LeCun等人,2015年)极大地改变了物体检测任务。随着两阶段Faster R-CNN家族(Ren等人,2015年;Girshick,2015年;He等人,2017年)等先驱模型的出现,后续工作主要朝着两个方向发展:单阶段模型和多阶段模型。

**提出的方法**
我们首先介绍了基于放大的物体检测方法的概述,并讨论了关键的设计选择,然后介绍了实现高效基于放大的检测框架的详细设计。在剩余的部分中,粗体字符(例如x)用于表示张量或向量变量,常规字符用于表示标量变量(例如x)。

**实验**
在本节中,我们对几个具有代表性的数据集进行了彻底的实验和分析。目的是检查以下方面:(1)ZoomDet在多个数据集和物体检测架构上带来的改进,以及与类似的基于非均匀放大的检测方法的比较。(2)与其他SOTA基于均匀放大的方法的比较,以及与这些方法的兼容性,例如基于块的放大方法和隐式特征放大。

**结论**
本文介绍了一个用于无人机图像物体检测的“放大并检测”框架,其中物体通常较小且分布稀疏。主要动机是对物体区域进行非均匀放大,从而帮助后续的物体检测器更好地识别它们。为了实现高效的放大过程并使物体检测器能够在放大后的图像空间中进行学习,我们开发了一种偏移预测机制来回归非均匀图像采样网格。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号