MVDNet：基于无人机的多模态多车辆无锚点检测技术

《IEEE Transactions on Vehicular Technology》：MVDNet: UAV Based Multi-Modal Multi-Vehicle Anchor Free Detection

无人机图像多噪声环境下的高效单阶段检测方法研究，提出MVDNet框架，集成MLAM多级注意力模块和anchor-free检测设计，通过合成多噪声数据集优化模型鲁棒性，在DOTA-Vehicle、VEDAI及实时数据集上分别达到81.4%、58.2% mAP和14.4ms推理速度。

　　

摘要：

无人驾驶飞行器（UAV）配备了先进的传感器技术和认知能力，在搜索与救援、监视、城市规划、农业和交通监控等多种任务中，对于物体检测和跟踪非常有效。尽管它们能够捕捉到各种各样的物体，但UAV拍摄的图像在分辨率、物体尺度变化、高度复杂的分布、遮挡、密度和噪声方面存在挑战。在这项工作中，我们提出了一种基于深度学习的一阶段检测器，用于在噪声环境中进行稳健且快速的多车辆检测。我们通过将三种类型的噪声（高斯噪声、椒盐噪声和斑点噪声）集成到现有数据和实时数据中，生成了合成多噪声数据集。所提出的框架包含两个主要组成部分：第一个是名为MLAM的噪声抗性特征提取模块，它使用多层注意力机制（MLAM）从航空图像中提取特征以处理各种噪声；第二个是一种无锚点检测技术，因为它在不积累图像中物体区域提议的情况下聚合语义特征进行分类和识别。在这个检测流程中，我们仅使用UAV进行图像采集，并在基于GPU的云服务器上执行计算密集型任务。我们在两个最著名的航空图像基准数据集上进行了全面实验：DOTA-Vehicle（单模态）和VEDAI（多模态），以及一个由单摄像头无人机收集的实时数据集。我们的结果显示，在噪声环境中，MVDNet在相应数据集上的平均精度（mAP）分别为81.4%和58.2%，推理速度为14.4毫秒（ms）。

引言

随着遥感技术的进步，UAV在包括精准农业[1]、野生动物监测[2]、灾害管理[3]、智慧城市交通系统[4][5]、室内导航[6]、沿海和海洋应用[7][8]等众多领域中的应用呈指数级增长。无人机技术在COVID-19疫情期间也发挥了重要作用，特别是在保持社交距离、公共空间消毒和快速运输COVID-19疫苗方面[9]。然而，这些应用需要多种计算机视觉处理任务，如物体检测、分割、图像增强和图像分类。尽管由于低成本和高操作能力，UAV在市场上的增长迅速，但航空图像数据的收集量也在增加，这促使人们开始使用深度学习技术。通过航空图像进行物体检测意味着需要识别和定位从无人机或卫星等航空平台拍摄的图像中的物体，这些平台通常从鸟瞰角度覆盖大面积和多样化的景观。尽管利用MS COCO[13]和PASCAL VOC[14]等基准数据集，在物体检测方法上取得了显著进展[10][11][12]，但这些技术在应用于航空图像时往往存在不足，因为航空图像具有独特的挑战。航空图像的特点是视角广阔、物体密度高以及物体规模和方向多样。此外，UAV拍摄的图像中存在的噪声进一步增加了这些环境中物体检测任务的复杂性。这些噪声可能来源于数据采集过程中的各种因素，包括传感器噪声、光照不良、高温、数据传输错误以及雾、雨或夜间操作等环境条件。在资源受限条件下运行的UAV或使用低成本传感器的UAV特别容易受到这些挑战的影响，因此需要能够抵抗多种噪声模式的稳健检测模型[15][16][17][18][19]。