SW-DEIM：面向恶劣天气的轻量级端到端无人机目标检测方法

《Scientific Reports》：Robust UAV target detection under synthetic severe weather degradations with adaptive feature propagation

　　

摘要

恶劣天气会削弱无人机图像中细粒度目标线索，破坏跨尺度特征传播，并弱化长程上下文依赖关系，使得小目标和部分遮挡目标的检测尤为困难。现有的针对恶劣天气的最先进检测器通常针对特定天气类型、场景域或检测器家族进行定制。同时，基于修复辅助和特征解耦的框架往往会引入额外的计算开销，并且可能无法直接保留与检测相关的语义信息。因此，如何在恶劣天气下联合捕获鲁棒的局部、多尺度和上下文表示，以构建轻量级端到端无人机检测器，仍然缺乏充分探索。为弥合这一空白，我们提出了SW-DEIM——一个面向恶劣天气的DEIM扩展版本，并利用TPSeNCE生成的雨、雾和雪构建了两个人工合成恶劣天气基准数据集：Drone-SW和SW-UAVDT。所提出的SW-DEIM围绕恶劣天气视觉Mamba模块（SWVIM）构建，该模块集成了轻量级局部卷积、多尺度空间上下文建模和可学习的通道级残差调制，以适应性调节退化可见度下的局部信息和长程信息。此外，我们进一步引入了自适应特征传播金字塔网络（AFPPN）和多样分支块（DBB），分别用于缓解跨尺度信息丢失和增强局部特征的鲁棒性。在Drone-SW数据集上，SW-DEIM以188.2 FPS的速度实现了68.1%的AP50和50.0%的AP50:95，分别比DEIM基线高出7.9和6.5个百分点。在HazyDet自然捕获的雾天无人机子集上，SW-DEIM实现了55.8%的AP50和38.2%的AP50:95，分别比DEIM基线高出7.1和6.8个百分点。这些结果表明，在TPSeNCE生成的雨、雾和雪退化条件下，SW-DEIM展现了良好的精度-效率权衡，并表明所学到的面向退化的表示可以迁移到独立的真实世界雾天无人机场景。然而，由于未包含在自然捕获的雨天和雪天无人机图像上的等效独立评估，当前结果不应被解读为已建立了对所有恶劣天气类型的普遍真实世界鲁棒性。相关数据可通过https://github.com/Thehao1123/SW-DEIM访问。