MESF-DETR：一种基于Mamba增强的空间-频域融合方法，用于无人机影像中的小目标检测

《Image and Vision Computing》：MESF-DETR: Mamba-enhanced spatial-frequency fusion for small object detection in UAV imagery

　　**摘要**- 提出了一种名为MESF-DETR的Mamba增强型空间-频率特征融合框架，用于无人机小目标检测。- 引入了并行多核特征增强模块（PMFEM）、基于Mamba的语义融合模块（MSF）和空间-频率双域融合模块（SFDDF），以增强浅层特征表示、多尺度语义交互和细粒度细节保持。- 在多个基于无人机的基准数据集上进行的大量实验表明，该方法在小目标的检测精度和鲁棒性方面取得了一致的改进。## 引言无人机（UAV）凭借其灵活性和快速部署能力，已被广泛应用于军事侦察、交通管理、灾难响应和环境监测等多个领域。配备高分辨率成像设备的无人机平台能够以较低成本高效捕获大规模航拍图像，为实时监控和决策提供可靠的数据支持。与传统的地面观测或卫星观测相比，无人机图像在多样化视角、广泛覆盖范围和丰富空间细节方面具有独特优势。然而，高空图像中的小目标往往仅占极少的像素，分布密集，且嵌入复杂背景中，这使得现有的目标检测算法在无人机场景中难以取得令人满意的效果。在无人机场景中，目标检测面临的挑战与传统自然图像存在显著差异，尤其是在小目标占比高和场景复杂度增加的情况下。受飞行高度和成像比例的限制，无人机图像中的目标往往显得极其微小，边界模糊且尺度变化大，导致判别信息严重受限。与此同时，无人机图像通常覆盖广泛的陆地面积，背景包含复杂的纹理和语义干扰，如建筑物、道路和植被。加上目标分布密集、光照变化以及频繁的局部遮挡，前景与背景之间的相似度进一步放大，显著增加了特征混淆的风险，使检测模型难以在保持精确定位的同时实现稳定识别。在当前计算机视觉研究中，基于卷积神经网络（CNN）和视觉Transformer模型的目标检测器在通用目标检测任务中取得了显著性能，在多尺度特征建模、全局上下文表示和整体检测精度方面取得了实质性提升。然而，当从通用场景迁移到无人机航拍图像时，这些检测方法在小目标检测性能方面仍存在明显局限性。除无人机小目标检测外，近期基于深度学习的图像分析研究也强调了在复杂视觉环境中（如遥感显著目标检测、航拍图像滑坡提取和复杂环境混凝土裂缝检测）上下文感知建模和注意力引导特征学习的重要性。这些工作进一步表明，在具有挑战性的视觉场景中，保持细粒度细节的同时捕获上下文依赖关系至关重要。根据近期关于小目标检测的综述和基准研究，现有检测器在小目标场景下的性能下降主要归因于特征表示能力不足和网络架构设计的固有局限性。同时，大多数现有目标检测方法主要依赖空间域特征，未能充分利用图像频谱中编码小目标细粒度细节和边界信息的高频分量。近期研究通过频率变换将频率域信息引入检测框架，以分离不同频率分量并增强小目标的结构细节。然而，如何有效整合频率域信息与空间特征以联合建模全局-局部依赖关系并增强小目标特征表示，仍是当前研究的关键挑战。为了解决这一问题，状态空间模型（SSM）及其代表性架构Mamba提供了一种有前景的解决方案：通过线性复杂度的序列建模和动态选择机制，Mamba能够高效捕获高分辨率图像中的长程依赖关系，并在特征传播过程中自适应地强调关键的小目标信息。因此，将Mamba深度集成到现有检测框架中，并探索空间域和频率域之间的多域特征融合，能够在保持实时性能的同时有效增强复杂场景中的小目标检测，展现出重要的研究价值。为阐明MESF-DETR与密切相关方法之间的差异，表1比较了它们的关键设计机制。现有方法通常仅关注特征增强和融合机制的某些子集，而MESF-DETR从多个角度考虑了浅层特征、跨尺度交互和空间-频率信息。由于浅层特征微弱、跨尺度上下文交互不足以及特征提取过程中与边界和纹理相关的高频细节丢失，无人机小目标检测仍然具有挑战性。受这些局限性的启发，我们提出了MESF-DETR，这是一种用于无人机图像小目标检测的Mamba增强型空间-频率特征融合框架。与传统检测器主要依赖空间域特征聚合不同，MESF-DETR通过联合利用浅层特征增强、长程语义交互和空间-频率双域建模来增强微弱的特征表示。本文的主要贡献总结如下：- 我们提出了MESF-DETR，一种用于无人机小目标检测的Mamba增强型空间-频率特征融合框架，该框架联合建模空间结构、频率域细节和跨尺度语义依赖关系。- 我们设计了空间-频率双域融合模块（SFDDF），以增强与小目标边界和纹理细节相关的高频响应。此外，还引入了并行多核特征增强模块（PMFEM）以加强浅层特征表示。- 我们提出了基于Mamba的语义融合模块（MSF），以线性复杂度高效捕获长程跨尺度依赖关系。在VisDrone、TinyPerson和UAVVaste上的实验表明，该方法在检测精度和鲁棒性方面取得了一致的改进。## 章节片段### 基于Transformer的目标检测器DETR（Detection Transformer）首次将Transformer引入目标检测，通过全局编码和目标查询生成预测，同时消除了NMS后处理，从而简化了检测流程；然而，它仍然存在收敛缓慢和小目标检测精度有限的问题。随后，Deformable DETR通过引入可变形注意力和多尺度特征融合改进了小目标的表示。RT-DETR，### MESF-DETR概述本文提出了MESF-DETR，其整体架构如图1所示。该框架由四个主要组件组成：用于多尺度特征提取的骨干网络、用于高效全局上下文建模的Transformer-Mamba混合编码器、用于确保稳定候选匹配的IoU感知查询选择机制，以及配备预测头的解码器用于最终推理。与RT-DETRv2相比，MESF-DETR保留了整体架构设计，同时引入了关键的### 实验本节对MESF-DETR进行了全面的实验评估。具体而言，首先描述了所采用的数据集和实验配置，随后介绍了为小目标检测设计的评估指标。然后在多个公开基准上与主流和最先进的检测器进行了广泛的比较，以评估所提方法的有效性。此外，还进行了消融研究以分析关键### 局限性与未来工作尽管所提出的MESF-DETR框架在无人机小目标检测方面表现出色，但仍存在一些局限性。首先，在高度密集的无人机场景中准确检测极小目标仍然具有挑战性，特别是当目标严重遮挡或仅占极少像素时（如图10所示）。这一局限性主要源于当前方法侧重于特征融合和多尺度上下文建模，而没有明确地### 结论本文提出了MESF-DETR，一种用于无人机图像小目标检测的Mamba增强型空间-频率特征融合框架。通过集成并行多核特征增强模块（PMFEM）、Mamba语义融合模块（MSF）、空间-频率双域融合模块（SFDDF）和WGIoU损失函数，该方法有效提升了特征表示、多尺度上下文建模和边界框回归能力。在VisDrone、TinyPerson和UAVVaste上### CRediT作者贡献声明**Jiewei Xu：** 写作 – 审阅与编辑、写作 – 原稿撰写、可视化、软件、方法论。**Huiying Xu：** 写作 – 审阅与编辑、调查研究、基金获取。**Xiaodan Xu：** 写作 – 审阅与编辑、形式分析。**Zhendong Chen：** 写作 – 审阅与编辑。**Yi Li：** 写作 – 审阅与编辑。**Hongbo Li：** 写作 – 审阅与编辑。**Yiming Sun：** 写作 – 审阅与编辑。**Wenming Cheng：** 写作 – 审阅与编辑。**Wei Shi：** 写作 – 审阅与编辑。**XinZhong Zhu：** 写作 –## 利益冲突声明作者声明不存在可能影响本文所报道工作的已知竞争性经济利益或个人关系。## 致谢本工作得到了国家自然科学基金（62376252）、浙江省领军鹅计划（2025C02025，2025C01056）、浙江省省域协同计划（2025SDXT004-3）和杭州领军创新创业团队（TD2023006）的资助。