Super-DETR：一种由超分辨率驱动、用于遥感图像中小目标检测的DETR网络

《Pattern Recognition》：Super-DETR: A DETR network for small object detection in remote sensing images driven by super-resolution

　　

• •
  我们提出了一种用于检测和超分辨率任务的联合优化网络。
• •
  设计了一种利用检测网络特征的超分辨率网络。
• •
  使用了一种频率融合网络将超分辨率特征与目标检测网络集成。
• •
  在三个数据集上的大量实验结果证明了其优越性。

引言

随着遥感技术的快速发展，遥感图像在军事、农业、环境监测等领域的应用日益广泛。作为遥感图像处理的重要组成部分，小目标检测对于提高遥感信息的利用价值具有重要意义。由于遥感图像分辨率低、特征信息有限且背景复杂，小目标检测面临诸多挑战。与普通图像相比，遥感图像的背景信息更复杂，且视角相对单一。因此，图像提供的特征信息往往无法充分反映物体本身的特性，导致漏检或误检结果。

针对上述情况，近期研究开发了各种改进的网络，希望更充分地提取图像特征并提升小目标检测性能 [1]。一些研究人员使用改进的 IoU 损失训练网络，希望更有效地识别小目标 [2]。一些研究人员采用了多模态或多任务联合方法进行检测，例如使用红外和可见光模态数据进行检测的 MetaFusion。此外，由于遥感图像中相似物体的尺寸差异显著，多尺度特征检测器被广泛应用于小目标检测任务中 [3]。多尺度表示、上下文信息和候选区域提议已成为小目标检测的三大支柱。

尽管上述解决方案在一定程度上提高了小目标的检测性能，但它们无法改变遥感图像分辨率低的问题。此外，大多数方法通常使用非极大值抑制算法来筛选预测结果，这不是端到端训练，无法实现小目标的一对一匹配，从而影响网络从复杂场景中区分小目标的能力。

最近，遥感图像的超分辨率（SR）技术展现了巨大潜力。遥感超分辨率的目的是获得分辨率更高、细节纹理更清晰的图像，而小目标检测（OD）的挑战在于分辨率低和特征信息少。如图 2 所示，当分辨率较低时，由于图像无法为小目标提供清晰的特征，网络无法成功检测到相应的物体。为了解决遥感小目标检测的挑战，将 SR 技术与 OD 任务相结合，探索一种高效且准确的检测方法成为一种可行的解决方案。

受此启发，在本文中，我们提出了一种用于遥感图像小目标检测的超分辨率驱动 DETR 网络，该网络利用检测网络强大的骨干结构实现超分辨率任务，同时，超分辨率任务用于补充遥感图像中不清晰小目标的细节信息。图 1 展示了三种主流的目标检测范式，(a) 是经典的基于 CNN 的检测架构，特点是结构成熟且推理效率高，但在逐层下采样过程中小目标的细粒度细节损失严重。(b) 是基于 Transformer 的端到端检测框架，通过自注意力机制实现强大的全局语义建模，但由于计算开销高且细粒度特征增强不足，在密集的小遥感目标上性能有限。(c) 是我们提出的超分辨率驱动并行融合检测范式，通过双分支特征交互联合优化超分辨率重建和目标检测，有效解决了上述两种架构在遥感小目标检测中的核心局限性。

总之，本研究的主要贡献总结如下：

• •
  我们首次提出了一种集成 DETR 与超分辨率的小目标检测网络，实现了两个任务的同步优化。
• •
  设计了一种利用检测网络共享特征的超分辨率网络，利用检测任务的语义信息实现高质量的遥感图像重建。
• •
  使用了一种频域自适应融合网络，在子尺度上将 SR 特征与 OD 网络特征集成，显著提高了检测精度。
• •
  与两种检测数据集上的 14 种方法的比较实验证明了我们的方法在小目标检测任务中的优异性能。此外，与 8 种方法的定性和定量实验证明了超分辨率网络的有效性。

本文的其余部分组织如下，我们将在第 2 节简要介绍小目标检测和超分辨率技术的相关工作。在第 3 节中，我们详细介绍了本文提出的方法，包括网络框架和损失函数的细节。实验结果以及与其它方法的超分辨率性能比较在第 4 节给出。最后，第 5 节给出结论。

章节片段

遥感中的目标检测

早期的遥感目标检测算法依赖于专家系统知识库并使用先验知识。例如，McGlone 等人 [4] 将几何和度量架构知识纳入候选区域构建中，最终生成检测结果的检测网络。Ak?ay [5] 将上下文信息引入检测过程，并通过建筑阴影区域对其进行验证。在这一阶段，存在大量的人工先验

所提方法

在本节中，我们详细描述了我们的方法，从联合优化的公式开始。随后，我们详细阐述了 Super-DETR 网络的架构。在第 3.2 节中，我们概述了用于网络训练的损失函数和融合参数。

实验验证

本节详细描述了训练和测试过程。我们不仅评估了网络在训练数据集上的性能，还在 DIOR 数据集上进行了泛化实验。此外，我们比较了几个早期超分辨率网络的结果。定性和定量实验证明我们的网络具有优异的性能。最后，一系列消融实验证明了我们设计的有效性。

结论

在本文中，我们提出了一种超分辨率辅助的遥感小目标检测网络。该网络通过超分辨率任务补充遥感图像中小目标的细节信息，并使用 DETR 检测网络架构在执行超分辨率任务时实现小目标的一对一匹配。在 AI-TOD 数据集上的性能证明了我们的方法的优越性，跨数据集检测结果表明我们的方法具有

CRediT 作者贡献声明

Bowen Zheng：撰写 – 审查与编辑，撰写 – 原稿撰写，可视化，验证，项目管理，形式化分析，数据整理，概念化。Hongtao Huo：撰写 – 审查与编辑，方法论，调查，资金获取，概念化。Haozhe Cao：撰写 – 原稿撰写，监督，资源，概念化。Luyan Ji：撰写 – 审查与编辑，监督，资源，项目管理，形式化分析。Xiaowen Liu：撰写 – 审查与

利益冲突声明

作者声明他们没有已知的相互竞争的经济利益或个人关系，这些关系可能被认为会影响本文报告的工作。

致谢

本工作得到了国家重点研发计划（资助号 31400）、高分辨率对地观测系统重大专项（资助号 01Y30F05900120/22 和 GFZX0404130307）以及青海省重点研究与转化项目（资助号 2022-SF-150）的支持。

Bowen Zheng 目前正在中国人民公安大学信息技术与网络安全学院攻读博士学位。他的研究兴趣包括计算机视觉和模式识别。

Bowen Zheng|Hongtao Huo|Haozhe Cao|Luyan Ji|Xiaowen Liu