《Displays》：From part to whole: Structural semantic knowledge guided airplane detection in remote sensing images
编辑推荐：
•为飞机检测提取可复用的部件级结构语义知识。•部件语义聚合增强来自可见部件的目标表示。•与代表性的两阶段有向检测器集成。•在多个检测器和飞机基准测试中取得稳定提升。引言遥感目标检测被认为是遥感解译领域最基础的任务之一，由于其广泛的应用范围，已成为研究焦点 [1], [2],
- •
为飞机检测提取可复用的部件级结构语义知识。
- •
部件语义聚合增强来自可见部件的目标表示。
- •
与代表性的两阶段有向检测器集成。
- •
在多个检测器和飞机基准测试中取得稳定提升。
引言
遥感目标检测被认为是遥感解译领域最基础的任务之一，由于其广泛的应用范围，已成为研究焦点 [1], [2], [3], [4]。作为遥感图像中感兴趣的代表性对象，准确的飞机检测在机场监控 [5]、空中交通管制 [6] 和军事侦察 [7] 中发挥着至关重要的作用。
现有的飞机检测方法大致可分为传统方法和基于深度学习的方法。传统方法 [8], [9] 主要依赖手工特征，并且在复杂场景中往往鲁棒性有限。随着深度学习的快速发展，近期的飞机检测方法大多建立在现代目标检测框架之上，并通过利用强大的特征表示取得了显著进展。然而，大多数这些方法仍然主要依赖整体对象级特征。当飞机部分可见、被遮挡或视觉模糊时，仅依赖全局外观可能是不够的，因为判别证据通常分布在几个局部组件中。
为了缓解这一局限性，一些研究尝试将部件级线索引入飞机检测 [10], [11]。这些方法表明，局部组件可以为识别外观不完整的飞机提供有用的补充证据。尽管如此，现有的基于部件的方法在检测过程中通过预定义配置 [10] 或显式监督的部件预测 [11] 来表示部件信息，而从多个飞机样本中提取的语义部件原型构建可复用的结构先验仍然探索不足。
如图 1 所示，人类可以从可见且具有结构信息的组件中识别出部分可见的飞机，例如有头、机翼和尾翼。这一观察启发了我们的部件到整体公式化方法，该方法将这些语义组件表示为可复用的结构先验，以增强对象表示。
为此，我们提出了一种用于飞机检测的两阶段结构语义知识引导框架，包括语义知识生成，随后是部件引导检测。所提方法利用部件级结构先验构建结构语义知识池，并随后引导检测器从观察到的部件增强对象表示，从而提升检测性能。具体来说，我们引入了结构语义提取模块（SSEM）作为第一阶段的核心组件，旨在提取飞机的部件级语义知识。SSEM 集成显著目标检测（SOD）编码器和部件图生成（PMG）功能并行运行，并配合内部的掩码平均池化（MAP）操作用于部件知识提取。SOD 编码器经过微调，以学习飞机的全局对象感知语义表示，捕捉整体对象语义。PMG 功能利用强大的视觉基础模型，从密集的视觉表示中发现组件级结构模式，并生成相应的部件级伪标签。
基于全局语义特征和生成的部件图，SSEM 进一步通过 MAP 为不同的飞机组件提取代表性原型，并将它们组织成一个紧凑的飞机结构语义知识池。这个知识池实现为一组学习到的部件原型，明确将可复用的部件级语义特征编码为飞机检测的结构先验。在第二阶段，来自语义知识池的结构语义知识被集成到检测框架中以支持目标检测。相应地，我们提出了一个部件语义聚合模块（PSAM），该模块利用注意力机制将池中的语义知识与检测特征融合，引导检测器更好地处理部分可见的飞机。此外，所提框架支持与代表性的两阶段有向检测器进行即插即用集成。
总之，我们的贡献总结如下：
- •
我们提出了一种两阶段结构语义知识引导框架，将可复用的部件级结构先验引入检测过程以进行特征增强。
- •
我们设计了一个结构语义提取模块（SSEM），从飞机样本中提取代表性部件原型并构建离线结构语义知识池。
- •
我们引入一个部件语义聚合模块（PSAM），通过基于注意力的机制将部件原型与检测特征聚合，从而为检测器特征细化提供部件级结构指导。
- •
在 DOTA-v1.0-Plane、DOTA-v1.5-Plane 和 FAIR1M-v2.0-Plane 上的实验证明了所提框架的有效性，特别是在飞机外观不完整的情况下。
章节片段
遥感目标检测
遥感目标检测对于遥感图像解译至关重要。由于背景复杂、对象尺度变化大、目标分布密集以及任意方向 [2], [12]，准确的遥感目标检测仍然具有挑战性。随着深度学习技术的快速发展，大多数近期方法通常采用基于深度学习的一阶段或两阶段框架，这些框架已成为复杂遥感中的主导范式
概述
我们提出的框架的整体架构如图 2 所示。它被设计为一个两阶段流水线，构建并将部件级结构先验集成到有向飞机检测器中。第一阶段称为结构语义知识生成，旨在提取代表性部件级原型。具体来说，采用结构语义提取模块（SSEM）通过联合利用全局对象感知语义特征和
数据集
为了方便飞机检测研究，我们通过从三个流行的遥感基准 DOTA-v1.0 [41]、DOTA-v1.5 [41] 和 FAIR1M-v2.0 [42] 中选择飞机实例，构建了三个专用飞机子集：DOTA-v1.0-Plane、DOTA-v1.5-Plane 和 FAIR1M-v2.0-Plane。
（1）DOTA-v1.0-Plane： DOTA-v1.0 作为航空图像中有向对象检测的基础大规模基准。它包含 2806 张高分辨率图像，跨越 15 类对象包含 188,282 个实例
结论
在本文中，我们提出了一种用于飞机检测的两阶段结构语义知识引导框架，包括语义知识生成，随后是部件引导检测。在第一阶段，结构语义提取模块（SSEM）从飞机样本中提取代表性部件原型并构建离线飞机结构语义知识池。在第二阶段，部件语义聚合模块（PSAM）将部件原型与检测特征
CRediT 作者贡献声明
Hanyang Sun：概念化，调查，方法论，软件，验证，可视化，撰写 – 原稿。Wenbo Guo：数据管理，调查，方法论，可视化。Guanyi Li：调查，撰写 - 审阅与编辑。Weiyi Lv：调查，撰写 - 审阅与编辑。Liang Chen：调查，撰写 - 审阅与编辑。Dan Zeng：概念化，项目管理，监督，资金获取，撰写 - 审阅与编辑。Zhengqin Xu：
利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。
Hanyang Sun|Wenbo Guo|Guanyi Li|Weiyi Lv|Liang Chen|Dan Zeng|Zhengqin Xu
