面向遥感影像半监督旋转目标检测的概率-几何双驱动难样本聚焦

《Neurocomputing》：Probabilistic?Geometric Dual?Driven Hard Sample Focusing for Semi?Supervised Oriented Object Detection in Remote Sensing Imagery

　　

摘要 遥感半监督旋转目标检测（RSSOOD）旨在利用有限的标注数据和丰富的未标注数据来训练高性能的旋转目标检测器，从而减少对昂贵人工标注的依赖。RSSOOD 的主要挑战在于伪标签固有的不准确性。虽然现有方法主要集中在伪标签选择上，但它们往往忽略了困难样本的关键作用，导致模型偏向简单样本和伪标签错误的积累。本研究识别出两类不同的困难样本：分类困难样本和回归困难样本。在此基础上，本研究提出了一种专注于困难样本挖掘的 RSSOOD 算法，该算法具有概率 - 几何双驱动动态损失加权策略，能够自适应地调整分类和回归任务的样本权重。首先，我们提出了一种难度感知自适应加权分类损失，对不同难度的分类困难样本进行差异化补偿，纠正模型预测偏差并增强伪标签准确性。其次，我们开发了一种几何感知自适应加权回归损失，根据回归难度（由预测与伪标签之间的几何差异量化）软化伪标签的利用。这缓解了伪标签边界框错误的积累和传播。在航拍图像目标检测数据集（DOTA V1.5 和 DOTA V1.0）基准上的广泛实验表明，我们的方法超越了当前的最先进方法。

引言 随着航空航天传感器的进步，获取了大量高空间分辨率遥感（RS）图像，显著推动了智能遥感解译技术的发展 [1], [2], [3]。作为智能遥感解译的基本组成部分，RS 目标检测通过对地理空间目标进行准确的分类和定位，实现实例级图像解译 [4]。目前，RS 目标检测技术已在不同领域得到广泛应用，在军事侦察、灾害预警和智能农业等应用中发挥着关键作用 [5]。

得益于大规模、高质量标注遥感图像库的可用性，全监督遥感目标检测近年来取得了显著发展 [6], [7]。一系列创新算法被设计用来应对航拍和卫星图像固有的极端尺度变化、显著的类间相似性和高度异构的背景所带来的挑战 [8], [9], [10]。然而，这些监督方法需要大量标注数据进行学习，数据较少可能会影响模型鲁棒性 [11]。获取准确标注需要相当的时间和经济资源 [12]。这种对大量精确标注数据的依赖阻碍了遥感目标检测的进步 [13]。因此，迫切需要开发能够同时利用有限标注数据和丰富未标注图像的高性能检测器。

半监督目标检测（SSOD）利用标注和未标注数据共同训练模型，通过利用未标注样本中的信息来提高准确性 [14]。当前的 SSOD 方法主要分为两类：基于一致性学习的方法（MCL）和基于伪标签的方法（MPL） [15]。MCL 强制同一未标注图像的不同增强视图的输出一致性。通过在这些扰动视图上正则化预测不变性，MCL 隐式捕获内在数据结构和不变特征，从而提高模型鲁棒性。然而，MCL 的有效性高度依赖于增强的质量和多样性。过度强调一致性可能会抑制潜在的有信息量的预测变化，限制进一步的性能提升。为了缓解这一点，MPL 采用在标注数据上训练的初始模型为未标注数据生成伪标签。然后将这些伪标签样本纳入训练，实现迭代模型优化。由于 MPL 性能关键取决于伪标签质量和利用，已提出许多新策略 [16], [17], [18], [19]。然而，现有 SSOD 方法主要针对自然场景，在应用于遥感图像时面临重大挑战。遥感数据固有的复杂背景和强方向变化通常导致半监督旋转目标检测的性能差距。这促使开发专门针对遥感场景特性的半监督学习范式。

伪标签方法本质上放大了模型的优缺点 [20]。这通常表现为错误检测和漏检，特别是对于困难样本。这种缺陷的负面影响在复杂的遥感场景中加剧。具体来说，遥感数据特有的复杂背景和模糊的类间边界导致模型偏向分类简单样本。此外，伪标签边界框的不准确性显著降低了回归性能。这对于回归困难样本（如细长目标）尤为不利。然而，当前的遥感半监督旋转目标检测方法主要集中在伪标签筛选和后处理上，缺乏专注于困难样本偏差的 RSSOOD 研究。与确认偏差和简单样本主导不同，困难样本偏差表现出更强的数据结构根源和任务特异性。这种偏差植根于遥感图像的固有复杂性，表现为两个独立且不相关的困难来源：分类困难样本和回归困难样本。值得注意的是，在 DOTA-v1.5 验证集上进行的基于中心采样的分解显示，分类难度和回归难度之间的皮尔逊相关系数为 r = ?0.106，证实了这两个困难维度在样本级别上不相关。易于分类的目标由于其复杂的几何形状可能仍然极难回归，而难以分类的目标可能表现出相对简单的回归。这种独立性表明，分类困难和回归困难样本需要单独的处理机制，不能通过统一的重新加权或过滤策略同时解决。

相关领域的现有解决方案也不足以解决这种双重类型的硬度。如图 1 所示，Focal Loss 及其变体仅根据预测置信度重新加权样本，将所有低置信度样本一视同仁，没有区分类间混淆和背景干扰 [21]。基于置信度的伪标签过滤方法完全丢弃低置信度预测，不可避免地移除了有价值的困难样本，加剧了简单样本的主导地位。对于回归，大多数方法采用基于 IoU 的加权或不确定性估计进行回归，但这些方法没有显式建模方向目标的几何结构。SOOD [22] 引入了角度感知加权，根据伪标签和预测之间的角度差异调整回归损失。然而，SOOD 的加权仅依赖于角度差异，并将所有具有相同角度差异的目标同等对待，而不考虑它们的形状特征。这些局限性促使我们进行专门设计。

为了解决上述问题，本研究提出了 HSFSOOD，一种基于困难样本聚焦的高效半监督遥感旋转目标检测算法。HSFSOOD 通过两种新颖的损失函数显式针对困难样本偏差：难度感知自适应加权分类损失（DAWC loss）和几何感知自适应加权回归损失（GAWR loss）。为了解决分类困难样本偏差问题，DAWC 损失动态感知预测概率分布，对分类困难样本（例如前景混淆或背景干扰的样本）进行差异化加权补偿，培养模型早期纠正此类错误的能力。为了提高模型的回归精度和对不准确伪标签边界框的容忍度，GAWR 损失利用预测和伪标签之间的几何差异来量化回归难度。GAWR 在优化过程中软化加权伪标签，增强回归精度和对边界框不准确的容忍度，同时优化它们对训练的贡献。

本研究的主要贡献如下：
1) 我们提出了 HSFSOOD，一种针对高分辨率遥感图像的半监督旋转目标检测算法，通过概率 - 几何双驱动策略解决困难样本偏差。该方法动态识别分类和回归困难样本，自适应调整其损失权重，并共同增强伪标签质量和利用效率——显著提高了复杂遥感场景中的鲁棒性。
2) 我们设计了 DAWC 损失，利用预测概率分布和动态阈值选择性强调前景混淆和背景干扰的困难样本。DAWC 损失通过纠正模型对困难样本的预测偏差，有效优化模型对困难样本的判别边界，从而增强伪标签生成的质量。
3) 我们设计了 GAWR 损失，通过预测和伪标签之间的几何差异动态调整不同几何目标的回归难度。GAWR 损失通过动态区分几何敏感样本，有效抑制边界框回归中伪标签噪声的传播和积累，并显著增强对不精确伪标签的利用程度。

章节片段 遥感目标检测 与自然场景中的目标检测不同 [23]，遥感目标检测经常面临强目标方向、高类间相似性和广泛尺度范围等挑战 [24], [25], [26], [27]。因此，遥感目标检测器通常使用旋转框来表示对象，并基于遥感图像特性设计特征提取和处理方法 [28], [29]。例如，CSL 将角度回归任务转化为分类任务

基础 SSOD 框架 我们以 DDPLS 为基线，使用 FCOS-R 作为基础检测器，并遵循经典的均值教师范式来实现半监督学习 [53]。我们的 HSFSOOD 的网络结构如图 2 所示。SSOD 框架由两个分支组成：学生和教师，并分为两个阶段：预热和自训练 [54]。该框架的核心概念是通过模型参数的指数移动平均（EMA）生成稳定的教师模型，以指导学生模型的学习。在

数据集 本研究中的所有实验均在 DOTA V1.0 和 DOTA V1.5 基准上进行。
DOTA V1.5. DOTA V1.5 数据集 [56] 由武汉大学提出，包括 2806 张高分辨率遥感图像，包括 1411 个训练集、458 个验证集和 937 个测试集。本研究遵循 SOOD 设置将数据分为两个设置：DOTA V1.5-Partial 和 DOTA V1.5-Full。
DOTA V1.5-Partial 由三种比例的数据划分组成：10%、20%、30%。DOTA-v1.5-Full 使用

结论 在本研究中，我们提出了一种针对高空间分辨率遥感图像的半监督旋转目标检测算法 HSFSOOD，以缓解伪标签不准确性对半监督旋转目标检测的不利影响。HSFSOOD 通过两种互补的损失函数共同优化伪标签生成并利用不完美标注。首先，我们提出了基于样本预测概率分布和动态阈值的 DAWC 损失，该 CRediT 作者贡献声明 Jie Zhang: 写作 – 审查与编辑，写作 – 原稿，监督，项目管理，方法论，资助获取。Qingquan Li: 写作 – 审查与编辑，验证，资源，项目管理。Wenjie Sun: 写作 – 审查与编辑，验证，监督，方法论，形式分析。Yujie Lei: 写作 – 审查与编辑，写作 – 原稿，可视化，验证，软件，方法论，形式分析，概念化。

利益冲突声明 作者声明他们没有任何已知的竞争财务利益或可能影响本文报告工作的个人关系。

致谢 本工作得到云南省重大科技专项 (202202AE090034)、国家重点研发计划 (2022YFF0713002, 2021YFD1901001) 以及自然资源部粤港澳大湾区地质环境监测重点实验室支持的项目 (GEMLab-2023001) 的资助。

Yujie Lei 于 2023 年获得中国四川农业大学学士学位。他目前就读于中国农业大学信息与电气工程学院，攻读博士学位。他的研究兴趣包括遥感图像中的目标检测和计算机视觉的农业应用。Lei 先生也是四川省人工智能学会青年工作委员会成员。

Yujie Lei|Wenjie Sun|Qingquan Li|Jie Zhang
中国农业大学信息与电气工程学院，北京 100083，中国