重新思考遥感场景中细粒度检测所偏好的特征表示方法：从正则化的角度出发

《Pattern Recognition》：Rethinking feature representations preferred by fine-grained detection in remote sensing scenes: From a regularization perspective

　　徐学茹|陈忠|王国友
华中科技大学多光谱信息智能处理技术国家重点实验室，武汉430074，中国

**摘要**
细粒度对象检测是遥感图像解释中的关键任务，但由于类别间的极端相似性，这一任务尤其具有挑战性。现有的细粒度检测器主要采用局部区域细化、精确定位引导和多模态信号补充等方法，重点优化前景区域的特征以提高检测精度。然而，当原始数据不足时，这些方法的有效性会显著降低。我们重新审视了影响细粒度检测精度的潜在因素，并认为如果检测器在有限的数据规模或低数据多样性上进行训练，它容易学习到一些特定的细粒度模式，从而导致特征表示难以泛化到未见数据。基于此，我们引入了一种正则化方法来构建单阶段细粒度检测器，具体包括为数据空间设计噪声正则化分支和为特征空间设计语义正则化分支。噪声正则化分支通过执行背景随机混合和前景随机隐藏操作来构建更丰富的数据模式，从而有助于学习更具泛化能力的细粒度模式；而语义正则化分支则利用细粒度类别中的语义相关性进行语义校准。我们使用两个用于飞机检测的细粒度数据集来评估检测性能。广泛的实验结果表明，所提出的细粒度检测器在保持竞争力强的推理速度和模型复杂度的同时，始终优于现有检测器，从而证实了正则化方法在构建具有强大检测性能的细粒度检测器方面的有效性和实用性。

**引言**
得益于大量高分辨率遥感图像[1][2]以及鲁棒的定向检测器[3][4][5]，遥感场景中的通用对象检测取得了显著进展。特别是随着视觉-语言多模态模型的出现[6]，传统的检测范式正在经历革命性变革。当前的检测器主要关注识别通用类别，而高精度图像解释则需要进一步识别细粒度类型。例如，不仅需要识别物体为飞机，还需要确定其具体类型，这对于空域监视至关重要。然而，识别细粒度类型比识别通用类别更具挑战性：单模态检测器难以捕捉细微的视觉差异，而多模态检测器则难以理解细粒度标签的语义。因此，当检测细粒度类别时，鲁棒的通用检测器可能表现不佳。

随着对细粒度检测兴趣的增加，遥感社区最近专注于开发细粒度检测器以提高对细粒度对象的检测性能。主要从三个方面应对这些挑战：
(a) 增强对象的区分性特征。直观上，对象的区分性特征对细粒度识别贡献更大。由于这些特征在局部区域中更频繁出现，因此细化局部特征是一种自然且有效的方法。基于此思路，引入了注意力机制[7][8]、局部-全局特征融合[9]和对比学习[10][11]来学习细粒度类别的区分性特征。
(b) 使用精确的定位来引导检测器关注前景区域。细粒度检测涉及定位和分类的同步进行。由于遥感场景中对象的方向是随机的，改进定位有助于检测器更准确地聚焦于对象区域。典型方法包括提高区域提案的质量[12]并提供与前景对齐的定位监督信号[13]，从而生成更纯净的特征用于识别。
(c) 将丰富的文本信息整合到视觉特征中作为补充信号。这种方法受益于视觉-语言预训练模型的强大性能。通过基于类别标签设计文本提示，检测器[14][15]可以学习视觉和语言模态之间的联合表示，从而丰富视觉信号。

总体而言，当前的方法主要关注优化对象内部的局部特征以提高细粒度检测性能，通常涉及语义细化、引导和补充。这些方法通常假设数据空间包含足够的区分性线索，主要挑战在于检测器能否感知到这些线索。然而，在实践中这一假设可能并不总是成立。深度神经网络以其在监督训练中适应数据分布的强大能力而闻名。更大的数据规模有助于捕捉视觉信号中的细微差异，但细粒度检测的可用数据有限。因此，检测器可能仅从有限的训练数据中学习到一些特定的细粒度模式，从而缺乏泛化到未见数据的能力。这一现象已在弱监督环境中得到证实[16][17]。基于上述分析，我们认为对特征学习过程施加约束可能有助于细粒度检测。因此，我们提出从相反的角度来提高细粒度检测性能：通过训练期间的正则化来鼓励检测器学习鲁棒的细粒度表示。

我们提出的正则化方法包括两个主要方面：一种针对数据空间以生成多样化的输入数据，另一种关注高维特征空间以通过共享语义来校准特征。我们认为，丰富的数据能够实现更多样化的特征组合，有助于学习具有泛化能力的细粒度特征。因此，数据空间中的正则化既自然又有效。遥感场景中的细粒度检测具有独特特征，主要体现在前景和背景之间的特征偏好差异上。具体来说，背景复杂且需要更广泛的场景覆盖来模拟不同的周围环境，而前景稀疏且较小，需要关注多个对象部分以防止某些部分占据主导地位。在这种情况下，分别处理前景和背景更为合适。此外，细粒度类别中的语义层次结构包含对细粒度识别有价值的信息。细粒度类别自然从其上层类别继承语义，从而形成融合了共享语义和特定语义的特征空间。鉴于特定语义相对较弱，训练过程中过度细化区分性特征可能会抑制共享语义的有益影响。在数据有限的情况下，这种问题更为明显，过度细化可能会损害细粒度模式的多样性。

我们提出了两种正则化方法来使细粒度检测受益于正则化。具体而言，我们在输入数据空间设计了一个噪声正则化分支，分别处理前景和背景，从而生成两个独立的正则化空间。我们将这一分支视为适应性调节分支，形成三分支并行输入：原始数据空间、前景正则化空间和背景正则化空间。所有空间都输入到一个共享检测器中以学习细粒度模式。此外，我们还设计了一个语义正则化分支，将共享语义与耦合特征空间分离，然后再将其反馈到原始空间。特别是，我们同时考虑了任务无关的特征空间和分类专用特征空间。双路径操作利用细粒度对象之间的语义相关性来学习细粒度特征。这两种正则化分支使检测器能够从有限的数据中有效提取有价值的信息，从而促进更鲁棒的细粒度表示的学习。我们的主要贡献包括以下三个方面：
1. 我们重新审视了影响细粒度检测性能的潜在原因，并从正则化的角度提出了一种细粒度检测器。该检测器在训练期间应用数据正则化和语义正则化，显著提高了细粒度检测精度，同时保持了可接受的计算成本。
2. 为了防止检测器陷入某些特定的细粒度特征模式，我们提出了一种前景-背景解耦的噪声正则化分支（FBNR），在数据空间中操作以提供更丰富的输入数据。设计了梯度驱动的背景随机混合分支和前景随机隐藏分支，分别为背景和前景生成正则化空间。这些空间形成了三分支并行输入结构，共同优化检测器。
3. 为了避免在耦合语义空间中过度细化特征而损害细粒度模式的多样性，我们设计了基于前景引导的语义正则化分支（FGSR）。该分支利用与耦合特征空间分离的共享语义进行语义校准。为任务无关的特征空间和分类专用特征空间设计了双路径语义正则化，使检测器能够充分利用细粒度层次结构中的语义相关性，实现准确的前景感知。

本文的结构如下：第2节回顾相关工作；第3节详细阐述我们提出的解决方案，包括FBNR和FGSR；第4节报告全面的实验结果及相应分析；第5节总结研究发现、分析局限性并展望未来研究方向。

**遥感场景中的细粒度对象检测**
细粒度检测通常遵循标准检测范式，但增强了分类分支以更好地识别细粒度类别。两阶段R-CNN框架[3]在细粒度检测中特别受欢迎，因为它能够明确区分前景和背景。Cheng等人[7]设计了两个基于Transformer的特征细化模块，用于定位和细粒度分类，这些模块作用于感兴趣区域（ROI）以感知对象方向。

**以飞机为例**，我们从正则化的角度提出了一种实用的细粒度对象检测方法。我们的方法受到数据层面和特征层面的两个方面的启发：数据可用性有限，使得覆盖所有真实世界场景变得不切实际，导致检测器依赖于一组有限的特征模式来识别细粒度对象。这导致了两个问题：首先，检测器过度关注某些特定的细粒度特征模式。

**数据集**
我们选择了两个数据集MAR20[28]和FAIRPlane11-2.0[2]来评估所提出的细粒度检测器的性能。每个数据集的实例分布如图6所示。显然，这两个数据集在数据规模、场景分布和对象大小上存在差异。使用这两个数据集可以更全面地评估检测器的有效性。

**结论**
在本文中，我们重新考虑了为什么遥感场景中的细粒度对象检测经常表现不佳，并从正则化的角度设计了一种细粒度检测器。我们认为，细粒度检测数据的小规模和有限多样性限制了检测器学习丰富区分性模式的能力，从而削弱了学习到的特征对未见数据的泛化能力。为了解决这个问题，我们提出了一种基于正则化的细粒度检测器。

**作者贡献声明**
徐学茹：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、方法论、调查、数据整理、概念化。
陈忠：监督、项目管理、调查、资金获取、概念化。
王国友：撰写——审阅与编辑、验证、数据整理、概念化。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了中国“十四五”计划民用航空航天技术预研项目（项目编号D040404）的支持。