DAFSDet：基于双注意力机制的遥感图像少样本目标检测方法 高等光， 张志林， 张伟， 尚云琦， 董燕， 奚江涛

《Remote Sensing》：DAFSDet: Dual-Attention Guided Few-Shot Object Detection in Remote Sensing Images Guangshuai Gao, Zhilin Zhang, Wei Zhang, Yunqi Shang, Yan Dong and Jiangtao Xi

　　**亮点**
主要研究结果是什么？
内容感知和方向感知的上下文聚合在遥感少样本场景中检测具有大规模变化和长形状的物体时特别有效，而更深层次的网络或传统的多尺度融合带来的提升有限。
自适应空间采样和以前景为中心的注意力机制可以提高在复杂背景下的提案定位能力，而固定的感受野设计在处理几何变形和背景杂乱时表现不佳。

**主要研究结果的含义是什么？**
在遥感中的少样本物体检测中，结构感知和几何适应性机制比传统的尺度无关特征融合更具优势，为设计数据高效检测架构提供了新的视角。
观察到的改进表明，在提案生成阶段明确引导提案以更好地捕捉物体区域，可以提高少样本检测器的区域级适应性，而不仅仅依赖于分类细化来提升性能。

**摘要**
少样本物体检测旨在仅使用少量标记样本来准确识别和定位新类别。然而，在遥感图像中，由于目标尺度的大幅变化和复杂的背景，这项任务面临重大挑战。为了解决这些问题，本文提出了一种基于双重注意力引导的少样本物体检测框架DAFSDet。具体来说，在特征建模和提案生成阶段都实施了双重注意力策略。对于特征融合，设计了内容感知条带金字塔（CASP）来通过建模空间和上下文信息来增强多尺度特征表示。在检测阶段，提出了可变形注意力RPN（DA-RPN）来提高候选区域的定位质量。通过这些设计，所提出的方法有效缓解了多尺度变化和复杂背景带来的挑战。在DIOR和NWPU VHR-10数据集上的实验结果表明，与基线方法相比，该方法在10样本设置下的DIOR Split 2上提高了7.54 mAP，在3样本设置下的NWPU VHR-10上提高了2.09 mAP。这些结果表明，所提出的方法为复杂遥感场景中的少样本物体检测提供了有效的解决方案。

**1. 引言**
通过深度学习技术，遥感图像（RSI）中的物体检测取得了显著进展，广泛应用于土地资源管理[1,2,3]、城市发展[4,5,6]、军事侦察[7,8,9]和灾害评估[10,11,12]等领域。与自然场景相比，RSI通常具有更广泛的覆盖范围、更高的空间分辨率、更复杂的场景组成以及目标尺度的显著变化[13]。这些因素使得精确定位和分类变得更加困难，同时也增加了获取高质量标注数据的成本。因此，RSI中的少样本物体检测（FSOD）成为一个关键的研究领域[14,15]。该领域旨在使用最少的标注样本来实现新类别的有效检测，从而减轻高标注成本和样本分布不平衡的负担[16,17,18]。尽管最近取得了进展[19,20,21]，但在极端数据稀缺的情况下平衡模型性能和泛化能力仍然是一个巨大的挑战。

在RSI的FSOD中，当前的研究主要遵循两种方法论范式：迁移学习和元学习。后者[22,23]能够快速适应不同任务，在样本量较少时具有优势；然而，它涉及复杂的训练过程，并且对尺度变化或背景噪声敏感。迁移学习[24,25]——即在大型基础类别上进行预训练，然后在新的类别上进行微调——通常因其实现简单且与主流检测框架兼容而受到青睐。然而，如图1所示，RSI中的极端尺度变化和杂乱背景会阻碍鲁棒的特征建模。为了解决尺度差异[26,27,28]，当前的方法通常使用特征金字塔，这可能会引入冗余并在少样本设置中产生不稳定的表示。对于复杂背景[29,30]，虽然注意力机制有助于突出区分性区域，但在样本有限时可能会引入偏差并放大噪声。这些观察结果突显了现有迁移学习范式的局限性，并强调了需要更鲁棒的特征增强。

**图1. 遥感物体检测中的典型挑战案例：**
(a) 物体尺度的大幅变化，包括类别之间的差异（例如，桥梁与车辆）以及同一类别内的差异（例如，不同大小的船只）。
(b) 复杂的背景干扰，其中小型物体（如车辆）容易被密集的城市结构或杂乱的环境遮挡。

为了解决这些挑战，我们提出了基于迁移学习范式的DAFSDet框架。与依赖通用多尺度融合或孤立注意力模块的现有方法不同，我们的方法建立了一个分层双重注意力架构，即使在有限的训练样本下也能共同增强特征表示和区域提案生成。在特征建模阶段，我们设计了内容感知条带金字塔（CASP）来替代传统的特征金字塔网络。CASP不是引入一个显式的注意力模块，而是通过集成数据驱动的结构化特征转换来隐式实现空间语义注意力机制。这种方法结合了内容感知的重构转换[31]和基于方向敏感条带上下文的结构化建模，从而实现自适应的特征权重和方向感知的上下文聚合。这种统一的设计使网络能够选择性地强调信息丰富的区域，同时捕捉长距离依赖性，有效缓解了特征歧义并抑制了有限监督下的噪声。因此，多尺度特征的区分性和稳定性得到了显著提高。在区域提案阶段，我们引入了可变形注意力区域提案网络（DA-RPN）来提高提案质量。通过结合可变形采样和空间注意力，DA-RPN建立了一种提案级机制，动态调整感受野以关注目标相关区域。这种设计提高了特征与目标的对齐度，减少了定位不确定性，并在数据稀缺的场景中增强了提案的可靠性。

所提出的框架通过协同作用在特征层面和候选区域层面实现了互补的架构。前者增强了表示学习，后者专注于提高定位准确性。这种协作设计特别适合少样本场景，即使在训练数据有限的情况下也能实现鲁棒的特征提取和可靠的定位。在DIOR和NWPU VHR-10数据集上的实验结果证明了我们方法在各种少样本设置中的有效性。

**总结**
本文提出了三项主要贡献：
1. 我们提出了一种基于迁移学习范式的双重注意力引导的少样本物体检测框架DAFSDet，它在有限的训练样本下共同提高了特征表示和候选区域质量。
2. 我们设计了内容感知条带金字塔（CASP），通过内容感知的特征重组和方向敏感的上下文建模隐式地构建了空间-语义注意力，增强了多尺度特征的可区分性和鲁棒性。
3. 我们提出了可变形注意力RPN（DA-RPN），通过可变形采样和空间注意力引入了提案级注意力，提高了复杂场景下的定位准确性和候选区域质量。

本文的结构如下：第2节概述了相关工作，第3节详细介绍了所提出的方法，第4节报告和讨论了实验结果，第5节总结了研究。

**2. 相关工作**
2.1. 少样本物体检测
少样本物体检测（FSOD）旨在让模型仅使用有限数量的标注样本来正确识别新类别。当前的主流方法可以分为两类：元学习和迁移学习。
元学习方法通过构建的元任务模拟“训练-测试”过程，使模型能够从有限的样本中快速学习。Meta R-CNN[22]率先将元学习应用于感兴趣区域的特点，为后续研究奠定了基础。随后，FSOD[32]通过利用基础类别的知识来支持新类别，从而降低了高标注成本，促进了快速适应和更好的泛化。FsDetView[33]使用多模态特征来加强类别表示。为了克服原型表示不足的问题，ICPE[34]开发了一种信息耦合和动态聚合机制。VFA[35]还应用了变分特征聚合来减少类别间的混淆，并通过任务解耦来提高检测稳定性。尽管元学习方法表现出强大的适应能力，但它们往往计算需求高，对任务设计敏感，并且在像遥感图像这样目标尺度变化大且背景复杂的场景中泛化能力较弱。这些缺点促使人们使用基于迁移学习的少样本检测等替代策略，后者可以更有效地利用预训练的表示。

相比之下，迁移学习方法首先在基础类别上进行预训练，然后通过微调来适应新类别。TFA[24]表明，仅微调检测头就可以获得良好的结果，为这一研究方向奠定了基础。在此基础上，FSCE[36]引入了对比损失来提高类别间的可分性。DeFRCN[25]结合了梯度解耦层进行多阶段处理和原型校准块进行多任务调整，增强了少样本场景中的特征表示和分类。PB-FSOD[37]通过提案平衡细化策略修改了迁移学习范式，依次调整边界框并使RPN适应新类别，提高了区域提案的质量和多样性，同时支持未见类别的更好检测。总体而言，这些基于迁移学习的方法利用大规模的基础类别数据来获得鲁棒的特征表示，并有效地泛化到新类别。它们的简单性和与主流检测框架的兼容性使其在少样本物体检测中得到广泛应用。

2.2. 遥感图像中的少样本物体检测
在自然场景中，少样本检测已经取得了显著进展。然而，在遥感图像（RSI）中，这一任务由于大规模变化和复杂的背景干扰而面临更大的挑战。在有限的监督下，这些因素导致了不稳定的特征表示和不可靠的区域提案生成，从而降低了检测性能。为了解决尺度变化问题，现有研究[38,39,40]探索了多尺度特征建模、度量学习和注意力机制。例如，FSODM[38]通过结合元特征提取器和类别特定的特征重加权扩展了YOLOv3[41]，使模型能够生成自适应的多尺度表示并提高对新类别的泛化能力。同样，SAM-FSOD[39]引入了一种共享注意力机制，在基础训练期间学习的注意力图在微调阶段被重新使用，以提供跨尺度的特征提取的空间指导。尽管这些方法在某种程度上增强了多尺度表示，但它们主要依赖于全局共享的特征转换或预定义的融合策略。这样的设计缺乏数据依赖的适应性，并且在少样本监督下容易受到支持集偏差的影响。因此，它们经常在尺度分布不平衡的情况下遇到困难，导致大型物体的响应不完整，小型物体的激活较弱。为了解决这些限制，我们提出了内容感知条带金字塔（CASP）来替代传统的特征金字塔。CASP结合了内容感知的特征重组和条带卷积，实现了查询自适应的特征聚合和结构化的空间上下文建模。与静态多尺度融合不同，CASP根据输入内容动态调整特征分布，实现了实例级别的适应。这种设计缓解了特征崩溃，并减少了对于有限支持样本的过拟合，从而提高了对尺度变化的鲁棒性。

为了减轻背景干扰，之前的工作[42,43,44,45]专注于通过对比学习或基于原型的建模来增强特征区分性。例如，MSOCL[42]在孪生框架内引入了多尺度物体对比学习，利用对比多尺度提案来加强前景-背景的可分性。P-CNN[43]进一步结合了原型学习网络来生成类别感知的原型，并通过原型引导的RPN来细化提案。尽管取得了这些进展，大多数方法仍然依赖于固定的感受野或预定义的匹配机制，这限制了它们对复杂空间布局的适应性。在少样本设置下，这种刚性设计加剧了定位不确定性，特别是对于分布密集或形状不规则的物体，导致提案噪声大或对齐不良。为了克服这一限制，我们提出了可变形注意力RPN（DA-RPN），它结合了可变形采样和空间注意力来实现上下文自适应的提案生成。通过动态调整感受野并关注显著区域，DA-RPN提高了定位灵活性，抑制了背景干扰，并提高了提案质量。这在少样本场景中特别有益，因为在这些场景中减少提案噪声对于稳定检测至关重要。

总体而言，现有方法通常将特征表示和提案生成视为独立组件，缺乏对少样本监督引入的不稳定性的显式适应。相比之下，我们的框架同时优化了这两个过程：CASP通过自适应表示增强了特征鲁棒性，而DA-RPN通过上下文感知的提案提高了定位准确性。这种耦合设计有效地缓解了特征不稳定性和定位不确定性，从而提高了RSI中少样本物体检测的性能。

**3. 方法**
3.1. 前提**
在FSOD任务中，通常假设有两种类型的类别：基础类别（）和新类别（）。基础类别与丰富的标注相关联，构成了数据集，而新类别只包含少量的标注样本，形成了数据集，其中x表示遥感图像，y对应其对象级标注，包括类别标签和边界框坐标。本任务的重点是学习一种检测函数，该函数能够在统一框架内对先前见过和 newly introduced 的类别进行对象识别和定位。为了在少量样本的情况下减少过拟合，我们采用了两阶段迁移学习方案。网络首先在基础类别数据集上进行训练，以获得通用的视觉表示，然后使用包含基础和新型类别的平衡数据集进行微调，从而快速适应未见过的类别，同时保持泛化能力。对于每个新型类别，如果限制为 K 个标注样本，并且考虑 N 个新型类别，这种设置对应于 N-way K-shot 少样本检测场景。为了减少过拟合，在微调过程中通常保持主干网络参数不变。

3.2. 整体网络架构
所提出的 DAFSDet 是一个针对遥感图像设计的双注意力引导的少样本对象检测框架。它采用了经典的主干-颈部-检测头架构，并在颈部和检测头方面进行了改进，旨在增强在少量样本条件下的特征表示和候选区域的质量。如图 2 所示，输入图像首先由主干网络处理，然后通过 CASP 进行多尺度增强，接着通过 DA-RPN 生成高质量的区域提案。

3.3. 内容感知条带金字塔（CASP）
在遥感图像（RSI）中，目标规模的变化和复杂的背景对多尺度特征建模构成了重大挑战。虽然基于特征金字塔网络（FPNs）的现有检测框架可以在一定程度上缓解尺度差异，但它们的固定上采样操作缺乏内容感知，而且跨层特征融合过程无法建模空间语义依赖性。因此，在少量样本场景中，判别特征容易退化，尤其是标准特征传播常常会丢失稀疏的结构线索，并且在有限的监督下无法保持语义一致性。为了解决这些限制，我们提出了内容感知条带金字塔（CASP）模块。CASP 通过结合数据相关的特征变换和结构化的上下文建模，隐式地构建了空间语义依赖性，而不是引入一个显式的注意力层。这种特定组合的原理是为了在数据稀缺的环境中建立特征重建的双重约束。具体来说，CASP 基于 CARAFE [31] 构建，后者最初被提出作为密集预测任务的内容感知上采样操作器，通过基于局部上下文动态生成重建核来克服固定插值的局限性。这一特性使其非常适合在目标大小变化剧烈且样本稀缺的遥感场景中进行多尺度建模；此外，它还使模型能够通过自适应特征重建保留小对象或稀疏对象的“语义种子”。在我们的框架中，如图 3 所示，CASP 首先通过内容感知上采样生成多尺度特征图，其中重建核的权重是根据局部语义内容动态预测的。这个过程构成了一个数据依赖的特征变换，能够自适应地聚合相邻特征，从而实现准确的特征重建，同时有效保留目标结构和边界细节。

3.4. 可变形注意力区域提案网络（DA-RPN）
尽管 CASP 模块有效地增强了多尺度特征表示，但 RPN 生成的候选区域在复杂背景中仍然可能受到污染。标准卷积对几何变形敏感；此外，遥感图像（RSI）中多样的目标形状和杂乱的背景常常引入大量噪声，这会降低特征表示的质量，影响后续的分类和回归。为了解决这个问题，现有研究通常尝试通过增强特征表示或结合注意力机制来抑制背景干扰。例如，一些方法 [35,43] 设计了多尺度对比学习模块来提高特征的可区分性。然而，这种基于成对对比学习的策略在目标密集或被遮挡的复杂场景中往往受到限制。其他方法 [42,45] 使用基于原型的方法优化区域提案，但固定的原型对新类别对象的各种形状适应性不足。

为了应对上述限制，我们设计了可变形注意力区域提案网络（DA-RPN），如图 4 所示。DA-RPN 的设计原则在于自适应几何对齐和判别性前景突出之间的协同作用，这对于在样本有限的情况下泛化到新型类别至关重要。该模块首先使用可变形卷积的动态采样机制根据目标的几何变形自适应调整卷积采样点，从而增强具有多样或不规则形状的对象的特征提取。这种几何适应性使模型能够“对齐”新对象的潜在结构，而无需大量训练数据来学习所有可能的方向。随后，一个空间注意力子网络被应用于几何增强后的特征图，沿空间维度重新加权特征，以强调关键的前景区域并抑制背景干扰。通过结合几何适应性和空间注意力，该设计产生了更准确和具有区分性的候选区域特征，显著提高了分类和回归性能。传统的卷积使用固定的、规则的采样网格，这给调整以适应遥感传感器捕获的图像中的目标几何形状带来了复杂性。给定一个输入图像，标准卷积在位置的输出为（7），其中定义了卷积核的规则感受野。在可变形卷积中，每个采样点都被分配了一个自适应偏移量和一个调制标量，从而得到以下输出：（8）偏移量和调制标量都是通过并行卷积层从输入特征图X中得出的。这种动态采样允许卷积核根据目标关键区域中的语义信息来修改其采样位置。通过确定合适的偏移量，网络确保采样点一致地覆盖目标的主要区域，从而显著改善了几何变形物体的特征表示。

在可变形卷积提供的改进的几何感知基础上，采用了空间注意力模块来强调前景特征，同时减少背景干扰。该模块通过调整特征图的空间位置的权重来动态选择特征。给定可变形卷积的输出，按元素构建空间注意力图A，如下所示：（9）其中每个注意力权重是通过卷积获得的，然后通过Sigmoid激活函数：（10）其中表示可变形卷积产生的输出特征，表示Sigmoid函数，用于约束注意力权重。每个元素对应于特征图中该位置的注意力响应，反映了模型对该位置的关注程度。较高的值表示与检测任务的相关性更强，并在后续阶段指导模型优先考虑前景区域而不是背景区域。然后将注意力图应用于重新加权空间特征，如下所示：（11）其中⊙表示按元素相乘。注意力图A被扩展到各个通道，允许每个空间权重调节位置的所有特征通道。这个操作作为一个自适应的特征过滤过程，引导模型朝向对候选目标区域最有信息量的特征响应。为了保持梯度稳定性并保留初始特征信息，我们在特征增强模块中加入了残差连接。融合后的特征计算如下：（12）其中表示与A维度相同的全一矩阵。这种设计允许模型即使在注意力权重较低的区域内也能保留原始特征信息，这有助于在训练过程中保持特征表示的完整性。这种架构的好处体现在三个关键方面。首先，通过在注意力权重最小的区域保留原始特征，模型保持了表示的完整性和一致性。其次，在训练过程中，梯度可以直接通过残差连接反向传播，有效缓解了梯度消失问题。最后，这种机制引导模型捕捉输入特征和期望输出之间的残差，从而简化了优化过程。

4. 实验结果与分析
在本节中，我们对DAFSDet模型在两个常用的开放访问遥感图像数据集上进行了全面评估。为了全面验证模型在遥感少样本场景中的有效性，本文与典型的少样本检测器和遥感少样本检测器进行了比较实验，并进行了消融研究。最后，通过可视化分析进一步展示了所提出方法在复杂场景中对新类别的检测能力。

4.1. 数据集和评估指标
DIOR [46] 是由郑州测绘研究院和西北工业大学的研究团队提出的一个大规模光学遥感图像对象检测基准。该数据集包括23,463张图像和192,472个标注实例。训练集、验证集和测试集分别包含5862张、5863张和11,738张图像。每张图像的尺寸为800 × 800像素，分辨率在0.5到30米之间。该数据集包括20个对象类别，每个类别都有一个标准缩写：飞机（AP）、机场（AT）、棒球场（BF）、篮球场（BC）、桥梁（BR）、烟囱（CH）、水坝（DM）、高速公路服务区（ESA）、高速公路收费站（ETS）、高尔夫球场（GC）、地面跑道场（GTF）、港口（HB）、立交桥（OP）、船只（SH）、体育场（ST）、储罐（STK）、网球场（TC）、火车站（TS）、车辆（VE）和风车（WM）。详细的数据集配置设置可以在附录A中找到。

NWPU VHR-10 [47] 由西北工业大学开发，是遥感对象检测研究的基准。图像分辨率在800 × 800到2000 × 2000像素之间，这使得数据集能够支持在高分辨率图像中识别和分类多个不同的目标类别。NWPU VHR-10数据集包括十个对象类别，包括飞机、船只、汽车、桥梁、建筑物、道路、停车场、机场跑道和港口。图像尺寸大约在500到1200像素之间。数据集分为两个子集：一个包含650张图像的正面子集，每个图像至少包含一个标注的目标；另一个包含150张图像的负面子集，这些图像不包含任何指定的对象类别。详细的数据集配置设置可以在附录B中找到。

对于DIOR数据集，划分严格遵循[43]中描述的配置，使用该工作中指定的四种预定义的基础/新类别分割方案。在每种方案中，有15个基础类别和5个新类别，这些类别的具体组成在表1中展示。对于NWPU VHR-10数据集，按照[48]中的协议，三个类别——飞机（AP）、棒球场（BF）和网球场（TC）被视为新类别，而其余类别作为基础类别。我们使用训练集（520张图像）进行训练，使用测试集（163张图像）进行评估。在少样本设置中，仅使用基础类别进行训练，在测试期间评估基础类别和新类别。表1. 少样本对象检测的数据集分割。我们使用平均精度（mAP）来评估检测结果，分别报告基础类别和新类别的指标。该指标评估模型在样本充足的情况下检测基础类别的准确性，表明其保留从这些类别获得的知识的能力。该指标评估模型在标注样本有限的情况下检测新类别的有效性，是衡量少样本检测性能的重要指标。

4.2. 实验设置
DAFSDet模型基于SAE-FSDet [48]框架构建，其骨干网络ResNet-101 [49]在大型数据上进行了预训练。在对基础类别的初始训练期间，DAFSDet进行了18个时期的优化。训练开始时的学习率为0.002，然后在第12个和第16个时期后逐步降低学习率。训练采用批量大小为2的方式进行，使用随机梯度下降（SGD）优化器进行参数更新。在微调阶段，模型进行了108个时期的优化，起始学习率为0.0012，在第95个时期使用阶梯式衰减计划降低学习率。训练继续以批量大小为2进行，使用SGD优化器进行参数更新。所有实验都是使用PyTorch（版本1.7.1）在一个配备24 GB内存的NVIDIA RTX 4090 GPU上进行的（NVIDIA Corporation，美国加州圣克拉拉）。

4.3. 实验结果与比较
4.3.1. 在DIOR数据集上的实验结果
我们对DIOR数据集进行了彻底的评估，将我们的DAFSDet与一系列少样本对象检测方法进行了比较。这包括代表性的基线方法如Meta R-CNN [22]、FsDetView [33]、TFA [24]和P-CNN [43]，以及最新的先进方法如MSDF-FSOD [50]和TDCM [51]。虽然MSDF-FSOD通过多尺度特征解耦增强了对抗尺度变化的鲁棒性，但TDCM通过任务感知优化平衡了分类和定位。总体而言，这些方法代表了不同的方法论范式，为评估不同数据分割的性能提供了全面的基准。如表2所示（为了清晰起见，所有表格中最佳结果以粗体突出显示），所提出的DAFSDet在所有四个分割中都取得了具有竞争力和稳定的性能。在Split 2和Split 4中，它在大多数样本设置中始终提供了最佳结果，尤其是在中等和高样本设置中具有明显优势。例如，在Split 4中，它在10样本（28.15 vs 23.13）和20样本（30.51 vs 26.75）设置中明显优于最强的基线方法，展示了在不同类别分布下的强大鲁棒性。在Split 3中，DAFSDet在更高样本设置中取得了最佳性能，达到29.76（10样本）和31.44（20样本），优于现有方法如TDCM（25.66, 30.13），同时在低样本情况下也保持了竞争力。这表明随着注释可用性的增加，它具有很强的可扩展性。

在DIOR Split 1的20样本设置中，DAFSDet在篮球场的每个类别上实现了41.4的AP分数，在棒球场上实现了45.4的AP分数，而基线的分数分别为51.0和48.9。我们的事后分析将这种局部瓶颈归因于对特定大规模、同质类别的“背景过度抑制”效应。在遥感图像中，像棒球场这样的类别通常具有与其周围环境（如铺砌地面或广场）高度相似的内部纹理和光谱特征。虽然DAFSDet的特征增强机制积极抑制背景杂乱以突出区分性原型，但它可能会无意中过度抑制这些低对比度结构边界处的细微过渡特征。这导致了细粒度边界信息的丢失，从而导致定位偏移。相比之下，基线方法更好地利用20个样本来通过直接统计拟合来适应这些刚性几何边界。相反，对于具有明显语义对比或结构特征的类别，DAFSDet在烟囱上实现了64.8的AP分数，在船只上实现了22.7的AP分数，与基线的63.8和22.3相匹配或超过。这证实了DAFSDet的核心优势在于在高噪声条件下的强鲁棒性特征提取，尽管在样本量增加时在定位精度上进行了战略性权衡。总体而言，DAFSDet在DIOR基准的大多数少样本场景中展示了专门的优势，仍然是一个强有力的竞争者。

为了与基线进行更清晰的比较，我们展示了DAFSDet在DIOR测试集上的检测结果，突出了其改进的性能。图5提供了基线模型（顶部行）和DAFSDet（底部行）在Split 2中每类20个标注样本的情况下获得的检测结果的定性可视化。在这种设置下，两种方法之间的性能差异变得更加明显，使得所提出方法的检测优势更加清晰可见。图5a,b表明DAFSDet减少了冗余检测，并相对于基线方法提供了更紧密的定位结果。此外，图5c中的示例表明，之前被错误分类的对象可以被所提出的方法正确识别，而图5d则展示了其恢复基线检测器遗漏的目标的能力。总体而言，这些可视化结果表明，DAFSDet通过同时提高定位精度、分类可靠性和对遗漏检测的鲁棒性来提高检测准确性和完整性。

4.3.2. 在NWPU VHR-10数据集上的实验结果
我们进一步将比较分析扩展到NWPU VHR-10数据集，如表3中详细说明的。为了确保评估的时效性，我们纳入了几项最新的进展，包括SFIDM [52]、TDCM [51]、DeCL-DeT [53]和MSFFDet [54]。这些方法从不同的角度解决了FSOD问题：SFIDM和TDCM通过区分性特征整合和分离的训练策略强调类别可分性，而DeCL-DeT利用对比学习来强制特征一致性。此外，MSFFDet优先考虑多尺度融合以应对遥感图像中固有的尺度多样性挑战。这种竞争者的选择确保了我们的评估既具有时效性，又代表了当前领域的现状。表3. 在NWPU VHR-10基准上的性能比较。如表3所示，所提出的DAFSD在大多数样本设置中始终实现了卓越的性能。与以往的最先进方法相比，我们的模型在3次采样（60.05）、10次采样（72.50）和20次采样（85.56）的设置下均取得了最佳结果，证明了其在数据量极低和注释信息相对丰富的场景中的强大能力。值得注意的是，在最具挑战性的3次采样设置下，性能提升尤为显著，表明所提出的方法在利用有限监督和从稀疏样本中学习具有区分性的表示方面更为有效。此外，我们还在NWPU VHR-10数据集上可视化了DAFSDet的检测结果，如图6所示。定性结果进一步凸显了其在复杂遥感场景中的强大定位能力和鲁棒性。图6展示了在20次采样设置下NWPU VHR-10数据集的分割2中的检测结果。

4.4 消融研究
为了全面评估所提出模块的有效性和鲁棒性，我们在DIOR数据集上进行了系列消融实验，设置了多个数据分割（分割2和分割3），以评估在不同数据划分下的性能一致性。选择这两个分割是因为它们的新类别共同涵盖了本工作关注的关键挑战，即显著的尺度变化和复杂的背景干扰。特别是，这两个分割中的对象类别具有不同的空间范围，并且出现在具有结构化布局和背景模糊的遥感场景中。因此，在这两个分割上进行评估能够更全面和任务相关地评估所提出方法在处理多尺度表示和抑制背景噪声方面的能力。

4.4.1 CASP的效果
CASP模块通过结合内容感知的上采样和基于条带的上下文建模来增强多尺度特征表示。如表4所示，CASP在各种采样设置下一致地提高了检测性能。在分割2中，mAP分别在3次、5次、10次和20次采样设置下增加了2.91、2.47、5.64和4.03分。在分割3中也观察到了类似的提升，分别为2.63、2.66、1.49和2.52分。详细的每类分析（表5）显示，CASP对于大规模、结构复杂的对象特别有效。例如，在分割2的20次采样设置中，机场的AP从17.0分显著增加到34.5分。这证实了条带卷积成功地捕捉到了长距离的上下文先验，这对于识别遥感图像中的大型基础设施至关重要。这些结果表明，CASP在数据量较低的情况下有效缓解了尺度变化并增强了特征表示。

4.4.2 DA-RPN的效果
DA-RPN通过结合可变形采样和空间注意力来提高区域提案的质量。如表4所示，DA-RPN在两个分割上均一致地提高了性能。在分割2中，mAP分别在3次、5次、10次和20次采样设置下增加了0.77、1.32、3.50和2.30分。在分割3中，提升分别为1.19、0.25、0.73和2.38分。表5中的每类结果表明，DA-RPN在处理杂乱环境和几何变化方面的能力很强。具体来说，对于港口类别，DA-RPN将AP从2.6分提高到了9.4分。通过动态调整感受野并应用空间注意力，DA-RPN有效地突出了关键对象区域，同时抑制了误导性的背景纹理。我们进一步在图7中可视化了基线和DA-RPN增强模型的特征响应。如图7所示，基线在不同特征尺度上显示出碎片化的激活模式。具体来说，对象区域显得不连续，空间覆盖不完整，并且受到无关背景响应的明显干扰。相比之下，使用DA-RPN后，特征响应在各个尺度上变得更加连贯和结构一致。这种改进在大型对象上尤为明显，DA-RPN产生了更完整和空间上一致的激活模式。总体而言，这些观察结果表明CASP增强了多尺度特征的一致性，并加强了特征表示中的空间-语义对齐。

4.4.3 组合效果
结合CASP和DA-RPN在所有设置下都取得了最佳性能。与基线相比，完整模型在分割2下的mAP分别提高了2.98、4.53、7.54和4.74分，在分割3下的mAP分别提高了4.17、4.30、3.11和3.02分。结果表明，在不同数据分割下性能提升是一致的，验证了所提出模块的鲁棒性和泛化能力。如表5所详述的，这些模块之间的协同作用使得新类别的mAP提高了4.7分。虽然在某些刚性类别（如飞机）中出现了轻微的波动，但这些情况主要与几何灵活性和结构刚性之间的固有权衡有关，这在我们对失败案例的讨论（第4.5节）中进一步分析了。

我们进一步在图7中将完整DAFSDet模型的可视化结果与基线进行了比较。基线在背景区域产生了广泛的激活，表明区分能力较差。相比之下，DA-RPN在目标区域产生了更集中的响应，同时抑制了背景噪声，从而在复杂场景中生成了更准确和可靠的提案。

4.4.4 核心大小消融研究
为了研究所提出的CASP模块中核心大小K的影响，我们通过改变K的值进行了消融实验。核心大小控制了条带卷积在空间方向上的感受野，从而影响捕捉上下文信息的能力。实验结果总结在表6中。表6显示，核心大小K在不同采样设置下具有持续的影响。将K从3增加到7可以明显提高性能，表明更大的感受野有助于捕捉更丰富的上下文信息，这在样本有限的少采样场景中特别有益。值得注意的是，在所有采样配置下，K都取得了最佳性能。然而，将K进一步增加到9会导致性能持续下降，表明过大的核心可能会引入冗余的上下文并过度平滑特征，从而削弱区分能力。因此，K提供了一个在上下文建模和特征区分之间的良好平衡，并被采纳为默认设置。

4.4.5 CASP组件的消融研究
为了进一步评估所提出的CASP模块的有效性，我们通过逐步将其关键组件引入基线检测器进行了消融研究。不同采样设置下的结果报告在表7中。从结果中可以得出几个观察结果。首先，结合内容感知的上采样在所有设置下一致地提高了性能，将基线从12.85/14.04/14.53/20.78分别提高到了13.31/14.42/17.24/22.54。在10次和20次采样设置下的提升尤其显著（分别增加了2.71和1.76分），表明自适应特征重建在多尺度传播过程中有效保留了细粒度结构。其次，引入条带卷积也在低和中等采样场景中带来了稳定的提升。性能提高到了13.30/16.43/15.40/22.79，其中在5次采样设置下的提升显著为2.39分。这表明建模长距离的方向依赖性增强了上下文推理，这在训练样本有限时至关重要。最后，结合这两个组件在所有设置下都取得了最佳性能，分别提高了15.76/16.51/20.17/24.81，相对于基线分别提高了2.91、2.47、5.64和4.03分。值得注意的是，完整CASP模块的提升始终大于各个单独组件的提升，表明它们之间存在明显的互补效应：内容感知的上采样增强了局部特征的真实度，而条带卷积增强了全局上下文建模。它们的结合使得在具有挑战性的少采样场景中实现了更强大和稳定的检测性能。

表4表明，DA-RPN在稳步提高检测性能的同时，计算成本几乎可以忽略不计，显示了其效率。CASP模块由于丰富的多尺度上下文建模，导致参数和FLOPs的适度增加。当两者一起使用时，总计算成本相对于单独使用CASP基本不变，同时实现了最高的性能，表明在准确性和效率之间取得了有益的平衡。

4.4.4 核心大小消融研究
为了研究所提出的CASP模块中核心大小K的影响，我们通过改变K的值进行了消融实验。核心大小控制了条带卷积在空间方向上的感受野，从而影响捕捉上下文信息的能力。实验结果总结在表6中。表6显示，核心大小K在不同采样设置下具有持续的影响。将K从3增加到7可以明显提高性能，表明更大的感受野有助于捕捉更丰富的上下文信息，这在样本有限的少采样场景中特别有益。值得注意的是，在所有采样配置下，K都取得了最佳性能。然而，将K进一步增加到9会导致性能持续下降，表明过大的核心可能会引入冗余的上下文并过度平滑特征，从而削弱区分能力。相比之下，较小的核心大小（如3和5）由于感受野不足而无法取得有竞争力的结果。因此，K提供了一个在上下文建模和特征区分之间的良好平衡，并被采纳为默认设置。

4.4.5 CASP组件的消融研究
为了进一步评估所提出的CASP模块的有效性，我们通过逐步将其关键组件引入基线检测器进行了消融研究。不同采样设置下的结果报告在表7中。从结果中可以得出几个观察结果。首先，结合内容感知的上采样在所有设置下一致地提高了性能，将基线从12.85/14.04/14.53/20.78分别提高到了13.31/14.42/17.24/22.54。在10次和20次采样设置下的提升尤其显著（分别增加了2.71和1.76分），表明自适应特征重建在多尺度传播过程中有效保留了细粒度结构。其次，引入条带卷积也在低和中等采样场景中带来了稳定的提升。性能提高到了13.30/16.43/15.40/22.79，其中在5次采样设置下的提升显著为2.39分。这表明建模长距离的方向依赖性增强了上下文推理，这在训练样本有限时至关重要。最后，结合这两个组件在所有设置下都取得了最佳性能，分别提高了15.76/16.51/20.17/24.81，相对于基线分别提高了2.91、2.47、5.64和4.03分。值得注意的是，完整CASP模块的提升始终大于各个单独组件的提升，表明它们之间存在明显的互补效应：内容感知的上采样增强了局部特征的真实度，而条带卷积增强了全局上下文建模。它们的结合使得在少采样对象检测中产生了更具区分性和鲁棒性的特征表示。

4.5 失败案例分析
尽管DAFSDet在大多数遥感场景中表现出强大的性能，但在高度复杂的场景中仍然存在挑战。如图8所示，失败案例可以分为两个主要类别：

图8显示了DIOR测试集上的失败案例。图中展示了四个对象类别：船只（蓝色）、港口（绿色）、桥梁（橙色）和车辆（紫色）。每个边界框包括预测的类别及其置信度分数（范围从0到1）。重叠的框表示同一区域的多个预测；未检测到的对象对应于没有任何边界框的对象，而错误检测发生在预测类别与真实类别不匹配时。在密集分布的小对象场景中，性能下降。在这种场景中，目标通常较小、密集排列且空间相邻，使得实例级别的区分更加具有挑战性。从特征建模的角度来看，CASP模块通过基于条带的卷积聚合空间和上下文信息来增强表示。然而，它使用固定核心大小限制了对尺度变化的适应性，特别是在具有极小对象的高密度场景中。此外，上下文信息的聚合可能会在相邻目标之间引入响应耦合，导致特征过度平滑和区分能力降低。从区域提案的角度来看，尽管DA-RPN通过可变形卷积提高了几何适应性，但它仍然依赖于局部特征响应进行提案生成。在拥挤的区域，这可能导致候选区域模糊或重叠，使得难以准确分离紧密排列的实例。因此，在这些具有挑战性的场景中，整体检测性能下降。

在少采样遥感场景中，视觉上相似的类别经常具有高度重叠的几何结构和纹理模式，使得细粒度区分本质上具有挑战性。由于训练样本数量有限，模型难以学习足够具有区分性的特征来区分细微的类别差异。从特征表示的角度来看，尽管CASP模块增强了上下文建模，但其对空间-语义聚合的强调并不是专门为细粒度区分设计的，这可能限制了其区分视觉上相似类别的能力。从区域提案的角度来看，DA-RPN主要关注提高定位质量，对类别级别的特征可分离性贡献有限。因此，当遇到具有高度相似视觉特征的类别时，模型可能会产生模糊的预测。

这些失败案例表明，尽管CASP和DA-RPN模块在特征表示和区域定位方面带来了改进，但它们在目标分布极其密集和类别差异细微的场景中的有效性仍然有限。特别是，模型在拥挤场景中仍然难以区分实例，并且在少采样设置下难以进行细粒度的类别区分。

5. 结论
为了解决少采样遥感对象检测中的核心挑战——具体来说是多尺度变化、几何变形和复杂背景，本文介绍了DAFSDet，这是一个双注意力引导的框架。该模型结合了两个关键组件：内容感知条带金字塔（CASP）和可变形注意力区域提案网络（DA-RPN）。CASP取代了传统的特征金字塔网络，生成了鲁棒的多尺度表示。通过结合内容感知的上采样和双向条带卷积，它隐式实现了空间-语义注意力机制，保留了关键区域并捕捉了长距离的上下文依赖性。DA-RPN通过结合可变形卷积（用于适应性几何感知）和空间注意力机制来提升提案质量，从而突出前景目标并抑制背景噪声。在DIOR和NWPU VHR-10数据集上的大量实验表明，DAFSDet在大多数少样本场景中均表现出先进的性能，尤其是在数据极度稀缺的情况下。消融研究进一步证实了所提出模块的独立作用及其协同效果。未来的工作将致力于解决密集小目标场景中的局限性，以及区分视觉上相似的类别。针对CASP模块，我们将探索自适应核设计及尺度感知建模方法，以克服固定条带卷积的局限性。对于DA-RPN，我们旨在通过提高密集分布下的提案质量来增强拥挤场景中的目标分离能力。此外，还将研究更稳健的细粒度特征学习策略，以提升对视觉相似度高的类别之间的区分能力。