通过基于原型的对比学习方法，对遥感图像进行少量样本下的类增量目标检测

《Displays》：Few-shot class-incremental object detection of remote sensing images via prototype-aware contrastive learning

本文提出基于迁移学习的少样本增量目标检测方法，设计校准原型内存库（CPMB）和原型感知对比编码分支（PACE），通过持续更新原型库和动态加权负样本，解决遥感图像类别增量检测中的样本稀缺和语义相似性问题，实验验证了有效性。

　　

王毅|刘黎明|冯国瑞

上海大学通信与信息工程学院，上海上大路99号，200444，中国

摘要

近年来，在遥感图像（RSIs）的少样本对象检测（FSOD）领域取得了显著进展。与FSOD不同，少样本类增量对象检测（FSCIOD）旨在仅使用少量新类别样本即可检测出新类别对象，同时保留对旧类别的知识。随着遥感识别的类别数量增加，FSCIOD方法有助于新识别类别的灵活扩展。遥感图像固有的大类别内方差和小类别间方差特性使得在无法重新访问旧样本且新样本数据量不足时误分类问题更加严重。基于此，本文提出了一种基于迁移学习的改进型FSCIOD架构。我们提出了一个校准的原型记忆库（CPMB），在基础训练阶段和增量学习阶段保留类别原型，并使用原型校准策略来避免在样本较少时的新类别原型严重偏差。此外，还设计了一个基于原型感知的对比编码（PACE）分支，根据原型之间的相似性重新加权负样本，更加关注语义相似度高的类别之间的区分。在DIOR和RSOD数据集上的实验表明，我们的方法在RSIs的FSCIOD方面取得了令人信服的结果。

引言

对象检测是遥感图像（RSIs）领域的核心任务之一，基于深度学习的方法已经取得了显著进展[1]，[2]。然而，传统的深度学习对象检测方法主要是数据驱动的。这类数据驱动模型的性能在很大程度上取决于输入数据的充足数量和可靠性[3]，[4]，因为训练样本不足或视觉内容质量低可能会影响学习到的表示并降低智能系统的性能[5]，[6]。由于数据采集和标注的成本高昂，以及某些类别样本的自然稀缺性，在许多实际场景中获取足够的高质量训练样本仍然具有挑战性[7]，[8]。因此，近年来少样本对象检测（FSOD）在遥感领域受到了越来越多的关注，并取得了显著的性能[9]，[10]。FSOD已被证明可以有效缓解数据稀缺问题[11]，但学习新类别知识通常需要重新访问基础类别样本，并且经常需要构建包含新类别和基础类别数据的平衡数据集以实现无偏训练。依赖旧样本会导致数据存储成本增加以及数据隐私泄露的安全风险。此外，每次学习新类别时重新访问旧样本还会增加计算能力和计算时间成本。因此，研究少样本类增量对象检测（FSCIOD）是非常必要的。

FSCIOD的目的是通过学习有限数量的新类别样本来实现新类别的检测，同时在不重新访问基础类别数据的情况下保持对基础类别的检测[12]。在FSOD领域，TFA[13]率先提出了基于迁移学习的方法。它提出了一个简单的两阶段微调框架：首先在丰富的基础类别数据上预训练模型，然后冻结主干网络，仅使用有限的新类别数据微调分类器和回归器头部。这种方法比之前的元学习方法取得了显著更好的结果。在FSCIOD领域，iTFA[14]继承了TFA的两阶段训练策略，分离了基础类别和新类别的检测头部分支，仅微调新类别分支以避免基础类别的灾难性遗忘。InfRS[15]是遥感领域中首次探索FSCIOD的方法。该方法也基于迁移学习，并在微调阶段设计了一个混合原型对比编码模块，利用基础类别原型增强特征区分能力。基于蒸馏的学习[16]，[17]已在视觉理解任务中得到广泛探索，以传递信息监督并提高模型泛化能力。为了保留基础类别知识，InfRS采用了基于Wasserstein距离[18]的原型蒸馏策略，使微调阶段的基础类别输出接近其原始分布。InfRS证实了两阶段微调策略和原型学习在RSIs FSCIOD上的有效性。

与大多数基于原型网络的类增量方法类似，仅针对实例丰富的基础类别提取原型会限制增量学习的可扩展性。这本质上意味着这种“增量”学习仅支持在基础类别训练后一次性添加新类别，而不是实现对新出现类别的真正持续扩展。然而，使用有限数据直接为新类别提取原型不可避免地会引入过度偏差[19]。根据Wang等人的研究[20]，在基础类别上训练的特征提取器也能够捕捉基础类别和新类别之间的语义关系。因此，我们提出了一种可持续更新的原型记忆库，以保留基础类别和增量类别的类别原型。此外，还引入了一种原型校准策略，利用基础类别原型之间的语义相似性来校准新类别的偏差原型，形成了我们的校准原型记忆库（CPMB）。

Sun等人[21]指出，在基于微调的FSOD中，分类比定位更容易出错，将检测到的新实例错误分类到混淆的基础类别是错误的主要来源。作为首个将对比学习引入FSOD的方法，FSCE[21]在微调阶段提出了一个对比提案编码头，以在保持类别内一致性的同时最大化类别间分离。对于FSCIOD，由于微调阶段不包含基础类别样本，仅基于新类别提出的区域的判别性表示的对比学习无法有效解决新类别和基础类别之间的误分类问题，网络预测的提案缺乏增量添加类别的总体语义，这可能导致学习偏差。为了解决上述问题，我们基于类别原型监督设计了一个原型感知的对比编码（PACE）分支，使用CPMB中保存的基础类别和新类别原型作为确定正负对的显式锚点。这不仅为新类别提案提供了总体语义监督，还进一步增加了嵌入空间中新类别提案和基础类别原型之间的距离。另一方面，遥感图像的小类别间方差进一步加剧了误分类问题[22]。图1显示了DIOR[23]数据集split2的基础类别原型的相似性矩阵。可以看出，与普通图像相比，遥感图像的类别间差异较小，桥梁和立交桥类别原型的余弦相似度甚至高达0.91。为了更好地缓解误分类问题，与传统的基于对比学习的方法不同，我们在PACE中为不同区分度的类别分配了不同的关注度。由于记忆库同时包含基础类别和新类别的原型，我们可以使用原型来计算类别之间的相似性矩阵。通过量化类别之间的语义相似性并动态调整对比损失计算中的负样本权重，模型可以更加关注区分语义相似的类别，减少对明显不相关类别的过度惩罚。

本文的主要贡献可以总结如下：

(1) 在FSCIOD的可扩展性方面，我们设计了一个可持续更新的原型记忆库CPMB来提取和保存基础类别和新类别的原型，并使用原型校准策略来减少样本较少时新类别原型的偏差。

(2) 为了减少误分类，我们设计了一个由所有类别原型监督的PACE分支，以缩小类别内距离并放大类别间距离。基于原型相似性的负样本加权机制可以使模型更加关注语义相似度高的类别。

基于DIOR和RSOD的大量实验表明，我们的方法更加有效和优越。

部分摘录

少样本对象检测

当前的FSOD方法分为两种范式：基于元学习的[24]，[25]，[26]，[27]，[28]，它从多个任务中获取元知识并通过任务特定适应来识别新类别；以及基于迁移学习的[13]，[21]，[29]，[30]，它将从已知类别学到的知识适应于检测未见过的类别。

FSRW[24]是一个基于元学习的FSOD基线方法。它利用元特征学习器获得可转移的表示，并使用特征

任务定义

FSCIOD的目标是通过学习有限数量的新类别标记样本来实现对新旧类别的检测，而无需重新访问旧类别的数据，从而进行检测类别的增量更新。具体来说，用于基础类别训练和类增量训练的数据集$C_{\mathrm{base}}$和$C_{\mathrm{novel}}$的类别不重叠，$C_{\mathrm{base}}$$C_{\mathrm{novel}}$具有丰富的标记样本，$C_{\mathrm{base}}$$C_{\mathrm{novel}}$只有少量样本，通常每个新类别

实验

为了全面验证所提出方法的有效性，我们在两个不同规模的遥感图像数据集上进行了实验。我们将我们的方法与几种代表性方法进行了比较，并对实验结果进行了全面分析。

结论

在这项研究中，我们提出了一个针对遥感图像的类增量少样本对象检测模型，基于微调。我们引入了两个模块：CPMB和PACE。CPMB在微调阶段基于提取的基础类别原型提取新类别原型，并通过原型相似性校准偏差原型以实现类别知识的增量学习。PACE的对比学习分支利用所有类别原型进行

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了东方人才计划重点项目（Grant编号：BJKJ2024011）的支持。