基于定向特征聚合和Sinkhorn距离融合的少样本目标检测方法

《Image and Vision Computing》：Oriented feature aggregation and sinkhorn distance fusion for few-shot object detection

本文提出OFA模块和SDF模块优化元学习为基础的少数样本目标检测，通过改进自注意力机制增强查询图像特征，利用支持图像生成差异化权重提取原型，并基于最优传输问题建模特征融合，有效解决冗余特征和泛化能力不足问题，在PASCAL VOC和MS COCO上显著优于SOTA方法。

　　在当前的计算机视觉领域，目标检测是一项基础而重要的任务，旨在从图像或视频中识别并定位特定对象。随着深度学习技术的不断进步，目标检测的精度和效率得到了显著提升。然而，传统的检测方法通常依赖于大规模的标注数据集进行训练，这在实际应用中存在一定的局限性。一方面，获取大量标注数据需要耗费大量的人力和时间成本；另一方面，这些数据可能无法覆盖所有可能的场景和对象类别。因此，研究者们开始探索一种更为灵活和高效的目标检测方法——Few-shot Object Detection（FSOD），即在仅有少量标注样本的情况下，训练模型以识别新的类别。

FSOD的核心思想是模拟人类的认知过程，即通过观察少量实例即可识别新对象。然而，这一目标在机器学习中面临诸多挑战，因为模型通常需要大量的训练数据才能达到类似的性能。为了解决这一问题，研究者们提出了多种方法，包括基于迁移学习的方案和基于元学习的策略。其中，基于元学习的方法通过从支持样本中提取类级原型，并将其与查询特征进行融合，以获得最终的聚合特征。这种方法在一定程度上提升了模型的泛化能力，但其局限性也逐渐显现。

现有的元学习方法在生成类级原型时，通常采用对同一类别的多个标注样本进行平均操作，以获取该类别的代表性特征。然而，这种平均策略忽略了样本之间的差异性，使得生成的原型可能包含冗余信息，缺乏对查询图像的上下文感知。这不仅导致了模型在面对不同查询图像时的性能不稳定，还可能影响模型对新类别的识别能力。因此，如何在有限的样本数量下，生成更加准确和具有查询图像感知的类级原型，成为FSOD研究中的关键问题。

为了解决上述问题，本文提出了一种名为Oriented Feature Aggregation（OFA）的模块，用于处理中层特征。该模块通过改进的自注意力机制，增强查询图像中的关键特征，使得模型能够更好地捕捉与查询信息相关的支持特征。随后，通过计算查询图像和支持图像之间的特征分布，为支持特征分配不同的权重，从而引导模型关注更具代表性的区域。这一过程不仅提升了类级原型的准确性，还增强了模型对新类别的识别能力。

此外，本文还提出了一种名为Sinkhorn Distance Fusion（SDF）的模块，用于处理高层特征。该模块将RoI特征和类级原型的融合建模为最优传输问题，通过引入Sinkhorn距离来衡量不同特征分布之间的差异性。这种方法能够更有效地捕捉不同类别之间的全局结构信息，而不仅仅是局部相似性。同时，Sinkhorn距离还提供了更稳定的特征匹配结果，使得模型在面对复杂的数据分布时，能够保持较高的泛化能力。

在特征融合过程中，许多现有的元学习方法采用简单的逐元素乘法操作，虽然这种方法在学习同一类别内的相似性方面较为有效，但在区分不同类别时则显得不足。此外，这些方法通常采用固定的融合机制，缺乏对任务需求的适应性。为了解决这些问题，本文提出了基于Sinkhorn距离的特征融合策略，结合Sinkhorn–Knopp算法，以确保运输矩阵的迭代更新。这种方法不仅提升了特征分布的均匀性，还增强了模型在不同类别之间的区分能力。

为了进一步提升模型的性能，本文还设计了一个多任务联合损失函数，专门用于SDF模块。该损失函数能够协同优化局部与全局特征对齐以及原型的可区分性，从而有效缓解在少样本场景下原型混淆的问题。通过这一方法，模型在面对新的类别时，能够更好地保持特征的一致性，提高分类的准确性。

本文的贡献主要体现在三个方面：首先，提出了一种针对中层特征的OFA模块，通过改进的自注意力机制增强查询图像的关键信息；其次，设计了一种基于Sinkhorn距离的SDF模块，用于处理高层特征的融合问题；最后，提出了一个适用于SDF模块的多任务联合损失函数，以优化局部与全局特征对齐和原型的可区分性。实验结果表明，本文提出的方法在PASCAL VOC和MS COCO两个广泛使用的FSOD基准数据集上，均取得了优于当前主流方法的性能。

在实验设置方面，本文遵循了[4]中采用的相同类别划分和少样本示例配置。对于PASCAL VOC数据集，该数据集包含20个类别，其中15个类别被用作基础类别，5个类别作为新类别。为了进行全面评估，本文采用了三种不同的类别划分方式。模型在VOC 2007和VOC 2012的训练集上进行训练，并在VOC 2007的测试集上进行评估。在微调阶段，每个类别都会提供相应的支持样本，以确保模型在面对新类别时能够进行有效的学习。

在实验结果方面，本文提出的方法在两个广泛使用的FSOD基准数据集上均取得了显著的提升。PASCAL VOC和MS COCO数据集是目标检测领域中常用的基准，它们分别包含了丰富的标注数据和多样化的场景。通过在这些数据集上的实验，本文验证了所提出方法的有效性。实验结果显示，OFA模块和SDF模块的结合，不仅提升了模型在少样本情况下的性能，还增强了模型对新类别的识别能力。特别是在处理复杂背景和遮挡情况时，所提出的方法能够更准确地捕捉对象的特征，提高分类的准确性。

此外，本文还探讨了FSOD在实际应用中的潜力。由于FSOD能够在少量标注样本的情况下，快速适应新类别，因此在许多实际场景中具有广泛的应用前景。例如，在一些资源有限的场景中，获取大量标注数据是不现实的，而FSOD能够通过少量示例实现有效的检测。这使得FSOD在工业检测、医学影像分析、自动驾驶等多个领域中具有重要的研究价值。

本文的研究还揭示了FSOD在模型设计和训练过程中的关键问题。首先，如何在有限的样本数量下，生成更加准确和具有查询图像感知的类级原型，是FSOD研究的核心挑战之一。现有的方法在生成原型时，通常忽略了查询图像的上下文信息，导致模型在面对不同查询图像时的性能不稳定。其次，如何在特征融合过程中，避免低质量样本对最终特征表示的干扰，也是FSOD研究中的一个重要问题。许多现有方法采用简单的平均操作，使得某些低质量样本可能主导最终的特征表示，尤其是在样本数量较少的情况下。

为了解决这些问题，本文提出了一种基于中间特征的OFA模块，该模块通过改进的自注意力机制，增强了查询图像中的关键信息。随后，通过计算查询图像和支持图像之间的特征分布，为支持特征分配不同的权重，从而引导模型关注更具代表性的区域。这一过程不仅提升了类级原型的准确性，还增强了模型对新类别的识别能力。此外，本文还提出了一种基于Sinkhorn距离的SDF模块，用于处理高层特征的融合问题。该模块将RoI特征和类级原型的融合建模为最优传输问题，通过引入Sinkhorn距离来衡量不同特征分布之间的差异性，从而更有效地捕捉不同类别之间的全局结构信息。

在实验过程中，本文采用了一系列评估指标，包括平均精度（mAP）和平均召回率（mR），以全面衡量模型的性能。实验结果表明，本文提出的方法在这些指标上均优于当前主流方法。特别是在处理复杂背景和遮挡情况时，所提出的方法能够更准确地捕捉对象的特征，提高分类的准确性。此外，本文还通过消融实验，验证了OFA模块和SDF模块在模型性能中的重要性。消融实验结果显示，单独使用OFA模块或SDF模块，虽然在一定程度上提升了模型的性能，但两者的结合能够实现更显著的提升。

本文的研究还揭示了FSOD在实际应用中的挑战和机遇。虽然FSOD能够在少样本情况下实现有效的检测，但其在实际应用中仍然面临诸多问题，例如样本的多样性不足、特征的可区分性较低等。为了解决这些问题，本文提出了一种多任务联合损失函数，专门用于SDF模块。该损失函数能够协同优化局部与全局特征对齐以及原型的可区分性，从而有效缓解在少样本场景下原型混淆的问题。通过这一方法，模型在面对新的类别时，能够更好地保持特征的一致性，提高分类的准确性。

总的来说，本文提出了一种基于中间特征和高层特征的OFA与SDF模块，通过改进的自注意力机制和Sinkhorn距离，提升了模型在少样本情况下的性能。实验结果表明，该方法在PASCAL VOC和MS COCO两个数据集上均取得了显著的提升，为FSOD领域的发展提供了新的思路和方法。未来，随着深度学习技术的不断进步，FSOD的研究将进一步拓展，为更多实际应用场景提供支持。