用于零样本对象检测的对齐伪特征生成

《IEEE Transactions on Cognitive and Developmental Systems》：Aligned Pseudo Feature Generation for Zero-Shot Object Detection

零样本目标检测通过结合语义嵌入与扩散模型提取的伪视觉特征提升生成效果，并利用seen类别的真实视觉特征训练unseen分类器减少误判，实验表明其性能优于现有方法。

　　

摘要：

零样本对象检测（Zero-Shot Object Detection，简称ZSD）的目标是定位和分类训练集中未出现过的对象。受到生成模型成功的启发，人们探索了许多基于特征生成的方法来解决ZSD问题，并取得了一些有希望的结果。然而，由于缺乏未见类别的视觉样本，合成的特征质量往往不尽如人意，这限制了生成器的效果。这一局限性凸显了当前ZSD方法中的一个关键挑战：在没有真实数据支持的情况下生成具有区分性和真实感的视觉特征。为了解决这个问题，我们的方法基于这样一个认识：仅依靠语义嵌入不足以生成高质量的特征。因此，我们将语义嵌入与从扩散模型中提取的伪视觉特征相结合，后者提供了更具视觉可信度的指导，显著提高了未见类别合成特征的质量。此外，与以往的工作不同，我们还使用已见类别的真实视觉特征来训练未见类别的分类器（该类别被视为背景类别）。这样的训练有素的未见类别分类器将对象误分类为未见类别的概率更低。在使用预训练的已见类别分类器的情况下，该方法在现实世界应用（即泛化的ZSD场景）中表现更好。在MS COCO和PASCAL VOC数据集上的广泛实验表明，我们的方法达到了业界领先的水平。我们的代码可在以下链接获取：https://github.com/Dai1029/APG-ZSD。