释放开放词汇检测器在视觉提示目标检测中的潜力

《Pattern Recognition》：Unlocking the potential of open-vocabulary detectors for visual-prompted object detection

　　

• •
  提出了一种统一的与检测器无关的视觉提示检测范式，旨在使开放词汇检测器能够支持视觉提示。
• •
  引入了一种轻量级视觉提示编码器，用于提取提示嵌入以引导开放词汇检测器。
• •
  提出了一种高效的数据构建策略，以减少对大规模实例级标注的依赖。
• •
  轻量级视觉提示编码器与数据高效训练策略的结合，使检测器能够适应多样化的视觉提示格式。
• •
  在多个基准测试中，视觉提示检测的性能达到了与文本提示对应方法相当的水平。

引言

目标检测是一项基础的实例级感知任务，旨在使用边界框和类别标签来定位和分类对象。它是许多应用的核心组件，包括无人机 [1], [2]、自动驾驶 [3], [4] 和机器人 [5]。尽管现代检测器 [6], [7], [8], [9] 取得了显著进展，但大多数现有方法仅限于固定的一组预定义类别。这种闭集假设限制了可扩展性，无法泛化到具有多样化对象类别的真实世界场景。

因此，最近的工作 [10], [11], [12], [13] 探索了开放词汇目标检测，旨在识别任意类别。如图 1(a) 所示，这些方法通常引入文本编码器，并将检测公式化为视觉对象与文本提示之间的区域级匹配。利用大规模预训练，它们在多样化领域展示了强大的零样本泛化能力。然而，当目标类别难以用文本描述或对应于在预训练数据中表征不足的长尾类别时，其性能会下降。为了解决这一局限性，几项最近的工作 [14], [15], [16], [17] 探索了使用视觉提示来引导检测，如图 1(b) 所示，因为视觉线索可以提供比文本描述更细粒度和特定实例的语义信息。这一观察结果与最近的多模态图像融合研究 [18], [19], [20] 一致，后者表明来自不同来源的信息可以提供互补的线索。

尽管取得了这些令人鼓舞的进展，视觉提示检测中的三个主要挑战仍未得到充分探索：（1）复杂训练。 大多数现有方法 [15], [16], [17], [21] 通过从头训练新模型来构建多模态提示检测器。由于这种范式忽略了现有先进开放词汇检测器的努力，它不可避免地会产生巨大的训练成本。（2）大规模标注。 最近的工作 [14], [15], [16], [17] 主要依赖于带有边界框标注的公开数据集，如 Objects365 [22] 和 GoldG [23]，来训练视觉提示检测器。然而，收集如此广泛的标注是劳动密集型的，并且难以扩展到更大的词汇表。（3）多样的提示格式。 在实践中，视觉提示有各种形式，如边界框、点、掩码、涂鸦、笔画和多边形。因此，理想的检测器应该能够通过更高效的策略持续适应各种视觉提示格式。

为解决上述挑战，我们提出了一种统一的视觉提示检测范式，称为 VipDet，如图 1(c) 所示。我们方法的目标不是从头构建一个新的多模态提示检测器，而是快速将现成的开放词汇检测器迁移以支持不同的视觉提示，而无需复杂设计或额外标注。具体而言，我们惊讶地发现，一种简单的基于池化的设计，无需花哨技巧，就足以让开放词汇检测器有效理解给定的视觉提示。此外，VipDet 充分利用无监督和图像监督数据来构建具有多样化语义概念的训练集。这有助于检测器获得与其文本提示性能相当的视觉提示检测能力。最后，得益于视觉提示编码器的轻量级设计 ($～$7M) 和数据高效的训练策略，我们的方法为持续扩展检测器以支持各种视觉提示格式提供了有效的解决方案。得益于上述设计，我们的方法是与检测器无关的，并与各种类型的开放词汇检测器兼容，包括基于 YOLO 的实时模型 [6] 和端到端基于 DETR 的模型 [7]。我们的主要贡献总结如下：

• •
  我们首次提出了一种统一的与检测器无关的视觉提示检测范式，适用于现有开放词汇检测器，包括基于 YOLO 和 DETR 的架构。
• •
  我们引入了一种轻量级视觉提示编码器架构和一种高效训练数据构建策略。这些设计有助于释放开放词汇检测器在视觉提示检测方面的潜力。
• •
  广泛的实验表明，我们的方法使现有开放词汇检测器能够在多个基准测试中达到与其文本提示对应方法相当的视觉提示检测性能。

章节摘录

相关工作

开放词汇检测与分割。 开放词汇实例感知扩展了传统的闭集范式，使模型能够识别由自然语言描述指定的任意类别。这些方法通常利用语言监督来对齐视觉和文本表示，使检测器能够泛化超出预定义类别词汇。一条研究路线 [24], [25], [26] 将知识从大规模视觉语言基础

预备知识

开放词汇检测器。 在语言模态的监督下，开放词汇检测器 [10], [11], [12], [13] 可以将文本描述作为提示来灵活检测闭词汇之外的对象。典型的开放词汇检测器包含四个主要组件：用于提取图像特征的视觉骨干网络 $E_v$，用于生成文本提示嵌入的文本编码器 $E_t$，用于跨模态特征交互的视觉 - 语言融合颈部 $F$ 以及用于对象的检测头 $H$

实验设置

训练数据。 使用 ImageNet-21K [45] 和 CC3M [38] 数据集作为数据源来构建具有丰富和多样化语义概念的训练集。ImageNet-21K 数据集包含超过 10M 张图像，涵盖近 21K 个类别。遵循 Detic [46]，我们使用其称为 IN-L 的子集，该子集由与 LVIS [47] 数据集重叠的 997 个类别组成，以促进高效训练。CC3M 是一个从网络收集的图像字幕数据集，但在我们的工作中，它被视为无标签数据。

结论

在本文中，我们提出了一种简单高效的视觉提示检测范式，使现有开放词汇检测器具备支持各种格式视觉提示的能力。我们充分利用公开可用的数据，虽然没有边界框标注但具有多样化的语义概念，以可扩展的方式构建训练数据。通过引入轻量级基于池化的视觉提示编码器，我们的方法使检测器能够达到视觉提示检测能力，与

CRediT 作者贡献声明

Yukun Li：写作 – 审查与编辑，写作 – 初稿，方法论，调查，形式分析，数据整理。 Yanzhe Deng：可视化。 Wei Suo：监督。 Ji Wang：监督。 Peng Wang：监督。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系，这些可能看起来影响了本论文中报告的工作。

致谢

我们感谢参与者的合作与参与，因为他们宝贵的贡献对于本研究的成功至关重要。

Yukun Li|Yanzhe Deng|Wei Suo|Ji Wang|Peng Wang