《Neurocomputing》：A unified framework for fine-grained open vocabulary object detection
编辑推荐：
•通过明确定义未见语义概念，完善了 FG-OVD 任务。•构建了 FGBoxCap 数据集，包含 560 K 张图像、6.6 M 条标注以及困难负样本描述。•建立了一个全面的基准，用于评估细粒度语义理解和组合泛化能力。•进行了大规模评估，揭示了现有 OVD 模型在 FG-OV
- •
通过明确定义未见语义概念，完善了 FG-OVD 任务。
- •
构建了 FGBoxCap 数据集，包含 560 K 张图像、6.6 M 条标注以及困难负样本描述。
- •
建立了一个全面的基准，用于评估细粒度语义理解和组合泛化能力。
- •
进行了大规模评估，揭示了现有 OVD 模型在 FG-OVD 设置下的局限性。
- •
提出了 FG-GDino，作为一种面向 FG-OVD 的强基线方法，并采用了噪声感知对比损失。
引言
随着目标检测技术的快速发展，人们对检测模型的期望已超越传统的闭集类别识别。现代应用越来越需要检测器不仅能够定位由自然语言表达式描述的对象，还能超越预定义的类别词汇进行泛化，以处理任意开放文本查询 [29]。
为解决这一挑战，开放词汇目标检测（OVD）[13]、[20]、[30]、[34]、[37]、[39]、[41] 已成为一个重要的研究方向。通过利用从大规模图文数据或大型视觉语言模型中学到的可迁移视觉语言表示，OVD 使检测器能够识别固定训练类别之外的对象。现有的 OVD 方法在类别级泛化方面已取得令人鼓舞的性能，其中模型主要区分"汽车"或"狗"等粗粒度语义类别。
然而，现实场景往往需要理解更为细微的语义差异。例如，模型可能需要区分由"一只带红斑的白色长毛猫"或"玻璃桌旁的木椅"等细粒度表达式描述的对象。现有的 OVD 模型在此类细粒度设置下仍存在显著的性能下降 [1]，因为当前数据集主要强调类别级监督，缺乏足够具有挑战性的细粒度困难负样本。因此，模型往往可以依赖粗粒度类别级别的捷径 [36]，而未能充分学习详细的语义区别。
受这些局限性的启发，细粒度开放词汇目标检测（FG-OVD）最近被提出，用于研究细粒度自由形式描述下的目标检测。现有的 FG-OVD 研究主要集中在区分颜色和材质等细微语义属性。然而，当前的 FG-OVD 研究仍存在两大主要局限。首先，现有研究缺乏清晰且标准化的任务定义，尤其是关于未见语义概念的定义和开放世界泛化设置。因此，不同的工作采用了不一致的训练和评估协议，阻碍了公平比较。其次，现有的基准提供的语义覆盖范围有限，主要关注一小部分属性表达式，导致评估维度不足以全面评估细粒度语义理解。
为了解决上述局限性，我们提出了一个统一的 FG-OVD 框架，包括新的任务定义、大规模基准数据集和强基线方法。
统一的 FG-OVD 任务定义。我们重新审视了 FG-OVD 任务，并提供了一种标准化的定义，明确定义了未见语义概念和开放世界泛化设置，便于不同研究之间更加一致和可比的评估。
FGBoxCap 数据集与基准。基于所提出的定义，我们构建了 FGBoxCap，这是一个大规模细粒度区域-文本数据集，包含 560 K 张图像和 6.6 M 条区域级标注。FGBoxCap 提供了密集的区域级描述、困难负样本标注以及针对未见语义概念的明确训练-测试划分。此外，我们导出了一个涵盖多种细粒度语义维度的多维基准，便于在开放词汇设置下全面评估语义理解和泛化能力。
FG-GDino 基线。为了验证所提出的任务定义和基准，我们引入了 FG-GDino，一种专为 FG-OVD 设计的基线方法。通过采用噪声感知对比损失，FG-GDino 能够从大规模含噪区域-文本对中学到鲁棒的细粒度表示，并作为未来研究的强基准。
在 FGBoxCap 和多个相关基准上进行的广泛实验表明，所提出
