RS-OVD：面向开放词汇目标检测的区域语义稳定化

《Neurocomputing》：RS-OVD: Region-Semantic Stabilization for Open-Vocabulary Object Detection

　　

摘要 开放词汇目标检测（OVD）旨在定位并识别由任意类别名称描述的对象，包括检测器训练期间未被标注的类别。尽管视觉-语言预训练取得了显著进展，现有 OVD 方法仍面临三个实际挑战：区域级语义对齐不稳定、语义相似背景导致的高置信度误检，以及增量引入新类别时性能下降。为应对这些问题，本文提出 RS-OVD，一个面向静态和动态扩展词汇的鲁棒开放词汇检测的区域-语义稳定化框架。该方法学习一个统一的区域嵌入空间，在该空间中对象查询与类别语义对齐，同时保留局部视觉判别能力。为增强正样本区域表征，RS-OVD 将类别级文本引导、裁剪对象的语义一致性以及区域级结构约束整合到训练目标中。为细化负样本决策边界，设计了基于边距的困难负样本抑制策略，用于识别空间重叠度低但语义上高度接近类别原型的背景候选框，从而减少由上下文或视觉相似区域引起的高置信度误检。此外，针对增量开放世界场景，引入记忆回放与参数稳定化机制，在适应仅有少量标注的新增类别的同时，保持旧类别知识的保留。在 COCO 和 LVIS 上的大量实验表明，RS-OVD 提升了已见类别检测、新类别泛化、罕见类别鲁棒性和持续适应能力。在 COCO 上，RS-OVD 达到 60.4 Seen AP、42.3 Novel AP、58.6 AP50 和 47.6 AP75，显示出对留出类别更强的泛化能力，同时保持精确的对象定位。在 LVIS 上，该方法获得 35.8 AP 和 26.2 APr，在常见和频繁类别上均取得一致提升，表明在大词汇量和长尾条件下具有更好的鲁棒性。这些结果表明，显式稳定区域-语义表征并抑制语义相似背景响应，是实现可靠开放词汇目标检测的一条有效路径。代码和模型可在 https://github.com/1colorworker/RS-OVD.git 获取。引言 开放词汇目标检测（OVD）旨在克服传统检测器固定标签的限制，使模型能够在推理时定位并识别由自然语言类别名称或文本描述指定的对象，包括框级训练标注中缺失的类别 [10], [39]。随着多模态基础模型和通用视觉感知的快速发展，OVD 已成为连接闭集工业检测系统与开放世界视觉理解的关键桥梁，广泛应用于自动驾驶、机器人感知、智能监控以及大模态多模态模型的视觉定位。与闭集检测不同，OVD 的核心难点不仅在于边界框回归，还在于从有限的框级监督中学习鲁棒的区域表征。这些表征必须跨类别保留可迁移的语义结构，同时保留用于局部判别的细粒度视觉线索。现有 OVD 方法主要沿两条技术路线演进。第一条遵循基于蒸馏的范式，其中预训练的视觉-语言模型提供语义坐标，学生检测器在共享语义空间中学习表达区域特征。ViLD [10] 将检测器区域与 CLIP 语义对齐，而 RegionCLIP [44] 引入了区域级视觉-语言预训练。DetCLIP、DenseCLIP、VTP-OVD、DK-DETR 和 BARON 进一步丰富了词典、提示、区域监督或上下文区域对齐 (L. [18], [24], [29], [35], [38])。GLIPv2、Scaling Open-Vocabulary Object Detection 和 FLIP 则分别通过统一定位-语言目标、更大规模的检测器预训练和掩码语言-图像建模扩展了视觉-语言预训练 ([6], [9]; Y. [18])。然而，类别级或图像级 CLIP 方向与检测器所需的局部结构线索处于不同粒度。单一教师模型难以同时保留可迁移的类别语义和细粒度区域判别，而简单地组合多个教师可能对学生嵌入引入相互竞争的梯度。第二条路线采用统一的语言感知检测，将语言理解与定位耦合，并在大规模定位数据上进行联合优化。GLIP、Grounding DINO、UniDetector、GLEE、DetGPT、VisionLLM、Cas-OVD 和 YOLO-World 改进了跨模态交互、扩展、推理、小物体检测或实时部署 [19], [22], [27], [5], [7], [8]。这些模型实现了强大的开放集性能，但更强的语言耦合本身并不能约束语义相邻的背景区域，也不能在少样本增量更新后保留旧类别的几何信息。它们更大的训练和工程需求也促使人们探索仅部署学生模型的路径；其效率必须通过参数和吞吐量的实测比较来确立，而非从架构描述中推断。这些观察揭示了共享区域-文本嵌入空间中的共性瓶颈。在正样本方面，类别、实例和区域线索之间的协调不足导致新类别嵌入不稳定。在负样本方面，接近有效文本原型的背景区域产生高置信度误检。随时间推移，少样本更新会使旧类别嵌入偏离其已建立的原型邻域。这些失效模式相互耦合，因为每个约束都会改变同一区域表征的几何和决策边界；独立优化这些约束无法保证稳定的开放词汇检测器。误检控制在实际部署中尤为重要。由于 OVD 推理依赖于区域嵌入与文本原型之间的相似度，与目标类别表面相似的背景区域可能获得高对象分数。此前的分析表明，OVD 中许多高置信度误检源自语义相邻的背景区域，而非随机噪声，且这类错误在新类别和长尾类别中比在基类别中更为频繁。在这种情况下，检测器不仅未能定位真实对象，还会将对象标签分配给本应保持为背景的区域。大多数现有方法仍将背景视为统一的负样本类，并未显式约束这些高风险区域 [30]。尽管已引入对比机制以增强判别性，但极少有方法直接针对开放词汇推理的特征性误检模式进行优化。另一个实际挑战是动态类别扩展。COVD 通过新概念注入将持续 OVD 形式化，DitHub 提供了模块化的顺序适应方法 ([3]; Y. [43])。这些研究在知识保留方面取得了重要进展，但持续适配器、回放或轻量更新模块通常是在核心开放词汇表征学习之后应用的。因此，它们并不一定规定当词汇扩展时，正样本教师约束和负样本语义边界应如何保持一致。RS-OVD 则将有标注的增量学习视为与基训练和推理阶段相同文本指定语义空间的时序扩展。整合这些需求存在四个独特的困难。类别级和区域级教师在监督粒度上不同；正样本对齐和负样本抑制在同一嵌入上产生梯度；扩展的候选词汇改变了哪些背景在语义上具有混淆性；少样本更新则造成稳定性-可塑性冲突。现有方法通常只优化这些方面之一，或在表征学习之后附加持续适应，因此无法在同一区域-文本几何中直接协调全部四个方面。为应对这些局限，我们提出 RS-OVD 作为一个统一的区域-语义稳定化框架。在正样本方面，类别级文本原型保留可迁移的语义方向，裁剪对象目标桥接类别语义与实例外观，RegionCLIP 目标保留局部结构线索；三者共同约束同一个学生区域嵌入。在负样本方面，挖掘并抑制空间上为负但语义上置信度高的候选框，以细化有效对象原型周围的边界。在增量阶段，类别平衡回放使旧类别分布保持可见，参数稳定化在纳入新类别时限制已学习表征的不必要移动。因此，RS-OVD 将 OVD 视为一个区域-语义稳定化问题，而非独立模块的松散组合。其核心公式在同一个区域-文本嵌入空间上协调互补约束：正样本锚点改善语义迁移和局部判别，负样本约束抑制语义诱导的背景错误，时序约束在词汇扩展期间保持空间的稳定。后文报告的分量隔离、留一和交互分析直接检验了这些互补效果。核心贡献是一个统一的区域-语义稳定化公式，由以下三个有据可依的方面支撑：1. 我们提出了一种区域-语义增强框架，将基于 CLIP 的全局语义锚定与基于 RegionCLIP 的局部区域监督相结合，从而提升区域表征的可迁移性和可区分性。2. 我们引入了一种专门针对 OVD 的区域级困难负样本抑制策略，显式挖掘并约束语义相邻的背景区域，以减少高置信度误检。3. 我们开发了一种集成的持续适应机制，在类别扩展过程中保持区域-文本嵌入空间的几何结构，实现新类别可塑性与旧类别稳定性之间的更好平衡。Section snippets 面向开放词汇检测的视觉-语言预训练 开放词汇目标检测旨在将目标检测从固定类别集扩展到由自然语言指定的可扩展类别词汇。其发展受到大规模视觉-语言预训练的强烈影响。CLIP 和 ALIGN 等模型 [14], [28] 表明，视觉和文本表征可以通过在大规模图像-文本对上进行对比学习，在共享嵌入空间中对齐。这个共享表征空间提供了可迁移的……问题定义与整体建模策略 令基训练数据集为：$D_b = \{(x_i, y_i, B_i)\}_{i=1}^{N_b}$，其中 $x_i$ 表示输入图像，$y_i$ 表示图像中的对象类别标签集，$B_i$ 表示对应的边界框集。基类别集记为 $C_b$。在动态开放世界设置中，新类别可能在基训练阶段之后到来。在增量阶段 $t$，新到达的类别集记为 $C_t$，对应的增量数据记为 $D_t$，历史记忆缓冲区为……数据集 我们在 COCO 和 LVIS [11], [21] 上评估 RS-OVD。COCO 包含 80 个对象类别。遵循常见的开放词汇设置，60 个类别作为基类别，20 个类别作为新类别留出。检测器在基类别标注上训练，并在已见和新类别上评估。LVIS 包含 1203 个类别，并具有长尾类别分布。我们在开放词汇设置下评估模型，并报告罕见、常见和……结论 本文提出了 RS-OVD，一个面向动态开放世界场景的开放词汇目标检测的区域-语义稳定化框架。该方法使用互补的语义和区域级监督训练一个 DETR 风格的学生检测器。文本原型和裁剪对象嵌入提供语义锚点，而区域级视觉表征提升局部判别能力。基于边距的困难负样本损失通过约束……未引用参考文献 Li et al., [20], [34], [40], [42] CRediT 作者贡献声明 牛龙辉：软件。李晨曦：形式分析。沈立人：调查。范允生：概念化。鞠东杰：写作–审阅与编辑。利益冲突声明 作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：范允生报告接受大连海事大学的资金支持。如有其他作者，他们声明没有已知的、可能影响本文所报告工作的财务利益或个人关系。鞠东杰于 2021 年获河北工程大学工学学士学位，2024 年获天津工业大学工学硕士学位。目前正在大连海事大学攻读博士学位。研究方向包括计算机视觉和模式识别。鞠东杰 | 范允生 | 沈立人 | 李晨曦 | 牛龙辉 大连海事大学 海洋电气工程学院，中国大连 116026