综述：从封闭集合到动态世界：开放世界物体检测的全面综述

《Neurocomputing》：From closed sets to dynamic worlds: A comprehensive survey of open world object detection

　　甘云农|赵小丽|林晓刚|潘浩|王康伟|尹子龙中国上海，201620，上海工程科学大学电气与电子工程学院，龙腾路333号摘要开放世界物体检测（OWOD）旨在在动态环境中检测已知物体、识别未知物体以及学习新类别。传统物体检测器在静态场景下已展现出极高的准确率和效率，但它们受限于“封闭集”假设，即所有类别都必须预先定义。因此，这类检测器往往会将未知物体误分类为已知类别，或将其视为背景忽略。为克服这些局限，OWOD作为一种新的检测范式被提出，它将未知物体发现与增量学习相结合。尽管OWOD越来越受到关注，但现有的综述大多仅涉及相关子任务，如开放集识别（OSR）、开放集物体检测（OSOD）或增量学习（IL），对OWOD的全面分析仍然不足。为填补这一空白，我们从多个角度对OWOD进行了全面综述。本文首先介绍OWOD的问题定义和理论基础，并阐明其与OSR、OSOD和IL的关系。接着，我们回顾了OWOD的架构基础，探讨了从卷积网络到注意力机制的转变。此外，我们还提出了一种新的分类法，根据方法用于未知物体发现的核心机制对现有方法进行分类。最后，我们通过严格的定量和定性基准测试，分析了纯视觉模型与基于基础模型的模型之间的差异，同时指出了关键瓶颈并提出了未来研究方向。本综述旨在为OWOD提供清晰的概览，为后续研究提供有益参考。

引言物体检测是计算机视觉中的基本任务，涉及在图像中定位和分类物体。它在许多现实应用中发挥着重要作用，如自动驾驶[1]、智能监控[2]以及显著性检测[3]。随着深度学习的兴起，诸如Faster R-CNN[4]、YOLO[5]和SSD[6]这样的卷积神经网络，以及DETR[7]等最新的Transformer架构，显著提升了物体检测的性能[8]。然而，这些传统检测器存在一个关键缺陷：它们依赖于严格的“封闭集”假设，即认为测试过程中遇到的所有物体类别都与训练时所见相同[9]。在频繁出现新物体的动态开放世界应用中，这种假设并不现实。当传统模型遇到训练数据中不存在的新物体时，通常会以两种方式失败：1）将未知物体视为背景噪声而完全忽略；2）过度自信地将未知物体归类为已知类别（例如，将新型车辆误判为“汽车”）[9]、[10]、[11]。因此，显然需要能够明确识别“未知”物体的模型来避免此类错误。为解决这些问题，开放世界物体检测（OWOD）作为传统物体检测在动态变化环境中的扩展被提出。Joseph等人[10]正式定义了OWOD，它通过允许检测器处理训练集之外的物体，放宽了封闭集假设。这一转变为基础框架的发展奠定了基础，使得检测系统既能处理未知物体，又能随着新类别的出现而进化。一般来说，OWOD包含三个核心任务：•检测已知物体：模型必须准确定位并分类其在先前训练阶段已学到的类别。•识别未知物体：模型必须能够识别不属于任何已知类别的物体，将其与背景区分开来，并在没有监督的情况下将其标记为“未知”。•增量学习新物体：一旦为这些被识别的“未知”物体提供了标注（例如由人工标注者完成），模型应通过增量学习机制将这些新类别纳入其知识库。重要的是，这一增量学习过程不能导致之前学到的类别被遗忘。如今，OWOD受到了广泛关注，在研究界迅速普及，代表了从传统检测框架的静态特性向动态特性的根本转变[11]、[12]、[13]、[14]、[15]、[16]。与封闭集模型[17]、[18]、[19]不同，OWOD的特点在于其未知物体检测能力和增量学习能力，它从根本上扩展了传统检测流程，以确保在动态、无约束环境中的适应性。为阐明其在现实开放场景中的运作逻辑，图1展示了典型的OWOD工作流程，说明了从识别潜在未知物体到将其逐步整合为新类别的全过程。OWOD的发展与基于深度学习的物体检测器的演变密切相关，如图2所示，从2021年到2025年，相关研究兴趣持续上升。我们将这些方法大致分为两大类：基于锚点的和方法以及无锚点的方法。早期的基于锚点的框架（主要是两阶段检测器）依赖固定的预定义先验，往往难以灵活应对开放世界的扩展需求。为解决这一问题，研究领域逐渐转向无锚点架构，以实现更灵活的未知物体发现。这一类别包括YOLO系列[5]、[73]、[74]、[75]等单阶段框架，但其中以基于Transformer的模型为主，这类模型通过利用全局上下文来减少类别先验，有效区分未知物体与已知物体，从而极大推动了OWOD的发展。尽管OWOD越来越受到关注并被广泛采用，但我们的研究表明，专门针对这一整体范式的系统性综述仍然极为匮乏。现有的文献综述大多集中在独立的子任务上。例如，最近的综述[76]、[77]、[78]对开放集识别（OSR）进行了出色的概述，主要侧重于图像级别的异常检测，而非实例级别的定位。同样，Hosoya等人[79]对开放集物体检测（OSOD）进行了全面综述，但其范围并未涵盖增量学习阶段，而这正是动态OWOD流程的核心。虽然增量学习本身已经得到了大量研究[80]、[81]、[82]、[83]，但这些综述很少涉及开放世界检测中所需的定位能力这一独特挑战。因此，在比较了OSR、OSOD和IL之后，我们发现，仅仅拒绝识别未知物体、在识别未知物体后不进行增量学习，或在没有精确目标定位的情况下盲目对类别进行增量学习，都无法满足OWOD的要求。这也是OWOD在诸多子任务中脱颖而出的根本原因。尽管近期有一些尝试对OWOD领域进行综述，但它们的范围或结构往往存在特定局限。例如，Li等人[9]主要从微观算法角度探讨OWOD，侧重于传统的任务特定流程以及按技术实现方式进行的分类（如伪标签）。相反，Bulzan等人[84]则采用宏观演化视角，强调向基础多模态模型（VLLMs）的历史过渡，但缺乏对OWOD内部机制的详细剖析。为弥补这些互补性的缺陷，本文同时从架构层面和认知层面对OWOD进行分析。针对Li等人[9]的微观算法局限性，我们超越了基于技术的分类方式，提出了一种基于未知物体发现认知范式的新型分类法，该分类法根据方法对未知物体的概念化和操作方式对其进行分类。这一框架涵盖了那些超出以往技术分类范畴的、基于VLM的生成式方法。针对Bulzan等人[84]的范围局限性——他们的综述将OWOD视为开放世界检测这一更大范畴下的六个松散关联的子领域之一，与其他子领域如显著性检测、前景/背景分离、零样本检测、分布外检测以及VLMs并列，而没有对OWOD进行细致的方法级分析或特定的定量基准测试——本文则专注于OWOD的内部机制，结合正式的理论基础、架构分析以及多种方法的全面基准测试。为更清晰地体现本文的创新之处并明确与现有文献的差异，表1对比了我们的综述与以往相关综述。本文的主要贡献如下：•我们明确了OWOD的范围，阐明了其确切边界以及与相关范式（如OSR、OSOD和IL）之间的本质联系。•我们提出了一种全面的分类法，系统地对现有OWOD方法进行了分类，并分析了从早期基于CNN的空间启发式方法到现代基于Transformer和基础模型的技术发展历程。•除了整理数据集和评估指标外，我们还对最先进的方法进行了广泛的定量和定性评估。此外，我们还分析了跨数据集的性能趋势，并展示了多模态先验如何解决固有的发现混淆问题。•我们剖析了关键瓶颈，包括“物体性”的模糊性、灾难性遗忘以及当前基准测试的“人为开放性”，并提出了可行的未来研究方向，如生成式推理和具身发现。本文的其余部分结构如下（见图3）：第2节阐述了OWOD问题，并明确界定了其与相关范式（如OSR、OSOD和IL）的差异。第3节分析了检测器的架构演变，从CNN到Transformer，重点介绍了为未知物体发现所做的特定改进。第4节提出了一种全面的分类法，将现有方法分为四种不同的认知范式。第5节制定了评估方案，并通过对纯视觉模型和基于基础模型的模型分别进行严格 的定量和定性基准测试，同时分析了M-OWODB与S-OWODB之间的跨数据集性能趋势。第6节深入分析了关键瓶颈（如“物体性”的模糊性、灾难性遗忘等），并提出了未来的研究方向。最后，第7节总结了本文的主要观点。

问题定义与理论基础要充分理解OWOD，我们首先需要建立一个正式的问题定义，量化开放世界环境及其学习目标。此外，还将OWOD的复杂要求分解为其基础功能也至关重要。本节给出了正式的问题陈述，并阐述了构建现代OWOD框架所依据的理论基础。

OWOD的架构基础从封闭世界到OWOD的转变，要求检测器在没有任何显式监督的情况下，从根本上改变其定义和区分潜在未知物体与背景噪声的方式。为实现这一目标，研究人员对基于CNN和基于Transformer的检测器进行了改造，重新利用了它们的核心组件：在CNN中，用于过滤未知物体的与类别无关的区域提议网络（RPN）被加以利用，而在Transformer中，则借助自注意力先验来识别新物体。

开放世界物体检测的分类法通常，一些文献会根据OWOD方法的底层架构（如CNN与Transformer）或监督设置对其进行分类。然而，我们认为，其根本区别在于用于定义、隔离和识别“未知”物体的概念机制。为了提供一个更有洞察力和结构化的视角，我们提出了一种基于未知物体发现认知范式的新型分类法。据此，我们将现有方法分为四类：

数据集与评估指标要评估开放世界环境下的性能，就需要使用严格模拟动态、无约束环境的基准测试。OWOD社区并没有仅仅在静态的封闭集数据集上进行测试，而是设计了特定的增量任务序列和评估方案。下面，我们将介绍常用的数据集和评估指标。

挑战与未来方向尽管OWOD的架构正在快速发展，但它仍然受到一些根本性理论瓶颈的制约。目前的 方法在精心设计的场景中表现优异，但在无约束环境中却存在系统性缺陷。本节总结了阻碍其在现实世界中应用的 core挑战，并提出了指导未来研究的必要范式转变。

结论本综述对OWOD进行了系统性的梳理，标志着从静态、封闭集限制向动态、终身学习的重大转变。我们提出了一种全面的分类法，将未知物体发现分为潜空间建模、以物体性为中心的发现、跨模态传输以及生成与重建建模。通过对M-OWODB和S-OWODB进行严格的定量和定性基准测试，我们明确了纯视觉模型与基于基础模型的发展路径之间的差异。

CRediT作者贡献声明甘云农：撰写——初稿、可视化、验证、方法论。赵小丽：撰写——审阅与编辑、验证、监督、形式化分析。林晓刚：验证、形式化分析。潘浩：验证、形式化分析。王康伟：可视化。尹子龙：验证。

利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。

致谢作者感谢审稿人提出的宝贵意见。此外，本研究得到了中国国家自然科学基金项目62376151的支持。甘云农目前在中国上海的上海工程科学大学攻读硕士学位，他的研究兴趣包括人工智能和计算机视觉。