深度学习时代的通用视觉分割综述

《Neurocomputing》：A survey of universal visual segmentation in the deep learning era

　　

• 全面回顾了通用分割领域的研究进展。
• 讨论了各种通用方法之间的差异、优势与局限性。
• 探讨了通用分割模型在两项视觉任务中的应用。
• 总结了通用分割面临的挑战，并概述了未来的研究方向。

引言

视觉分割（VS）是计算机视觉中的一项关键任务，旨在将图像或视频中的像素级区域分解为多个有意义的部分或区域，从而实现视觉内容的细粒度理解与分析。根据实现技术的不同，现有的视觉分割方法可以明确地划分为两种范式：传统视觉分割方法和基于深度学习的分割方法。传统方法主要依赖手工设计的特征和先验知识来将具有相似属性的区域聚集在一起。然而，这些基于特征工程的方法往往对特征选择和参数设置非常敏感，难以在实际场景中保持鲁棒性。此外，它们在表示高层语义信息方面的能力有限，导致在细粒度类别区分和跨场景泛化方面存在明显的瓶颈。

得益于深度学习（DL）的优势，包括特征学习、端到端训练和层次化表示，基于深度学习的视觉分割方法能够从数据中自动学习从低层纹理到高层语义的多尺度特征。与依赖手工设计特征的方法相比，深度特征通常具有更强的表示能力、更好的鲁棒性和更高的泛化性。因此，基于深度学习的视觉分割方法在分割精度、边界质量和复杂场景理解方面显著优于传统方法。此外，基于深度学习的视觉分割已成为视觉分割领域的主流方法，取得了显著的进展。例如，Ronneberger等人提出了U-Net，其独特的对称编码器-解码器架构结合跳跃连接显著提高了医学图像分割的精度。SegFormer引入了轻量的多尺度特征融合机制，利用Transformer的优势在语义分割任务中实现了高性能和高效率。

近年来，在计算能力提升和现实中对多任务/多粒度分割需求增长的双重驱动下，视觉分割正朝着更具适应性的通用分割模型发展。这些模型支持多粒度输出，并能够在通用框架下容纳多样化的分割需求。表1对比了专用分割模型与通用分割模型。随着大模型和视觉基础模型的兴起，通用分割模型被赋予了新的使命：它们不仅需要在一个模型中执行语义分割、实例分割和全景分割等经典任务，还需要具备跨模态理解能力，能够根据文本、点、框等提示动态调整输出。例如，Mask2Former通过引入掩码注意力和利用多尺度特征的高效策略，在单一模型架构中统一了语义、实例和全景分割。OMG-Seg利用提示机制，通过设计共享解码器实现了多种视觉分割任务的高效统一。X-SAM通过统一的多模态大语言模型框架将SAM扩展到任意分割，并通过新颖的视觉定位设计在多种任务上达到了最优性能。

现有的视觉分割综述文献存在两个明显的空白。第一，大多数综述局限于单一任务的边界，例如针对语义分割和实例分割的专门综述。虽然它们提供了深入的技术分析，但未能捕捉到多任务统一这一新兴趋势。第二，虽然一些近期的综述涵盖了基于Transformer的方法，但它们的分类体系仍以架构为中心。围绕特定网络模块组织的这些综述产生了碎片化的视角，无法系统地应对通用分割的整体范式。因此，在现有文献中仍然缺乏一种整体的、与任务无关的视角来综合总结在统一框架下跨越多种分割任务的最新进展。

为了填补这一关键空白，本文对通用视觉分割的最新进展进行了全面综述。为了建立统一的概念基础，我们澄清了本综述中使用的所有术语。通用分割指的是构建一个能够处理多种分割任务的单一模型的范式。统一分割保留用于指代在单一架构中处理固定的、封闭的分割任务集合（通常为语义、实例和全景分割）的模型，因此可以被视为通用分割的一种早期、封闭集形式。开放词汇分割是指类别空间上的泛化能力而非任务本身：模型能够分割训练期间未见的类别。可提示分割描述的是交互模态：目标通过点、框、掩码、文本或示例来指定。基于基础模型的分割描述的是建立在预训练基础模型（如CLIP、SAM、DINO）之上的实现范式，而"通用"则作为宽泛的上下文描述词而非特定的技术类别。这些概念在不同的维度上运作——任务范围、泛化能力、交互模式和实现范式——它们可以正交组合而非构成单一层级。

基于这一概念基础，我们使用两级分类体系来综述通用分割方法。在第一级，根据是否接受外部提示，方法被分为无提示和基于提示的方法。在第二级，每个类别采用反映其内在性质的不同细分标准：无提示方法根据其内部技术机制进行区分，而基于提示的方法则根据它们消耗的输入提示模态进行分类。这种重构解决了在同一分类体系中混合功能范式和实现机制所导致的逻辑不一致性，并为解释通用分割模型的设计空间提供了更清晰的视角。图1展示了涵盖通用视觉分割任务及其对应技术范式的整体分类体系。本文的主要贡献总结如下：

1. 本综述系统回顾了2021年以来通用分割框架内的代表性方法，并引入两级分类体系以解决在同一分类体系中混合功能范式和实现机制所导致的逻辑不一致性。具体而言，第一级根据是否接受外部提示来区分无提示方法和基于提示的方法；第二级应用分支特定的细分标准：无提示方法按内部技术机制划分，基于提示的方法按输入提示模态划分。

2. 我们分析了图像、视频和医学图像领域中通用分割的最先进进展，并深入研究了视频分割和医学图像分割作为两个代表性下游扩展，用于评估模型的泛化性和鲁棒性。前者带来独特的时序挑战，而后者则呈现独特的跨领域困难。

3. 我们总结了该研究领域面临的开放挑战，并概述了有前景的未来研究方向以促进进一步进步。

本文其余部分的组织结构如下。第2节描述了本综述的系统文献检索与筛选方法。第3节回顾了不同分割任务的代表性模型，并详细阐述了开发通用分割的动机。第4节系统地综述了基于深度学习的通用图像分割方法，并根据是否需要外部交互提示将其分为两类：无提示方法和基于提示的方法。从第5节到第6节，我们对应用于视频分割和医学图像分割的通用分割方法进行了全面而详细的分析和总结。最后，第7节通过分析通用架构的当前局限性并概述其未来发展方向来总结本综述。

节选片段

系统性文献综述方法

本节详细阐述了我们系统性文献综述所采用的方法，旨在确定主流研究趋势并突出未来调查的有前景方向。我们采用OpenAlex和Web of Science核心合集作为主流的多学科引文数据库。为了捕捉上述两个数据库可能未能完全覆盖的高质量计算机视觉出版物，我们进一步纳入了三个领域特定的索引系统，即DBLP。

用于单一分割任务的专用模型

基于上述背景和研究现状，我们根据目标将视觉分割划分为多个方向，包括语义分割、实例分割、全景分割、开放词汇分割等。如图3所示，图像中展示了各任务的不同分割结果。第一行显示了交通场景的语义、实例和全景分割。从图中可以观察到，语义分割

通用图像分割

在本节中，我们使用两级分类体系来综述通用图像分割方法。在第一级，根据是否接受外部提示，方法被分为无提示方法和基于提示的方法。在第二级，每个类别采用反映其内在性质的不同细分标准：无提示方法根据其内部技术机制进行区分，而基于提示的方法则根据输入提示的模态进行分类

通用视频分割

视频分割作为计算机视觉中的一项关键任务，在理解和分析视频内容方面发挥着不可或缺的作用。随着视频数据在各领域的广泛应用，如自动驾驶和视频监控，对高效、准确且具有泛化性的视频分割方法的需求持续增长。然而，传统的视频分割方法通常针对特定任务进行设计和优化，例如视频语义分割

通用医学图像分割

在医学图像处理领域，精确的图像分割在疾病诊断、治疗计划和医学研究中发挥着关键作用。虽然通用分割在自然图像领域取得了显著进展，但医学成像面临独特的挑战：多样化的模态、差异巨大的目标尺度以及极其稀缺的标注。这使得"单一模型同时处理多种分割任务"这一目标既迫切又高度具有挑战性

结论、关键讨论、挑战与未来方向

在本节中，我们首先回顾本文的主要发现，然后对通用分割中的几个基本问题展开关键性讨论，最后概述关键挑战和未来研究方向。

作者贡献声明

王安志：写作——审阅与编辑、监督、资金获取、概念设计。杨溪：写作——初稿撰写、可视化、调查研究。陈俊贤：可视化、验证、调查研究。张旭：写作——审阅与编辑、可视化、验证。刘云：写作——审阅与编辑、验证、资金获取。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

致谢

本研究部分得到国家自然科学基金（编号62162013，62301453）、国家重点研发计划（2023YFC3304504）以及贵州省科学技术厅自然科学基金（黔科合基础MS-[2025]-249）的支持。

本文稿件中的所有图表均由作者原创。未采用任何外部图像或受版权保护的材料。

王安志于2017年在中国成都的四川大学获得博士学位，师从M.-H. Wang教授。目前他是中国贵阳贵州师范大学大数据与计算机学院副教授。他的研究兴趣包括计算机视觉、图像处理和机器学习。他已在多个期刊上发表研究论文，包括IEEE Transactions on Multimedia (TMM)、Engineering Applications of Artificial Intelligence等。

王安志 | 杨溪 | 陈俊贤 | 张旭 | 刘云