WorldSnake：基于开放词汇表的轮廓驱动实例分割的语义-几何解耦方法

《Knowledge-Based Systems》：WorldSnake: Semantic–geometric decoupling for open-vocabulary contour-based instance segmentation

　　吴业军|詹娇|郭驰|张慧音

摘要：开放词汇实例分割旨在从文本查询中识别任意类别的物体，但现有方法通常将语义识别与掩码或轮廓预测结合在一起，这限制了其对形状多样且边界复杂的未知物体的泛化能力。在本文中，我们提出了WorldSnake，这是一种基于轮廓的开放词汇实例分割框架，通过语义-几何解耦重新定义了该任务。我们没有直接预测语义掩码，而是将任务分解为语义物体定位和与类别无关的轮廓建模，其中开放词汇检测器负责物体定位，而轮廓网络则专注于几何边界的演化，减少对特定类别语义监督的依赖。为了改进轮廓建模，我们设计了一个分层渐进式轮廓优化模块，该模块利用多尺度特征迭代地从粗略到精细地更新轮廓。此外，我们还引入了一种与语义无关的训练策略，该策略通过轮廓级监督学习轮廓变形，从而促进跨物体类别的可迁移边界表示的学习。实验结果表明，语义-几何解耦和基于轮廓的几何建模对于开放词汇视觉感知非常有效。我们的代码可在https://github.com/Giansar-Wu/WorldSnake获取。

引言：人形机器人越来越多地被应用于家庭、办公室、医院和工业设施等室内环境[1]。与结构化的室外场景相比，室内环境具有高度的无结构特性，表现为严重的杂乱、频繁的遮挡以及动态的物体排列。这些条件对机器人的视觉感知提出了严格的要求，准确理解物体边界对于安全操作、避免碰撞以及实现可靠交互至关重要[2]。

物体检测和实例分割是现代机器人感知系统的基础[3]。物体检测通过边界框提供粗略的定位，而实例分割则通过预测像素级的物体掩码进一步细化这些定位，从而实现更详细的形状理解。这些技术广泛应用于导航和操作等机器人应用领域[4]。尽管取得了显著的成功，但大多数现有的实例分割方法依赖于封闭集监督和基于掩码的表示，这使得语义识别与边界预测紧密相连。这种耦合限制了它们对未知物体类别的泛化能力，且在复杂环境中往往会导致边界划分不准确。

为了解决这些限制，人们发展出了两种互补的范式。首先，基于轮廓的实例分割将物体分割重新定义为明确的边界建模问题。通过迭代变形物体轮廓而非预测密集的掩码，一些代表性方法[5]、[6]、[7]、[8]能够在杂乱或被遮挡的场景中实现更精确的几何定位和更好的形状保持。其次，开放词汇物体检测[9]、[10]、[11]利用视觉-语言预训练，通过文本提示实现与类别无关的物体定位，提高了在开放世界环境中的识别灵活性。

尽管这两种方法都取得了相当大的成功，但它们仍然存在重要的局限性。基于轮廓的实例分割方法主要是在封闭集假设下开发的，其中轮廓表示和几何优化隐含地与语义类别监督相结合（图1(a)）。因此，轮廓建模并非独立于物体语义，所学到的边界表示往往偏向于已见类别。相比之下，开放词汇物体检测器侧重于利用视觉-语言对齐进行语义驱动的定位，能够识别新类别，但其实例掩码仍与类别语义紧密相关（图1(b)）。此外，它们缺乏建模细粒度几何结构如物体边界的明确机制。这种固有的不对称性揭示了语义定位与几何轮廓建模之间的结构不匹配。一方面，基于轮廓的方法提供了明确的几何建模能力，但仍受限于封闭集语义监督；另一方面，开放词汇检测器虽然具备灵活的语义泛化能力，但仅停留在粗略的定位层面，缺乏边界意识。这种不匹配使得现有方法无法在统一框架内同时实现语义泛化和精确的边界建模。

受到基于轮廓的实例分割与开放词汇物体识别之间结构差异的启发，我们重新审视了语义信息在实例边界建模中的作用。我们认为，实例级轮廓预测本质上是一项几何建模任务，边界演化应主要依赖于形状结构而非特定类别的语义监督。这一观察表明，将轮廓学习与语义标签紧密结合可能会限制对之前未见过的物体类别的泛化能力。

基于这些观察，我们提出了WorldSnake，这是一种统一的开放词汇轮廓分割框架，它明确地将语义物体定位与几何边界建模分开。如图1(c)所示，与传统将语义监督与轮廓优化紧密结合的封闭集基于轮廓的方法不同，我们的框架将语义识别任务交给定位模块，而将轮廓优化专门用于边界演化。这种设计减少了轮廓学习对特定类别语义监督的依赖。此外，轮廓演化过程将物体边界视为结构化的几何实体，而非密集的语义掩码，从而引入了一种强调边界规律性和形状变形模式的几何归纳偏差。这些特性共同促进了更具跨物体类别和视觉领域可迁移性的轮廓表示的学习。

为了在这种解耦的框架下准确建模物体边界，我们进一步提出了一种分层渐进式轮廓优化模块，该模块利用多尺度特征逐步优化实例轮廓。与传统单尺度迭代优化不同，HPCR以从粗略到精细的方式执行轮廓演化，首先建立全局一致的物体形状，然后利用更高分辨率的特征逐步优化局部边界细节。这种分层设计有效地结合了全局形状推理与细粒度边界定位，从而为具有多样且复杂几何结构的物体实现更准确、更稳健的轮廓预测。

此外，我们还引入了一种与语义无关的训练策略，该策略仅依赖于真实的边界标注。通过减少对特定类别语义监督的依赖，这种训练方式促使模型专注于几何边界结构和轮廓变形模式，从而提高在开放词汇环境中的稳健性和泛化能力。

尽管WorldSnake继承了现有基于轮廓方法的轮廓表示和轮廓演化理念，包括我们之前的SAMSnake，但它解决的却是更为广泛的问题。WorldSnake通过语义-几何解耦、与语义无关的轮廓学习以及分层多尺度轮廓优化，将基于轮廓的实例分割从传统的封闭集识别扩展到了开放词汇感知。表1总结了WorldSnake与现有方法之间的主要区别。

本文的主要贡献如下：
(1)我们将开放词汇实例分割重新定义为语义-几何解耦问题。通过明确分离语义物体定位与与类别无关的轮廓建模，所提出的框架使得轮廓演化无需语义类别监督即可学习。
(2)我们提出了WorldSnake，这是一种基于轮廓的开放词汇实例分割网络，它将开放词汇物体定位与基于轮廓的边界建模相结合，实现了语义泛化和高质量的轮廓建模。
(3)我们引入了一种分层渐进式轮廓优化模块，该模块利用多尺度特征表示，从粗略的全局结构逐步优化到精细的局部细节，从而提高了轮廓的准确性和结构一致性。
(4)我们开发了一种与语义无关的训练策略，该策略依靠轮廓级监督而不需要类别标注。这种设计促使模型学习可迁移的几何先验，增强了其对未知物体类别的泛化能力。

章节片段：
封闭集实例分割：实例分割旨在同时定位和分割图像中的各个物体实例。在深度学习的推动下，实例分割在过去十年里取得了显著进展。早期的代表性方法，如Mask R-CNN [13]，通过引入额外的掩码预测分支扩展了两阶段物体检测器，实现了物体定位和像素级分割的联合学习。在这一范式的基础上，Cascade R-CNN [14]等方法相继出现。

概述：如图2所示，我们提出了WorldSnake，这是一种基于轮廓的开放词汇实例分割框架，它明确地将语义物体定位与几何轮廓建模分开。与那些同时学习语义识别和掩码预测的传统实例分割框架不同，WorldSnake将开放词汇实例分割重新定义为语义-几何解耦问题，即语义定位和轮廓演化是相互独立的。

数据集：我们在五个广泛使用且具有挑战性的基准数据集上评估了所提框架的有效性和泛化能力：
•COCO [31]：COCO是一个大规模的基准数据集，用于复杂自然场景中的物体检测和实例分割。我们采用了2017年的数据集，其中包含118,287张训练图像和5000张带有80种物体类别实例级标注的验证图像。
•ADE20K [32]：ADE20K是一个标注极为详尽的场景理解基准数据集，涵盖了多种多样的场景。

讨论：我们在封闭集和开放词汇两种场景下对WorldSnake进行了评估，实验结果展示了其良好的跨数据集迁移能力和对新类别的泛化能力。这一现象可能得益于所提框架的两个互补特性。首先，语义-几何解耦策略将语义定位与轮廓优化分开，降低了轮廓学习对特定类别语义监督的依赖。其次，轮廓演化机制...

结论：在本文中，我们提出了WorldSnake，这是一种基于轮廓的开放词汇实例分割框架，它明确地将语义物体定位与几何轮廓建模分开。通过将轮廓预测重新定义为与语义无关的几何学习问题，WorldSnake在保留明确的几何边界建模的同时，减少了轮廓优化对特定类别语义监督的依赖。为了实现准确的边界定位，我们还引入了...

CRediT作者贡献声明：
吴业军：写作——审稿与编辑，写作——初稿，可视化，验证，方法论，研究，数据整理。詹娇：验证，监督。郭驰：资金获取，概念构思。张慧音：监督，形式分析。

利益冲突声明：作者声明没有竞争性财务利益。

致谢：本研究得到了湖北省重大科技项目（编号2022AAA009）、武汉市关键研发计划以及武汉大学数字智能教育与教学平台设备升级项目的支持。