利用多模态伪标签提升开放词汇实例与全景分割的鲁棒性

《Neurocomputing》：Learning from multimodal pseudo-labels for robust open-vocabulary instance and panoptic segmentation

　　摘要：本研究针对开放词汇实例分割（OVIS）和开放集全景分割（OSPS）这一挑战，这类任务旨在无需大量人工标注即可识别预定义及未知物体类别。现有方法往往存在伪掩码噪声多、视觉-文本关联度低，以及难以处理同义词或词汇表外词的问题。为克服这些难题，我们提出了一种多模态框架，该框架利用预训练的视觉语言模型实现自动伪标签生成、CLIP引导的同义词过滤，以及基于GPT的标题重构。在目标词汇辅助的伪标签生成机制中，该框架首先通过Grounded SAM、LLaVA和CLIP构建伪分割掩码、描述性标题以及语义对齐的同义词集合，从而无需人工标注即可实现多模态监督。随后，通过三种互补的训练目标进一步提升视觉-文本对齐效果：一种纳入视觉对齐同义词的扩展对齐损失、一种语义一致性损失，以及一种生成式标题重构损失。在COCO数据集上的大量实验表明，所提方法在该评估体系下始终优于现有的最先进方法，显著提升了OVIS和OSPS任务的性能。

引言：实例分割是计算机视觉中的基础任务，其目标是同时检测、分割并分类单个物体实例，为机器人技术、自动驾驶、监控系统以及医学成像等诸多应用提供支持。尽管深度神经网络在这一领域取得了显著进展，但大多数现有方法仍局限于检测和分割预定义类别的物体，且需要昂贵的像素级标注才能进行训练[36]。为解决这些问题，近期研究探索了零样本和弱监督分割框架，这类框架旨在在最少人工干预的情况下识别新类别[2]、[12]、[16]、[17]。然而，弱监督方法仍需为所有类别提供图像级或边界框级标注[16]，而零样本方法[1]、[17]、[53]则仅依赖词向量等文本嵌入。不过，零样本方法通常泛化能力有限，应用于复杂的真实世界数据集时往往难以捕捉精细的视觉细节。

为克服这些局限，研究人员提出了开放词汇实例分割（OVIS）和开放集全景分割（OSPS）方法，这类方法将大规模视觉语言模型与灵活的语义表示相结合[3]、[4]、[7]、[13]、[15]、[20]、[27]、[31]、[37]、[39]、[42]、[51]。在这些框架中，模型针对基础类别采用强监督训练，而对于新类别则利用图像-标题对提供弱监督，从而实现对未知类别的更广泛泛化。XPM[13]是最早的此类框架之一，它采用教师-学生架构，其中教师模型通过将物体区域的视觉特征与从图像标题中提取的词向量对齐来生成伪掩码，然后学生模型在这些伪标签上训练，并估计标注噪声以提高对不完善监督的鲁棒性。然而，这类方法通常依赖基础类别的强监督，以及新类别的图像-标题对提供的弱监督，从而导致对基础类别的偏好。为解决这一问题，Mask-free OVIS[37]通过利用预训练的视觉语言模型生成的伪掩码来训练Mask R-CNN模型，从而无需人工标注。尽管有这些改进，XPM[13]和Mask-free OVIS[37]仍因视觉-文本对齐不准确而产生噪声较大的伪掩码，限制了分割精度。CGG[39]通过引入标题对齐损失和标题生成损失来解决这一问题，其中对齐损失将标题中的物体名词与其对应的图像区域对齐，而生成损失则提升上下文理解能力。

然而，现有的开放词汇实例分割方法仍面临若干根本性挑战。首先，它们对标题的利用较为有限，导致视觉-文本关联度不足。其次，这些模型难以处理同义词和词汇表外词，从而限制了其对新类别及多样化语言表达的泛化能力。最后，一些方法完全依赖于噪声较大的伪掩码[37]，这往往导致分割精度不佳。为解决这些挑战，我们提出了一种多模态框架，该框架利用预训练的视觉语言模型实现自动伪标签生成、CLIP引导的同义词过滤，以及基于GPT的标题重构。在目标词汇辅助的伪标签生成机制中，目标新类别名称被用作Grounded SAM生成伪掩码时的文本提示。该框架整合了基于Grounded SAM[34]和LLaVA[25]构建的自动化流程，用于生成伪分割掩码、描述性标题以及语义对齐的同义词集合，从而在无需额外人工标注的情况下提升视觉-语言对齐效果。随后，这些生成的伪掩码、标题和同义词会与已标记的基础数据集一起用于模型训练。此外，我们还通过引入改进的对齐损失、语义一致性损失以及生成式标题重构损失，扩展了现有的分类损失和掩码损失功能。这些组件共同作用，在目标词汇辅助的机制下实现更强大且语义上更连贯的视觉-文本对齐，进而提升对已知类别及目标新类别的泛化能力。

本研究并非提出全新的分割架构，而是侧重于通过目标词汇辅助的多模态伪标签生成以及训练时的视觉-文本监督，提升开放词汇任务的泛化能力。我们以基于Mask2Former的分割器作为强大的基础架构，并引入由预训练视觉语言模型生成的补充监督信号。具体而言，Grounded SAM利用目标新类别提示生成伪分割掩码，LLaVA生成描述性的伪标题，而CLIP则筛选出具有视觉依据的同义词候选项。这些多模态伪标签随后与基于同义词的对齐损失、语义一致性损失以及生成式标题重构损失结合使用，以提高模型对词汇变化和未知类别的适应能力。

本文的主要贡献如下：
• 我们提出了一种自动化多模态流程，该流程利用预训练的视觉语言模型生成伪分割掩码、描述性标题以及语义对齐的同义词集合，从而在目标词汇辅助的伪标签生成机制下，无需人工标注即可提供额外的多模态监督。
• 我们提出了语义一致性损失和扩展对齐损失，这两种损失利用预定义的类别名称及其具有视觉依据的同义词，提升模型的泛化能力以及对词汇变化的适应性。
• 我们引入了基于GPT的生成式标题重构损失，该损失通过根据视觉特征重构被遮盖的标题，从而增强视觉-文本推理能力。
• 我们通过在COCO数据集上采用目标词汇辅助的评估机制，证明所提方法在OVIS和OSPS任务上始终优于现有的最先进方法。

章节节选：
开放词汇实例分割与全景分割：近期的一些综述文章对开放词汇学习与分割技术进行了全面概述。Wu等人[40]探讨了开放词汇学习与零样本学习、开放集识别以及异常检测之间的关系，并总结了开放词汇检测与分割领域的最新进展。类似地，Zhou等人[54]讨论了基础模型时代下的图像分割技术，强调了大规模视觉语言模型以及可提示分割模型的日益重要作用。

问题建模：借鉴以往的研究[13]、[39]，在训练过程中，我们会获得一个包含图像及其真实标注的训练集，这些标注针对的是基础类别（即），其中表示该集合中的图像数量。每个真实标注都包含属于该集合中物体的实例掩码及其类别标签。此外，还有一个数据集，其中包含图像及其图像级标题（即），其中表示该集合中的图像数量。我们将物体集合记为……

实验设置：数据集方面，我们在COCO数据集[24]上开展了开放词汇实例分割（OVIS）和开放集全景分割（OSPS）的实验。对于OVIS任务，遵循以往的研究[13]、[37]、[39]、[53]，我们将65个物体类别分为48个基础类别和17个新类别，训练期间仅为基础类别提供像素级标注。这17个新类别分别是公交车、狗、牛、大象、雨伞、领带、滑板、杯子、刀子、蛋糕、沙发、键盘、水槽……

结论：本文提出了一种用于开放词汇实例分割（OVIS）和开放集全景分割（OSPS）的多模态框架，该框架旨在无需人工标注即可提升视觉-文本对齐能力以及模型对未知类别的泛化能力。在目标词汇辅助的伪标签生成机制中，目标新类别名称被用作生成伪掩码时的提示。在该机制下，所提方法利用预训练的视觉语言模型来生成……

致谢：本研究部分得到了韩国政府资助的韩国国家研究基金会（NRF）项目（MSIT）的支持，项目编号为RS-2023-00252434。Duy Tran Thanh目前正在韩国首尔的首尔科学技术大学攻读电子工程博士学位，他于2016年在越南胡志明市的胡志明科技教育大学获得了机械工程学士学位。

Duy Tran Thanh | Yeejin Lee | Byeongkeun Kang
韩国首尔科学技术大学电子工程系，首尔Nowon区Gongneung-ro 232号，邮编01811