面向弱监督语义分割的视觉语言特征校准

《Neurocomputing》：Vision-language feature calibration for weakly supervised semantic segmentation

　　

摘要

最近，视觉 - 语言模型（VLMs）通过对比学习在视觉任务中取得了显著成功。作为代表性 VLM 的对比语言 - 图像预训练（CLIP）在弱监督语义分割（WSSS）中显示出巨大潜力。然而，弥合 CLIP 全局表示与密集分割之间的差距仍然具有挑战性。本文提出了一种视觉 - 语言特征校准（VLFC）框架，以生成完整且准确的类激活图。VLFC 由两个互补的分支组成：一个带有用于将激活扩散到完整对象区域的多尺度门控注意力（MSGA）模块的图像特征学习分支，以及一个带有用于提供细粒度文本指导的文本知识库构建（TKBC）策略的文本特征学习分支。此外，为了使 CLIP 适应密集分割任务而不失去其泛化能力，我们引入了一种基于低秩投影的增量校准（LP-IC）策略，将可学习的低秩更新注入到两个分支的冻结编码器中，有效地校准视觉和文本分布。校准后的特征随后在一个图像 - 文本对比学习空间中对齐，通过两个设计的损失函数来增强前景激活并抑制与类别相关的背景噪声。在 PASCAL VOC 2012 和 MS COCO 2014 上的实验表明，其性能优于最先进的方法。

引言

语义分割为图像中的每个像素分配一个语义标签，是计算机视觉技术的基础，支撑着自动驾驶、医学图像分析和增强现实等应用。全监督语义分割在各种领域中的显著成功在很大程度上依赖于具有密集像素级标注的大规模数据集。然而，获取此类标注极其昂贵且耗时。为了减轻这种标注负担，弱监督语义分割（WSSS）作为一种有前景的替代方案出现，通常利用点 [1], [2]、涂鸦 [3], [4]、边界框 [5], [6] 或图像级标签 [7], [8], [9], [10] 等形式的弱监督。在这些弱监督形式中，仅使用图像级标签由于其获取成本最低而引起了广泛关注，但这也最具挑战性，是本研究的重点。

目前，基于图像级标签的主流 WSSS 方法通常遵循标准工作流程：首先，训练分类网络生成类激活图（CAMs）[11] 作为初始定位线索。然后，将这些粗糙的 CAMs 细化为伪掩码。最后，在全监督条件下使用这些伪掩码训练最终的分割模型。尽管这种范式被广泛采用，但其性能仍受限于 CAMs 的内在局限性。由于针对分类任务进行优化，CAMs 往往只激活对象最独特的部分，导致目标覆盖不完整，如图 1 中红框所示。此外，由于缺乏像素级监督，模型在做出分类决策时经常共同激活与目标类别相关的背景上下文。这会导致过激活，错误地将非目标区域包含在激活图中，如图 1 中黄框所示。这种激活不足和过激活的双重问题构成了 WSSS 工作流程中的核心性能瓶颈。解决这两个挑战需要能够推理完整对象语义的模型，而不仅仅是判别性部分。

近年来，对比语言 - 图像预训练（CLIP）[12] 模型的引入提供了一条有前景的前进道路。CLIP 在 4 亿个图像 - 文本对上进行训练，能够在开放世界场景中实现图像和文本之间的丰富语义对齐，克服了传统 WSSS 中固定类别标签的限制。受此启发，多种方法利用 CLIP 的跨模态知识来增强 WSSS。例如，CLIMS [13] 结合自然语言监督，引导模型激活更完整的目标区域，同时抑制相关背景。CLIP-ES [14] 直接利用 CLIP 生成 CAMs 和分割结果，引入 Softmax 抑制来解决 GradCAM [15] 中的类别混淆，并优化文本提示以充分利用 CLIP 的能力。DIAL [16] 通过全局隐式对齐和局部显式对齐的双重机制，实现了跨多个前景和背景粒度的密集图像 - 文本对齐，增强了弱监督分割的定位精度。ExCEL [17] 进一步利用 CLIP 进行细粒度对齐，通过文本语义增强和视觉校准模块实现 patch 级的文本 - 图像对齐，从而提高 CAMs 的完整性。

尽管有这些进展，现有的基于 CLIP 的 WSSS 方法仍然受到限制。它们主要依赖静态、手动预定义的文本提示（例如，固定的背景词汇表）来抑制背景，缺乏对每张图像特定内容的适应性。此外，如何高效地将最初针对全局图像 - 文本对齐进行优化的 CLIP 通用特征适应于语义分割等密集预测任务仍然是一个重大挑战。大多数方法在部署期间冻结 CLIP 的图像编码器，限制了预训练知识的利用。因此，需要更灵活的策略来动态对齐多种粒度的图像和文本特征，使预训练的视觉 - 语言模型能够在不解锁 CLIP 权重的情况下适应 WSSS 任务。

因此，本文提出了一种视觉 - 语言特征校准（VLFC）框架，旨在深入挖掘并充分利用 CLIP 的跨模态能力以生成高质量的 CAMs。我们的框架由两个协同操作的分支组成：图像特征学习（IFL）分支和文本特征学习（TFL）分支。具体而言，在 IFL 分支中，我们设计了一个多尺度门控注意力（MSGA）模块。该模块结合了前景门控组件和多尺度特征增强组件，能够对注意力的扩散进行显式引导，从高度激活区域扩展至整个目标对象，从而有效解决激活不足问题。同时，TFL 分支采用了一种文本知识库构建（TKBC）机制。这利用视觉问答模型 BLIP [18] 动态生成每张图像的前景对象和背景环境描述的语义丰富语料库。随后，我们采用图像 - 文本对比学习（ITCL）空间来对齐增强后的图像特征与生成的细化文本特征。通过精心设计的对比损失函数，我们强制前景目标区域与其文本描述之间具有高度的语义一致性，同时确保与背景文本描述排斥。这生成了覆盖更完整且边界更清晰的激活图。

此外，为了弥合 CLIP 预训练与 WSSS 任务之间的差距，我们提出了一种基于低秩投影的增量校准（LP-IC）策略。该方法通过将少量可学习的低秩矩阵注入冻结的 CLIP 图像和文本编码器的注意力层，以最小的参数开销实现增量模型学习。特征表示在不更新原始权重的情况下逐步针对分割任务进行校准。

本工作的主要贡献总结如下：

• •
  我们提出了 VLFC，一种用于 WSSS 的视觉 - 语言特征校准框架。在该框架中，图像分支使用多尺度门控注意力（MSGA）模块将激活扩散到完整对象区域，而文本分支提供细粒度的文本指导。这些组件共同显著提升了 CAM 质量，并产生了更精细的伪掩码。
• •
  我们提出了一种高效的基于低秩投影的增量校准（LP-IC）策略。这种特定任务的校准方法采用低秩更新矩阵来适应 CLIP 编码器，在完全保留预训练知识库的同时，增强了其在 WSSS 任务中的密集语义判别能力。
• •
  我们的方法在 PASCAL VOC 2012 和 MS COCO 2014 基准测试上与最近最先进的 WSSS 方法相比具有竞争力，验证了其在生成高质量语义分割伪掩码方面的有效性。

本文的其余部分组织如下：第 2 节回顾了图像级 WSSS、注意力机制和基于 CLIP 的方法的相关工作。第 3 节详细介绍了提出的 VLFC 框架。第 4 节展示了实验结果和比较。最后，第 5 节总结了全文。

章节片段

相关工作

弱监督语义分割由于能够减少对昂贵像素级标注的依赖而引起了越来越多的关注。在本节中，我们首先回顾图像级 WSSS 方法的最新进展，然后总结语义分割中使用的注意力机制，最后讨论与我们的工作最相关的基于 CLIP 的方法。

所提方法

提出的 VLFC 框架由两个主要分支组成。在图像特征学习分支中，我们引入多尺度门控注意力（MSGA）模块，辅助分类模型实现更全面的 CAMs 覆盖，如图 2 顶部蓝色区域所示。在文本特征学习分支中，我们采用文本知识库构建（TKBC）策略生成文本输入提示，并引入基于低秩投影的增量校准（LP-IC）

数据集与评估指标

为了全面评估我们提出方法的有效性，实验在两个广泛使用的公共基准测试上进行：PASCAL VOC 2012 [45] 和 MS COCO 2014 [46]。PASCAL VOC 2012 数据集包含 21 个类别。遵循该领域的常见做法 [8], [13]，有 1464 张图像被增强到 10,582 张图像用于训练。此外，验证集和测试集分别由 1449 张和 1456 张图像组成。MS COCO 2014 数据集包括 81 个类别，

结论

在本文中，我们解决了多阶段弱监督语义分割中 CAMs 对象覆盖不足和背景噪声的问题。我们提出了 VLFC，它集成了图像特征学习（IFL）和文本特征学习（TFL）以缓解动态提示下的偏差激活。为了增强表示，我们引入了一种多尺度门控注意力（MSGA）模块用于局部 - 全局特征交互，以及一种基于低秩投影的增量校准（LP-IC）

作者贡献声明

Guangxin Liu: 写作 – 初稿，可视化，方法论，概念化。 Jiale Liu: 资源，项目管理。 Junxia Li: 写作 – 审阅和编辑。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，这些可能被认为会影响本文报告的工作。

致谢

这项工作部分由国家自然科学基金委员会（批准号 62272235）资助，部分由江苏省科技重大项目（批准号 BG2024042 和 BE2023016-3）资助。

Guangxin Liu 目前正在中国南京南京信息工程大学计算机学院攻读硕士学位。他当前的研究兴趣包括图像处理与计算机视觉。

Guangxin Liu|Jiale Liu|Junxia Li

CICAEET, 计算机学院，南京信息工程大学，中国南京，210044