CTP-CLIP：一种用于弱监督语义分割的聚类文本提示框架

《Neurocomputing》：CTP-CLIP: A clustered text prompt framework for weakly supervised semantic segmentation

　　摘要基于对比语言-图像预训练的图像级弱监督语义分割方法虽能减少对密集像素级标注的需求，但仍面临三重挑战：类别级提示无法提供足够的层次化语义信息，类激活映射的优化往往难以适应不同训练阶段，而基于冻结的CLIP视觉特征的解码器也缺乏自适应的多级融合机制。为解决这些问题，我们提出了CTP-CLIP，这是一种用于CLIP驱动的弱监督语义分割的聚类文本提示框架。首先，文本聚类表示编码器通过整合选定的超类原型来构建以类别为锚点的聚类文本提示，并将其与类别提示融合，从而为跨模态定位提供层次化的文本先验。其次，类感知注意力传播模块通过分阶段优化类激活映射，在早期阶段利用融合后的文本先验进行语义校准，在后期阶段则借助解码器生成的静态-动态关系实现物体完整性提升。最后，层自适应融合解码器能够在伪标签监督下，自适应地整合多级冻结的CLIP视觉特征以进行分割预测。在PASCAL VOC 2012和MS COCO 2014数据集上的实验表明，CTP-CLIP在PASCAL VOC 2012训练集上的CAM种子mIoU值为76.6%，在验证集和测试集上的分割mIoU值分别为77.7%和77.9%，在MS COCO 2014验证集上的mIoU值为48.5%。这些结果充分证明了层次化文本先验、分阶段优化以及自适应特征融合在CLIP驱动的弱监督语义分割中的有效性。

引言语义分割是计算机视觉领域的核心任务，其目标是为图像中的每个像素分配语义标签，该技术被广泛应用于自动驾驶、医学图像分析及场景理解等领域。尽管完全监督方法已取得显著进展，但其性能高度依赖于大规模的像素级标注，而这些标注的获取既昂贵又耗时。因此，人们越来越关注弱监督语义分割技术，这类方法使用边界框[10]、[25]、草图[20]、[36]、点[3]或图像级标签[16]等成本更低的监督方式来训练模型。其中，图像级弱监督语义分割因其最低的标注成本而备受青睐，但由于图像级监督与像素级预测之间存在巨大差距，它仍然是最具挑战性的任务。目前，图像级弱监督语义分割的典型流程是首先从分类模型中生成类激活映射，再以此构建用于分割训练的伪标签。因此，CAM的质量直接决定了最终的分割效果。然而在图像级监督下，CAM往往只突出最具区分度的物体部分，同时激活无关背景区域。以往的研究尝试通过亲和力学习[1]、[31]、对抗性擦除[40]、注意力建模[39]以及伪标签的生成与优化[16]、[18]等方法来解决这些问题。尽管已有进展，但在纯视觉监督条件下仍存在两个长期存在的挑战：其一，定位线索本质上偏向于最具区分度的部分，且易受上下文共同出现的影响；其二，关系建模主要依赖视觉相似性，而当不同类别具有相似外观时，这种相似性就会变得模糊不清。这些局限性表明，外部语义知识可能有助于解决仅依靠视觉信息的弱监督所带来的固有歧义。随着视觉-语言预训练模型的出现，尤其是对比语言-图像预训练模型[29]，为这一领域带来了新的机遇。这类模型在大规模图像-文本对上经过训练，能够提供丰富的跨模态语义先验，从而帮助定位超越单纯的视觉区分特征。近期基于CLIP的弱监督语义分割方法主要从三个方向展开研究：优化文本提示以实现更好的跨模态对齐[11]、[19]、[24]、[44]、[50]；通过密集对齐或注意力传播强化CAM的优化过程[15]、[22]、[52]、[56]、[62]；以及解码冻结的CLIP视觉特征以用于分割预测[22]、[34]、[52]、[56]。虽然这些进展展现了CLIP的潜力，但仍在三个关键方面存在局限。首先，大多数文本提示设计都是围绕类别级描述构建的，通常将类别名称视为独立的文本单元。即便采用了提示学习或语义增强技术[11]、[19]、[24]、[50]，它们也一般不会将选定的超类原型纳入以类别为锚点的聚类文本提示中。缺乏此类结构约束会导致模型过度拟合于共现的上下文，例如将“船”与“水”关联起来而非船本身，而且对于视觉变化较大的类别而言，也无法形成稳定的语义锚点。其次，许多现有的CAM优化策略并未充分考虑训练不同阶段的不同需求[15]、[22]、[52]、[56]、[62]。在初始阶段，语义引导可能对定位更有帮助，而在后续阶段，则可以更多依赖自适应的视觉关系。过度使用类感知注入会降低模型的适应性，而仅依赖静态注意力则无法充分利用已学到的特征。第三，用于冻结CLIP特征的解码器通常采用固定的或经验性的融合方案[22]、[34]、[52]、[56]，忽视了浅层特征能够保留局部细节（这对边界和小物体的识别很有帮助），而深层特征则具备更强的语义抽象能力。固定的融合规则无法在分割解码过程中恰当地平衡这两种互补的特征特性。我们发现，现有方法通常直接从类别名称如“船”“汽车”或“狗”出发构建文本提示。尽管这类类别级提示能够提供基本的类别语义，但它们往往将每个类别视为独立的文本单元，忽略了不同类别之间可能存在的层次化语义关系。因此，在进行图像区域定位时，CLIP容易受到类别名称有限的语义范围以及共现背景环境的影响，从而导致CAM结果不完整或存在背景干扰，如图1(B)所示。我们还观察到，一些语义上相关的类别虽然拥有不同的类别标签，但却可能共享更高层次的超类语义。如图1(A)所示，“船”和“汽车”属于不同类别，但它们都能从“车辆”这一更高层次的语义概念中受益；同样，“猫”“狗”和“马”则共享“动物”这一更为稳定的超类概念。因此，我们在以类别为锚点的聚类文本提示中引入选定的超类原型，以此为类别级语义补充层次化先验。具体而言，选定的超类原型并非作为独立的文本提示进行编码，而是被整合到以类别为锚点的聚类文本提示中。类别名称始终作为语义锚点保留，而选定的超类原型仅起到辅助提供层次化语义的作用。通过将类别提示的嵌入向量与聚类文本提示的嵌入向量相融合，文本表示既能保持类别特有的区分能力，又能引入层次化语义约束。这有助于改善文本与区域的对应关系，生成更完整的CAM，同时减少背景干扰，如图1(C)所示。基于上述观察，我们提出了CTP-CLIP，这是一种用于CLIP驱动的弱监督语义分割的聚类文本提示框架。与仅依赖孤立类别名称的方法不同，CTP-CLIP为每个类别构建两种互补的文本提示：一种用于保持类别特有区分能力的原始类别提示，另一种则以类别为锚点的聚类文本提示，用于引入选定的超类原型作为层次化语义先验。该框架还通过在不同训练阶段采用不同的策略——早期阶段利用文本语义进行校准，后期阶段则借助解码器生成的视觉关系——来实现对CAM优化的自适应调整。最后，它还能自适应地融合多级冻结的CLIP视觉特征，合理平衡那些能够保留局部细节的浅层特征与具备强语义抽象能力的深层特征，从而实现精准的分割预测。我们的主要贡献如下：•我们设计了文本聚类表示编码器，该编码器将每个类别嵌入向量与其对应的以类别为锚点的聚类文本嵌入向量相融合，从而在保持类别特有区分能力的同时引入层次化的超类先验，进而提升CAM种子的生成质量。•我们设计了分阶段的类感知注意力传播模块，该模块通过结合早期的类感知语义校准与后期的静态-动态关系耦合，逐步优化CAM质量。在消融实验中，这种优化策略的表现优于统一的类感知注入方式以及仅依赖静态注意力的方法。•我们开发了层自适应融合解码器，该解码器能够学习层自适应权重，用于融合多级冻结的CLIP视觉特征。所学到的融合权重呈现出有意义的非均匀分布，这表明不同层面的特征贡献程度不同，因此需要通过自适应方式对它们进行加权。在PASCAL VOC 2012和MS COCO 2014数据集上进行的广泛实验表明，CTP-CLIP在CAM生成和最终分割任务中均展现出优异的性能，充分证明了该框架的有效性。

片段总结弱监督语义分割早期的图像级弱监督语义分割方法大多遵循多阶段流程：首先从分类模型中生成类激活映射，再将这些映射优化为伪标签，最后训练分割模型[60]。SEC[16]提出了“种子生成、扩展优化和约束调整”三大原则来逐步提升定位精度，但其扩展阶段仍受初始种子质量的限制，无法找回那些完全被CAM遗漏的物体。基于亲和力关系的方法[1]则试图传播语义关系。图2展示了CTP-CLIP的整体框架。给定输入图像后，冻结的CLIP图像编码器会提取多级视觉特征，而我们设计的文本聚类表示编码器则会分别使用冻结的CLIP文本编码器对类别提示和聚类文本提示进行编码，再将它们的嵌入向量融合为层次化的文本表示。这些文本表示随后会与视觉块特征匹配，从而生成初始的类激活映射。与此同时，……

数据集与评估指标该框架在PASCAL VOC 2012[13]和MS COCO 2014[21]数据集上进行了测试。PASCAL VOC 2012包含20个物体类别和1个背景类别，其训练集、验证集和测试集分别包含1464、1449和1456张图像。与大多数相关研究采用的方式一致，我们使用了包含10,582张图像的增强版训练集来训练模型。由于PASCAL VOC 2012测试集的地面真实数据并未公开，因此无法获得相应的测试结果。

结论我们提出了CTP-CLIP，这是一种基于CLIP的框架，通过协同优化语义表示、定位精度提升以及特征解码功能，有效提升了弱监督语义分割的性能。具体而言，所设计的文本聚类表示编码器通过整合选定的超类原型来构建以类别为锚点的聚类文本提示，再将类别嵌入向量与聚类文本嵌入向量融合，从而生成更加稳定且具有更强区分能力的融合文本嵌入向量。

作者贡献说明白雪飞：撰写——审稿与编辑、撰写——初稿、监督、项目管理、概念构思。霍新凯：撰写——初稿、可视化、验证、软件开发、方法论、形式分析、概念构思。徐文杰：撰写——审稿与编辑。王文健：资源协调、项目管理、资金筹集。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢本研究部分得到了中国国家自然科学基金项目（编号62476157、62276161和62576198）、山西省基础研究计划（编号202403021222024）以及山西省专利转化专项计划（编号20250016）的支持。作者们还要感谢所有审稿人和编辑提出的宝贵意见与建议。白雪飞目前是中国太原山西大学计算机与信息技术学院的副教授兼硕士生导师，她的研究兴趣包括图像处理、机器学习以及人工智能领域。

白雪飞|霍新凯|徐文杰|王文健中国太原山西大学计算机与信息技术学院