MiddleCLIP：释放CLIP中间层的潜力，实现无需训练的开放词汇语义分割

《Neurocomputing》：MiddleCLIP: Unleashing the potential of the middle layers in CLIP for training-free open-vocabulary semantic segmentation

　　肖锦|陈代伟|石伟|庄绍

摘要
开放词汇语义分割旨在通过利用CLIP等视觉语言模型的泛化能力来识别任意类别。然而，现有的无训练方法主要优化最终层的注意力机制，忽视了CLIP编码器的层次结构。这导致中间层的多尺度局部特征丢失，使得最终阶段的密集表示过于均匀，降低了局部区域的区分度。为解决这些问题，我们提出了MiddleCLIP框架，旨在同时提升局部特征保留和结构保真度。该框架引入了两个即插即用模块，可无缝集成到现有的开放词汇语义分割方法中，从而获得更精确的分割结果。局部特征保留型中间特征融合模块能够整合浅层和中间层的特征，以恢复局部空间细节；结构感知型互补特征融合模块则构建互补的最终阶段特征路径，在保持前向结构优化效果的同时，减少注意力响应的过度均匀化。二者共同构成了一种平衡的表征方式，能够在不牺牲全局语义的前提下捕捉细粒度结构。我们在八个基准测试上进行了大量实验来验证该方法的有效性。结果表明，无论在有无背景的场景下，该方法均优于现有的各种基线模型。相关代码可在https://github.com/XiaoJinNK/MiddleCLIP获取。

引言
近年来，视觉语言模型在零样本分类、图像文本检索、视觉问答等多种下游任务中表现出色，成为通用基础模型。它们强大的开放词汇识别能力源于对多样化图像文本对的大规模对比学习训练，从而使模型能够超越固定标签集进行泛化。尽管CLIP在零样本任务上表现优异[1]，但将其直接应用于开放词汇语义分割等密集预测任务仍面临挑战[2]-[7]。与图像级识别不同，分割任务需要精确定位细微结构和边界，而CLIP的最终注意力层往往侧重于全局类别语义，忽视了细粒度的空间特征[8]，因此普通版CLIP生成的分割图往往存在噪声且缺乏结构一致性。为克服这些局限，现有研究主要从两个方向入手：一类是通过像素级标注对CLIP进行微调[10]-[15]，虽然提升了定位精度，但增加了标注成本并削弱了零样本泛化能力；另一类则是探索无训练方法[16]-[18]，试图调整CLIP最后块的注意力机制以改善空间对应关系，例如SCLIP采用查询-查询和键-键的注意力机制替代原有的查询-键机制，NACLIP利用邻域先验增强块级一致性，ResCLIP则引入残差交叉相关性自注意力与语义反馈优化机制，在保持CLIP泛化能力的同时显著提升定位精度（见图2）。尽管这些无训练方法已提升了基于CLIP的分割性能，但它们都有一个共同缺陷：所有修改都集中在最终注意力层，认为仅依靠高层语义即可完成密集预测，这忽视了CLIP视觉表征的层次结构，导致局部细节丢失以及最终阶段的语义污染[20]。针对这些问题，我们重新审视CLIP的多层特征，提出了一种无需训练的方法，能够在保留局部特征的同时增强结构信息。现有的无训练CLIP分割方法主要调整最终注意力层，忽略了中间层中丰富的局部特征。最新研究表明，CLIP的视觉编码器具有明显的层次结构：浅层和中间层保留了精细的空间细节和物体边界，而深层产生的密集特征则可能受到“代理标记现象”的影响[8]，从而导致其缺乏局部区分度和空间一致性。图1展示了这一现象——从左到右，随着层数增加，局部区分度逐渐降低。对于依赖全局语义和精确局部对应关系的密集预测任务而言，这样的多尺度表征至关重要。然而，大多数现有的无训练分割方法仅修改最终注意力层，无形中忽视了中间层中丰富的局部信息。CLIP的注意力层次结构促使我们探索如何有效保留和利用各层的多尺度局部特征。大型模型的最终阶段密集表示可能存在语义污染，进而削弱结构区分度，导致patch标记过于均匀。在ViT-L/14这类大型模型中，深层中的全局自注意力机制会逐渐将全局信息扩散到局部patch标记中，这种现象被称为“语义污染”[20]。语义污染会降低结构的独特性，削弱密集patch特征的区分能力，尤其是对于小型或复杂物体而言。图1底部的响应结果展示了这一现象。这就限制了直接使用最终层输出进行分割的效果，因为语义污染可能会掩盖中间层传递的补偿信号。此外，仅依靠调整最终层注意力或简单的融合策略无法在这种污染环境下恢复细粒度结构，因此需要一种更为全面、考虑结构特性的方法来构建互补的深层表征，这也正是我们提出方法的核心思路——选择性整合和优化多尺度特征。为解决前文提到的问题，我们的主要贡献如下：首先，为弥补现有研究对中间层信息的忽视，我们设计了局部特征保留型中间特征融合模块，该模块整合选定的浅层和中间层特征，既保留精细的局部细节，又维持全局语义一致性，从而实现更清晰的边界和更好的定位效果；其次，为解决语义污染问题，我们提出了结构感知型互补特征融合模块，该模块绕过最终层注意力机制，依据LPMF2输出的浅层特征引导来构建互补的深层表征，从而恢复结构连贯性并提升密集patch特征的区分能力。我们的框架完全无需训练，且采用即插即用方式，可无缝集成到现有的基于CLIP的分割流程中。在八个开放词汇语义分割基准测试上的实验表明，该方法始终能带来显著的性能提升，证明了其有效性和通用性。本文的其余部分安排如下：第2节介绍相关研究，第3节详细阐述方法论，第4节说明实验设置及结果分析，最后第5节对全文进行总结。

相关片段
预训练视觉语言模型
预训练视觉语言模型旨在通过对比学习目标，学习图像与文本之间的共享嵌入空间。其中，CLIP[1]是最具代表性的框架之一，它在多种任务中展现出强大的零样本泛化能力。在此基础上，后续模型如ALIGN[21]和OpenCLIP[22]通过大规模噪声数据或系统化的规模分析，进一步提升了视觉语言对齐的能力和稳定性。

CLIP的视觉编码器
CLIP[1]采用视觉变换器作为视觉核心，将图像块编码到与文本表示对齐的共享嵌入空间中。输入图像X∈R^H×W×3会被划分为大小为P×P的不重叠网格块，从而形成h=H/P行和w=W/P列。每个块都会被线性投影到d维嵌入空间中。第一个变换器层（即第0层）的输入token序列为X?={xcls?,x??,…,x?×w?}∈R^(1+hw)×d，其中xcls?∈R^d。

数据集
我们在八个常用的开放词汇语义分割基准测试上评估了该方法。根据以往的研究[9],[16],[17],[18]，这些数据集根据是否定义背景类别被分为两类：（1）有背景类别的数据集：PASCAL VOC 2012[19]（VOC21）、PASCAL Context[49]（Context60）以及COCO Object[50]（Object）；（2）无背景类别的数据集：PASCAL VOC[19]（VOC20）、PASCAL Context[49]（Context59）、COCO-Stuff[50]（Stuff）、Cityscapes[51]以及ADE20K-150[52]（ADE20K）。

结论
在本文中，我们提出了MiddleCLIP这一无需训练的框架，它通过利用CLIP视觉变换器骨干网络中的多层级特征和结构线索，无需修改任何预训练参数即可提升开放词汇语义分割的性能。该方法包含两个即插即用模块，可无缝集成到现有的开放词汇语义分割方法中，从而获得更精确的分割结果。局部特征保留型中间特征融合模块能够整合选定的中间层和浅层特征，既保留精细的局部细节，又维持全局语义一致性。

作者贡献声明
肖锦：撰写与编辑、原始稿撰写、监督、方法论设计、资金获取、概念构思。陈代伟：软件开发、数据整理。石伟：软件开发、数据整理。庄绍：资源提供。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。肖锦在中国天津大学获得了电子信息工程专业的学士和博士学位，目前担任中国天津天宫大学计算机科学与技术学院的助理教授。2017年至2018年，他曾作为访问学生赴加拿大温哥华的不列颠哥伦比亚大学电气与计算机工程系学习。他的当前研究兴趣包括计算机视觉和多媒体领域。