OAR：面向免训练开放词汇语义分割的离群值感知特征重建

《Neurocomputing》：OAR: Outlier-aware feature reconstruction for training-free open-vocabulary semantic segmentation

　　

摘要

诸如CLIP等视觉-语言模型在开放词汇语义分割（OVSS）中展现了卓越的能力。然而，CLIP的图像级预训练目标往往在某些空间标记中诱发出虚假的高响应，即异常值，这些异常值使模型的注意力从目标对象转移到语义无关的背景上。现有方法在有效抑制这些异常值干扰方面仍然有限，从而制约了密集预测和分割性能。为解决这一问题，我们提出了异常感知特征重建（OAR），一种免训练的OVSS框架，能够在抑制异常值干扰的同时恢复异常值抑制过程中受损的结构细节。具体而言，我们设计了局部异常抑制（LOS）模块，基于标记特征的分布偏差自适应地检测异常值，并通过邻居引导的特征重建来替换异常值。此外，为减轻LOS过程后可能造成的空间结构细节损失，我们引入了语义引导增强（SGE）模块，该模块使用CLIP派生的语义相关性亲和矩阵来选择性注入DINOv2特征。在八个基准上的大量实验表明，OAR与代表性OVSS方法相比取得了具有竞争力的免训练性能，使用ViT-B/16和ViT-L/14骨干网络分别获得了44.5%和45.2%的平均mIoU。

引言

开放词汇语义分割（OVSS）旨在为图像中的每个像素分配一个语义标签。与受限于固定封闭词表的传统语义分割方法不同，OVSS能够基于自由形式的文本查询处理已见和未见类别。OVSS领域的近期进展在很大程度上得益于CLIP等视觉-语言模型，其图像-文本对比预训练在广泛词汇范围内生成了可迁移的视觉-文本表示。现有OVSS方法可分为两类范式：微调或免训练。尽管微调流程取得了具有竞争力的性能，但它需要额外的下游监督信号和参数优化，并且可能会损害CLIP在预训练期间学到的原始视觉-语言对齐能力。相比之下，免训练流程避免了下游可学习参数优化和微调，更好地保留了CLIP的原始泛化能力，并便于无需针对特定任务重新训练即可快速迁移到新的领域或类别。

对免训练OVSS的近期分析表明，具有虚假高响应的异常标记是导致分割性能下降的主要原因。先前的研究进一步表明，这些异常值通常出现在背景区域，且与局部图像语义不一致。当视觉表示聚合来自这些异常值的信息时，所得到的相似度图容易偏向语义无关的区域，使得真正目标更难定位。如图1所示，橙色圆圈标记的响应在不同目标对象中始终出现在背景区域，而目标对象区域由红色星号标记。这些持续存在的异常值因此成为免训练OVSS中分割性能下降的主要原因。

为抑制这些异常值造成的干扰并获得更可靠的语义表示，近期OVSS方法从两个方面改进了冻结的CLIP，如图2所示。一些方法重建了CLIP的注意力机制，以解决其固有的空间不变性和局部交互有限问题，从而应对密集预测任务。其他方法利用外部模型引导CLIP注意力朝向语义相关区域。最近，SFP明确地将问题形式化为通过逐层特征纯化和层次注意力集成来抑制传播的异常值。然而，这些方法主要在全局或跨多个层次上细化表示，而异常值往往是局部且稀疏分布的。因此，均匀的纯化可能无法解决某些虚假响应，也可能在抑制异常值的同时损害目标物体结构。这些观察表明，有效的免训练OVSS应该有选择地抑制异常值，同时显式保留或恢复与目标相关的结构。

为了解决局部异常标记对开放词汇语义分割的不利影响，我们提出了异常感知特征重建（OAR），一个执行精确局部异常抑制的免训练框架。该方法避免了修改大部分正常视觉标记，从而保留大多数特征的原始语义。然而，它仍然不可避免地会损害与异常标记相邻的精细物体边界和纹理。因此，我们的框架进一步恢复这些受损的结构细节，以确保目标对象的准确完整分割。具体而言，OAR首先从CLIP相似度图中提取基于文本的候选区域，该区域保留了目标相关标记和虚假激活的异常值，同时过滤掉明显低响应的背景和大多数无关类别。在此候选区域内，OAR引入了局部异常抑制（LOS）模块，该模块使用中位数绝对偏差（MAD）基于标记特征分布偏差自适应检测异常值，并通过邻居引导的特征重建来替换它们。然而，由于选择性抑制可能仍然会损害精细结构和边界连续性，OAR进一步引入了语义引导增强（SGE）模块，该模块使用CLIP派生的语义相关性亲和矩阵将DINOv2特征选择性注入到优化后的CLIP特征中，从而恢复结构细节并恢复边界连续性，同时不重新引入无关的背景噪声。在八个基准上的大量实验表明，OAR分别使用ViT-B/16和ViT-L/14骨干网络达到了44.5%和45.2%的平均mIoU。

我们的贡献可总结如下：

• •
  我们设计了一个局部异常抑制（LOS）模块，利用稳健统计偏差自适应检测局部异常值，并通过来自邻近特征的亲和加权重建来替换它们。这种选择性抑制策略减少了局部异常值干扰，同时保留了局部语义一致性。
• •
  我们引入了一个语义引导增强（SGE）模块，利用DINOv2的精细空间特征来恢复在异常值抑制过程中受损的结构细节和边界连续性。SGE不是直接融合，而是使用CLIP派生的语义相关性亲和矩阵来指导将DINOv2特征选择性注入到优化后的CLIP特征中。
• •
  我们在八个开放词汇语义分割基准上进行了大量实验。定量和定性结果表明了OAR的有效性，与代表性OVSS基线和现有异常值抑制方法相比取得了具有竞争力的性能。

章节片段

相关工作

视觉-语言预训练。视觉-语言预训练已成为计算机视觉中的一个通用范式，能够从大规模图像-文本数据中进行多模态表示学习。与受限于有限训练数据的早期方法相比，近期的对比模型利用大规模图像-文本对为图像和文本建立共享嵌入空间。这一共享空间使得视觉和文本之间的直接相似性匹配成为可能。

预备知识

免训练开放词汇语义分割（OVSS）方法利用预训练的CLIP模型将其丰富的视觉-语言对齐能力迁移到密集预测任务中。给定一个输入图像，CLIP视觉编码器开始处理时，将输入图像分割成固定大小的不重叠补丁。这些补丁被展平并通过线性投影映射到潜在嵌入空间中。随后，可学习的位置...

实验设置

数据集。为全面评估OAR的性能，我们严格遵循免训练开放词汇语义分割的标准评估协议，在八个广泛使用的基准数据集上进行实验。这些数据集根据是否包含背景类别分为两组。不含背景类别：该组包括PASCAL VOC 2012（VOC20）、PASCAL Context 59（Context59）、COCO Stuff（Stuff）、Cityscapes和ADE20...

结论

在本文中，我们提出了OAR，一个用于开放词汇语义分割的免训练框架，旨在抑制CLIP图像级预训练引起的持续异常值干扰。具体而言，在基于文本的候选区域内，所提出的局部异常抑制（LOS）模块自适应检测统计偏差标记，并通过邻居引导的特征重建来替换它们，从而在抑制虚假响应的同时保留局部语义...

CRediT作者贡献声明

席晓彤：撰写原稿、方法学、形式化分析、数据整理、概念构思。刘晓辰：调查研究、概念构思。姚航：可视化、验证、调查研究。张新鹏：验证、调查研究。李小强：撰写审阅和编辑、监督指导。尹昌庆：撰写审阅和编辑、监督指导。

利益冲突声明

作者声明他们不存在已知的利益冲突或个人关系，这些冲突或关系可能被认为会影响本论文中报告的工作。

席晓彤：2024年在中国衡阳南华大学获得软件工程学士学位。她目前正在中国上海上海大学计算机工程与科学学院攻读计算机科学与技术硕士学位。她目前的研究兴趣包括计算机视觉、图像分割和相关视觉理解任务。

席晓彤|刘晓辰|姚航|张新鹏|李小强|尹昌庆