超越像素：面向少样本语义分割的SAM对象级提示

《Image and Vision Computing》：Beyond pixels: Object-level prompting for SAM in Few-Shot Semantic Segmentation

　　

•基于SAM的少样本语义分割的对象级提示框架。
•基于最优传输的对象对齐方法，利用虚拟节点实现稳定匹配。
•Logit引导的循环一致性交叉注意力机制，抑制背景干扰。
•连续对象Logit图提供空间边界线索和似然先验。
•在PASCAL-5i数据集上，较VRP-SAM提升2.3%（1-shot）和5.9%（5-shot）。

引言

深度卷积神经网络[1]和视觉Transformer的发展推动了语义分割技术的进步[2]、[3]。然而，这些全监督模型通常依赖于大量且昂贵的像素级标注数据。为缓解这种数据依赖，少样本语义分割（FSS）应运而生[4]。近期，以Segment Anything Model (SAM) [5]为代表的视觉基础模型在广泛的下游任务中展现出强大的零样本泛化能力。例如，SAM已被适配用于通用医学图像分割[6]和视觉语言区域描述[7]。在RGB-热成像显著目标检测（RGB-T SOD）等多模态任务中，近期工作通过混合提示驱动的优化[8]和Kolmogorov-Arnold网络（KAN）适配器[9]来适配SAM。为了将SAM专门适配用于FSS任务，近期代表性方法[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]提出使用视觉参考提示（Visual Reference Prompts, VRP）为SAM的掩码解码器提供语义引导。在结构上，基于VRP的方法通常通过一个包含特征增强器和提示生成器的顺序流水线将SAM适配到少样本分割领域。

特征增强器在元学习框架下运行，将原型、查询图像伪掩码和支持掩码编码为图像特征，以显式地区分前景和背景表示。虽然该机制有效地增强了图像特征中的类别上下文信息，但它对查询图像伪掩码的质量非常敏感。这些伪掩码的生成通常依赖于前景原型与查询图像特征图之间的逐像素相似度计算[4]、[19]、[20]、[21]、[22]。由于空间特征图中不可避免存在的噪声，这种逐像素计算极易受到背景像素误激活或前景目标覆盖不完整（例如边界粗糙）的影响。这些误差随后会在语义感知编码阶段引入背景干扰或导致关键前景信息丢失，产生语义混合的特征，从而降低SAM的分割决策质量。

在特征增强之后，提示生成器利用带有可学习查询向量的交叉注意力机制[23]提取目标特定的语义线索，并生成最终的视觉参考提示（VRPs）。这种自动提示生成大幅简化了SAM的应用，消除了对人工几何提示（如点、框或掩码）的需求。然而，与显式几何提示相比，这些自动生成的抽象语义表示在实际应用中往往存在收敛较慢和提示质量不稳定的问题。尽管近期工作试图通过生成密集嵌入来补充空间信息[17]、[24]，但这些基于可学习向量的表示难以直接为SAM提供空间约束和边界约束。特别是当初始伪掩码质量较差或支持图像前景复杂时，这类抽象提示往往偏离或失效，导致SAM在分割时遗漏前景区域的部分内容。

为了克服逐像素匹配的局限性并弥补抽象提示在空间约束方面的不足，本文借鉴了人类视觉认知过程中"先建立对象，再赋予语义类别"的思路[25]、[26]。如图1所示，现有方法往往难以处理噪声和碎片化的特征匹配（a），而我们的方法将伪掩码和提示生成的粒度提升到对象级别（b）。具体而言，我们利用SAM将图像解析为一系列结构一致的候选对象。为了解决SAM的过度分割导致同一类别子区域之间语义不一致的问题[27]、[28]，我们将候选对象之间的匹配过程建模为最优传输（Optimal Transport, OT）问题[29]、[30]。通过计算全局最优的软分配分数，我们生成对象Logit图。当该图作为概率性连续视觉提示输入SAM掩码解码器时，它校准了目标的空间位置和边界，并传达其属于目标类别的似然概率。

此外，尽管对象Logit图提供了有效的空间提示，但其自身的类别语义相对较弱。为生成更具判别力的VRPs，我们进一步提出了一种对象Logit图引导的循环一致性交叉注意力模块，作用于对象级特征。在对象Logit图提供的匹配初始化下，该模块通过循环引导注意力偏置引入双向循环一致性约束：正向增强支持前景在查询目标上的激活，同时显式利用支持信息反向抑制查询图像中的非前景（背景）对象。这种双向约束有效过滤了背景干扰，使模型能够生成与空间提示协同作用的语义一致类别语义提示，实现精确分割。

本文的主要贡献总结如下：

•我们提出了对象级提示与特征增强方法：为解决逐像素伪掩码的局限性，我们提出了一种新颖的对象级提示方法。通过整合SAM的过度分割先验与最优传输理论，我们构建了对象Logit图。该图不仅为SAM提供包含似然概率的空间边界约束和掩码提示，还在特征编码阶段显式增强目标对象的语义表示。

•我们设计了Logit引导的循环一致性交叉注意力模块用于提示生成：为解决抽象提示生成中的语义混合问题，我们为提示生成器专门设计了Logit引导的循环一致性交叉注意力模块。通过引入这种循环引导的注意力偏置，该模块正向增强目标响应，同时显式抑制背景干扰，从而生成语义一致的VRPs。

•我们在PASCAL-5i和COCO-20i标准基准上进行了全面的实验验证。定量结果表明，我们提出的对象级提示框架相较于现有视觉参考提示范式取得了显著提升。值得注意的是，在PASCAL-5i数据集上，使用ResNet-50骨干网络时，我们的方法优于直接基线VRP-SAM 2.3%（1-shot）和5.9%（5-shot）。在更具挑战性的COCO-20i数据集上，我们的模型展现出有效的泛化能力，在5-shot设置下较基线获得4.1%的提升。

片段：

少样本语义分割

少样本语义分割（Few-Shot Semantic Segmentation, FSS）[4]旨在仅利用少量带有像素级标注的支持图像，学习为新类别的查询图像生成密集预测。现有的大多数FSS方法可大致分为基于原型学习的方法[19]、[21]、[31]、[32]、[33]、[34]、[35]和基于亲和力学习的方法[20]、[22]、[36]、[37]、[38]、[39]、[40]、[41]。遵循原型学习范式，早期研究通常提取单一的全局原型。

问题定义

少样本语义分割（FSS）旨在仅使用少量带有像素级标注的样本，对包含未见类别的目标图像进行密集掩码预测。遵循标准FSS设置[4]，给定包含基类Ctrain的训练集Dtrain和包含新类Ctest的测试集Dtest，两个类别空间严格互斥，即Ctrain∩Ctest=?。为确保模型对新类别的泛化能力，模型在训练过程中。

数据集

为了严格评估我们提出方法的分割性能和泛化能力，我们在两个标准少样本分割基准上进行了大量实验：PASCAL-5i [4]和COCO-20i [62]。遵循先前工作广泛采用的评估协议，两个数据集均被均分为4折交叉验证。对于每个数据集，每折内的类别不重叠。具体而言，PASCAL-5i由PASCAL VOC 2012中的20个目标类别组成。

结论

本文提出了一种对象级提示框架，将SAM适配用于少样本语义分割。为解决逐像素匹配的局限性以及抽象语义提示缺乏空间约束的问题，我们将特征匹配粒度提升到对象级别。具体而言，我们利用SAM的过度分割先验和最优传输理论生成连续的对象Logit图，提供直接的空间边界约束并缓解类内

CRediT作者贡献声明

邓星宇：撰写——初稿、软件、方法论、调查研究、概念化。王成立量：撰写——审阅与编辑、监督、项目管理。吴兴：撰写——审阅与编辑、监督。曹希跃：验证、数据管理。吴昊：撰写——审阅与编辑、形式分析。王鹏：撰写——审阅与编辑、形式分析。王洪倩：撰写——审阅与编辑、形式分析。

代码可用性

源代码和预训练模型将在论文录用后公开。

资助

本工作得到了重庆市科技创新重点研发计划[项目编号：CSTB2025TIAD-STX0029]和重庆市高等教育教学改革研究重点项目[项目编号：252009]的资助。

未引用参考文献

[71]、[72]、[73]

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：王成立量报告获得了重庆市科学技术委员会的财务支持。王成立量报告获得了重庆市教育委员会的财务支持。如有其他作者，他们声明没有已知的潜在竞争财务利益或个人关系。

致谢

作者感谢匿名审稿人提供的宝贵反馈。

邓星宇 | 王成立量 | 吴兴 | 曹希跃 | 吴昊 | 王鹏 | 王洪倩