ES-SAM:用于语义分割的增强版语义-SAM

《Pattern Recognition》:ES-SAM: An Enhanced Semantic-SAM for semantic segmentation

【字体: 大 中 小 】 时间:2026年09月19日 来源:Pattern Recognition 9.1

编辑推荐:

   •我们提出了ES-SAM,一种增强型SAM架构,旨在解决SAM的语义局限性,与模式识别的核心关注点相契合;层次特征聚合(HFA)模块实现了有效的多级特征融合,减少了跨层级语义差距,丰富了图像嵌入。•ESM解码器配备了DGPQ和DFA,实现了空间特征与语义特征的动态融合,以及低

  
  • •
    我们提出了ES-SAM,一种增强型SAM架构,旨在解决SAM的语义局限性,与模式识别的核心关注点相契合;层次特征聚合(HFA)模块实现了有效的多级特征融合,减少了跨层级语义差距,丰富了图像嵌入。
  • •
    ESM解码器配备了DGPQ和DFA,实现了空间特征与语义特征的动态融合,以及低层细节与高层语义的融合。
  • •
    候选掩膜标记融合实现了提示语义与掩膜预测之间的标记级融合,增强了分割结果的类别可判别性。
  • •
    大量实验验证了ES-SAM的卓越性能,证明了所提融合策略的有效性及其对计算机视觉和信息融合领域的价值。

引言

语义分割是一项基础的计算机视觉任务,它为单位像素分配语义标签,广泛应用于自动驾驶、医学图像分析和遥感等领域。早期的进展主要由卷积神经网络(CNN)推动,它们在提取局部视觉特征方面表现出色[1]、[2]。近年来,Transformer展示了更优的全局上下文建模和长距离依赖捕获能力,将语义分割从基于CNN的架构转向基于Transformer的架构,并在各种数据集上取得了强劲的性能[3]、[4]。然而,这些高性能方法通常需要在大规模基准数据集上进行大量训练,限制了其泛化能力和实际适应性。在特殊场景下或训练数据稀缺时,它们往往难以生成准确的分割掩膜。
近期,CLIP [5]和SAM [6]等视觉基础模型引起了广泛关注。CLIP在大量图文配对数据上进行训练,而SAM则在1100万张图像和11亿个掩膜上进行训练。这些模型还支持灵活的基于提示的交互,能够实现文本引导的分类[5]以及通过几何提示(包括点、边界框和掩膜)进行分割[6]。这种提示机制增强了模型在复杂环境中的适应性。然而,SAM可能会生成不相关的类别并过度依赖局部线索,导致语义歧义。为缓解这一问题,Semantic-SAM整合了具有不同粒度的物体级和部件级分割数据集进行大规模训练[7]。然而,该策略需要大量的计算资源。如图1(a)所示,SAM-CLIP采用了一种更简单的集成方式,将SAM的空间理解与CLIP的语义感知相结合[8]。如图1(b)所示,ESC-Net使用CLIP衍生的图文相关性生成伪提示,然后将其纳入SAM[9]。如图1(c)所示,TRIPNet通过将CLIP衍生的语义线索转化为多个互补提示,进一步强化了CLIP-SAM的协作[10]。虽然这些研究通过CLIP辅助的语义引导或提示端适应增强了SAM,但它们提出了一个关键问题:SAM架构是否本身就具备足够的语义感知能力,还是其结构从根本上无法充分利用富含语义的提示来实现准确分割?
一种直接的解决方案是优化SAM的核心组件,包括图像编码器、提示编码器和掩膜解码器。现有的基于提示的适应方法主要增强语义引导,同时保留SAM原始的解码机制。相比之下,我们增强了掩膜生成过程中文本提示与图像嵌入之间的交互,以改善语义对齐。在将提示编码器替换为CLIP文本编码器之后,我们重点关注:(1)丰富图像编码器的语义表示,以及(2)增强掩膜解码器的语义感知。如图1(d)所示,我们基于原始SAM架构提出了增强语义SAM(ES-SAM)。对于图像编码器,层次特征聚合(HFA)将特征压缩块(FCB)与基于锚点的特征增强注意力(FEA)相结合,以深层语义特征作为锚点来整合互补的多级信息。对于掩膜解码器,我们设计了一个增强语义掩膜解码器(ESM解码器),其中融合了动态门控位置查询(DGPQ)以学习细粒度的位置查询,以及双焦点注意力(DFA)以增强图像特征与标记查询之间的交互。
该方法有效地弥合了图像编码器中不同特征层级的语义差距,同时增强了掩膜解码器的语义感知能力。此外,我们通过逐元素求和将输入提示标记与解码后的提示标记聚合。然后选择相似度分数最高的Top-K候选掩膜标记进行加权融合,生成与目标类别具有更强语义相关性的掩膜输出标记。实验结果表明,我们提出的ES-SAM在多个分割数据集上取得了卓越的性能。
我们将贡献总结如下。
  • •
    为了解决SAM图像编码器有限的语义捕获能力,我们提出了HFA模块,通过基于锚点的交叉注意力执行语义增强的多级融合,其中深层语义特征作为锚点来整合其他层级的互补表示,从而减少跨层级语义差距。
  • •
    我们提出了DGPQ和DFA以增强掩膜解码器的语义感知。DGPQ通过动态门控自适应调节位置编码,而DFA增强了图像-标记的语义交互并在解码过程中保留了低层结构细节。
  • •
    我们提出了一种基于相似度的候选掩膜标记融合方法,显式地将掩膜预测与文本提示对齐。它选择与提示标记最相似的Top-K掩膜标记,并使用温度缩放的softmax权重进行聚合,从而生成具有更强类别判别性的掩膜输出标记。
  • •
    我们在多个标准语义分割数据集上进行了系统性评估。结果表明,我们的ES-SAM在ADE20K数据集上取得了具有竞争力的52.3% mIoU,在PASCAL Context数据集上达到了惊人的64.9%。

章节摘要

语义分割

CNN大幅推动了早期语义分割的发展。FCN [1]首次实现了端到端的逐像素预测,此后研究主要集中在多尺度特征聚合(如[11]、[12])、注意力机制(如[13])以及高效网络设计(如[14]、[15])方面。近年来,Transformer [16]由于其强大的长距离依赖建模能力,已成为语义分割的主导骨干网络。现有的基于Transformer的方法通常

方法

受SAM [6]启发,我们提出了一种基于其基本架构的模型,称为增强语义SAM(ES-SAM),其结构概述如图2所示。第III-A节详细介绍了图像编码器,引入了层次特征聚合(HFA)模块以丰富图像嵌入的语义多样性。第III-B节简要介绍了文本编码器,其主要功能是编码一组简洁的文本提示。第III-C节聚焦于增强语义掩膜解码器,该解码器

实验设置

数据集。我们在两个广泛使用的语义分割数据集Pascal Context和ADE20K上评估了ES-SAM。Pascal Context包含10,103张图像,其中包括4998张训练图像和5105张验证图像,包含两个评估设置:PC-59和PC-459,分别涵盖59个和459个类别。ADE20K规模更大、更为复杂,包含20,210张训练图像和2000张验证图像,涵盖多种城市、室内和自然场景。它还提供了两种评估设置,A-150和

结论

在本研究中,我们提出了ES-SAM,一种基于Segment Anything Model构建的语义增强分割框架。ES-SAM通过层次特征聚合、增强语义掩膜解码器和语义相似度引导的掩膜选择,提升了SAM的语义判别能力。具体而言,层次特征聚合模块以深层语义特征作为锚点来整合多级表示,从而生成语义更丰富的图像嵌入。

CRediT作者贡献声明

杨旭东:写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证,监督,方法论,调查。范鑫楠:监督,项目管理,方法论,调查,数据整理,概念化。赵佩宇:写作 – 原稿撰写,可视化,验证。孙琦:写作 – 原稿撰写,验证,资源。石鹏飞:监督,调查,资金获取,形式分析,概念化。

利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系可能影响本文所述的工作。

致谢

本研究由国家自然科学基金(62476080)、国家重点研发计划(2022YFB4703400)和江苏省自然科学基金(BK20231186)资助。
杨旭东|范鑫楠|赵佩宇|孙琦|石鹏飞
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号