用于少样本语义分割的模态一致视觉增强网络

《Pattern Recognition》:Modality-Consistent Visual Enhancement Network for few-shot semantic segmentation

【字体: 大 中 小 】 时间:2026年09月21日 来源:Pattern Recognition 9.1

编辑推荐:

   •提出 MCVE-Net 以实现模态一致的小样本分割。 •引入 VRA 以捕获具有判别力的 CLIP 视觉特征。 •设计 ASPR 通过注意力优化来细化粗糙先验。 •解决 FSS 中的视觉多样性和模态差距问题。 •在 PASCAL-5i 和 COCO-20i 上取得最先进(S

  

•提出 MCVE-Net 以实现模态一致的小样本分割。
•引入 VRA 以捕获具有判别力的 CLIP 视觉特征。
•设计 ASPR 通过注意力优化来细化粗糙先验。
•解决 FSS 中的视觉多样性和模态差距问题。
•在 PASCAL-5i 和 COCO-20i 上取得最先进(SOTA)性能。

介绍
在过去二十年中,语义分割经历了由全卷积网络(FCNs)和视觉变换器(vision transformers)等创新推动的革命性进展。然而,这一进展从根本上受限于其对大规模、像素级标注数据集的巨大需求,收集这些数据需要耗费高昂的人工成本。为了打破这种依赖,小样本分割(FSS)作为一种范式转换的解决方案应运而生。具体来说,FSS 赋予了模型仅凭借少量标注的支持样本即可高精度分割未标注查询图像的 remarkable 能力。这种方法有效地将有限的基类语义知识迁移到新颖的未见类别,从而在保持竞争性性能边界的同时,极大地减少了对穷尽性标注工作的需求。

现有的 FSS 方法通常分为两种范式:原型级匹配和像素级匹配。原型级方法将每个类别表示为特征空间中的原型,通过计算查询像素与对应原型之间的距离来实现像素分类。相比之下,像素级匹配在查询图像和支持图像之间建立直接的逐像素对应关系,通过局部特征交互实现分割。这些方法采用各种策略来有效利用有限的标注样本进行分割,从而提高模型的泛化能力。其中,使用基于提示的文本原型已成为缓解泛化不足的一种流行方法。例如,MIANet 引入了一个通用信息模块(GIM),旨在利用基于类别的词嵌入生成通用类别原型,从而补偿由类内变异引起的缺失类别信息。然而,复杂的视觉场景通常表现出巨大的视觉多样性,仅用单个文本向量来表示整个类别是不充分的。此外,文本向量和视觉特征之间存在固有的模态差距。这种差异导致对于类内变异显著的对象泛化能力差,且无法捕获查询图像的具体特征。

为了解决文本引导的局限性,我们提议使用从 CLIP 图像编码器中提取的 CLIP 视觉特征来增强视觉多样性的表示,从而保持模态一致性。如图 1 所示,现有方法简单地与文本原型进行通道级拼接。定性比较清楚地表明,基线模型在处理显著视觉多样性时存在困难,而我们的 MCVE-Net 有效地增强了其表示并产生了视觉优越的结果。具体来说,我们引入了视觉反向注意力(VRA)模块,在增强视觉多样性表示的同时保持模态一致性。VRA 模块专门设计用于捕获通常被传统注意力机制忽略的 CLIP 独特特征。通过采用 VRA,模型增强了抑制类似前景的背景区域的能力,这种创新设计对于有效表示视觉多样性至关重要。

此外,引入先验掩码长期以来被认为是缓解泛化挑战的有效策略。先前的研究通过各种技术手段构建了各种形式的先验掩码,例如基于支持 - 查询特征相似度的相关性图或由预训练模型生成的显著性图。这些先验作为粗略的定位指南,通过将在焦点区域内的匹配过程约束起来,显著增强了小样本分割的稳定性。然而,生成的先验掩码往往过于粗糙,导致目标完整性受损。

为解决此问题,我们考虑细化先验掩码以实现更好的定位指南。虽然 PI-CLIP 试图使用中间注意力图构建细化矩阵,但它本质上假设所有注意力层的贡献相等,这显然是一个不合理的假设。基于此见解,我们引入了基于注意力的语义先验细化(ASPR)模块。该模块包含两个核心组件:一个注意力一致性过滤机制,计算初始先验与自注意力图之间的差异,以建立自适应阈值来选择最具判别力的注意力图并有效抑制噪声干扰;以及一个高阶细化矩阵构建过程,将过滤后的可靠注意力图与初始先验的亲和图深度集成,以生成具有更清晰结构的优化矩阵。

最后,我们提出了模态一致视觉增强网络(MCVE-Net),它整合了视觉反向注意力模块和基于注意力的语义先验细化模块。VRA 模块通过反向注意力捕获具有判别力和 CLIP 独特的视觉特征,以增强视觉多样性表示,而 ASPR 模块通过自适应细化生成精确的先验掩码,提供更准确的地定位指南。我们的贡献如下:
•我们提出 MCVE-Net,用 CLIP 视觉特征作为主要引导替代基于提示的文本原型,以确保模态一致性和视觉多样性,同时仅保留文本用于初始语义先验。
•我们设计了一个 VRA 模块,通过反向注意力主动从 CLIP 中提取具有判别力和独特的视觉特征。这些特征大大增强了模型抑制类似前景的背景区域的能力。
•我们引入了一个 ASPR 模块,通过注意力一致性过滤机制和高阶矩阵优化,将 CLIP 生成的粗糙先验动态细化为高质量的先验掩码,显著增强了先验掩码的定位精度。
•在 PASCAL-5i 和 COCO-20i 两个数据集上均取得了最先进的性能,同时大量的消融研究进一步验证了所提方法每个组件的有效性。

部分摘要
小样本学习
作为小样本分割(FSS)的基础框架,小样本学习(FSL)旨在仅使用有限的一组标注示例为新颖任务构建分类模型。关键在于,FSL 建立了核心学习范式,使 FSS 能够利用基类知识快速适应未见类别。FSL 的主要方法论是元学习,它进一步分为三个主要分支:(1)基于度量的

问题定义
小样本分割旨在通过训练于基类的模型来分割新颖类别,大多数现有方法采用元学习框架。在训练期间,模型通过多个元学习任务进行优化,而在测试阶段则在未见类别上评估其分割能力。我们正式定义训练数据集和测试数据集及其对应的类别集合,其中。训练后的模型

实验设置
数据集。在两个广泛使用的小样本分割数据集:PASCAL-5i 和 COCO-20i 上进行了严格的实验,以全面评估所提方法。PASCAL-5i 源自 PASCAL VOC 2012 并通过 SDS 增强,后者是分割任务的一个基础资源。该数据集包含 20 个不同的类别,包括人、猫、狗、汽车和飞机,均匀分布在四个折中,其中包含 5 个类别。

结论
在本文中,我们重新审视了如何更有效地利用 CLIP 的能力来增强 FSS 模型的泛化,并证明使用 CLIP 的视觉特征而不是基于提示的文本原型是更合理的方法。提出的模态一致视觉增强网络在保持模态一致性的同时增强了视觉多样性的表示,从而提高了分割性能。具体来说,我们设计了一个视觉反向注意力模块

CRediT 作者贡献声明
孙林码:撰写 – 审阅与编辑,撰写 – 原稿,方法学,资金获取,概念化。简月雷:可视化,验证,软件,调查。王晓峰:撰写 – 审阅与编辑,监督,项目管理。邹乐:撰写 – 审阅与编辑,监督,资金获取,形式分析。

利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系可能会影响本文所述的工作。

致谢
本研究得到安徽省教育厅自然科学基金(编号:2024AH051514)和合肥学院科学研究与人才发展基金资助(编号:24RC22),部分得到安徽省高校科学研重大项目资助(编号:2025AHGXZK20063)。

孙林码 | 简月雷 | 王晓峰 | 邹乐
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号