基于高斯原型的解耦解码器用于弱监督语义分割

《Expert Systems with Applications》:Decoupled Decoder with Gaussian Prototypes for Weakly-Supervised Semantic Segmentation

【字体: 大 中 小 】 时间:2026年09月22日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •我们提出了一种解耦解码器,以减少CLIP和DINO特征之间的干扰。•我们设计了一种新颖的高斯原型模块,用于建模按类别划分的特征分布。•我们提出了一种新颖的单阶段弱监督语义分割框架。引言语义分割旨在为图像中的每个像素分配一个语义类别(Shelhamer, Long, & Da

  
  • •
    我们提出了一种解耦解码器,以减少CLIP和DINO特征之间的干扰。
  • •
    我们设计了一种新颖的高斯原型模块,用于建模按类别划分的特征分布。
  • •
    我们提出了一种新颖的单阶段弱监督语义分割框架。

引言

语义分割旨在为图像中的每个像素分配一个语义类别(Shelhamer, Long, & Darrell, 2017),在自动驾驶、医学图像分析和遥感等许多现实应用中发挥着至关重要的作用(Kim, Lee, Choe, & Shim, 2024)。尽管基于全监督卷积神经网络的方法已取得显著性能,但它们严重依赖密集的像素级标注。此类标注既昂贵又耗时,尤其是在需要专业知识的领域。因此,这一巨大的标注负担对语义分割的大规模部署构成了重大挑战。
弱监督语义分割(WSSS)(Ahn, Cho, & Kwak, 2019)通过利用弱监督信息来减轻标注成本,例如图像级标签(Ahn & Kwak, 2018)、涂鸦标注(Liang, Wang, Zhang, Sun, & Shen, 2022)或边界框(Song, Huang, Ouyang, & Wang, 2019)。其中,图像级监督因其最小的标注成本而尤为引人注目。早期的WSSS方法依赖于类别激活映射(CAMs)(Zhou, Khosla, Lapedriza, Oliva, & Torralba, 2016)来定位判别性物体区域。然而,CAMs往往仅突出最具有判别性的部分,导致伪标签不完整(Lee, 2013),无法充分覆盖目标物体。
为了提高伪标签的质量,研究人员探索了多种增强策略。基于跨像素相似性的方法通过像素之间的语义亲和力传播初始标签(Caron et al., 2021),而跨图像一致性方法则利用多张图像之间的语义相关性来弥补单张图像中的缺失信息(Fan, Zhang, Tan, Song, & Xiao, 2020)。尽管取得了这些进展,此类方法的有效性本质上仍受到在ImageNet上预训练的骨干网络有限表示能力的制约(Deng et al., 2009)。
近年来,大规模预训练模型的出现彻底改变了WSSS范式。特别是,CLIP等视觉-语言预训练模型(Radford et al., 2021)通过对数亿图像-文本对进行对比学习训练,展现出强大的跨模态理解和零样本识别能力。这些特性已被有效应用于WSSS中,用于优化CAMs或直接生成伪标签,例如PI-CLIP(Wang, Zhang, Pang, Chen, & Liu, 2024)和LayerCLIP(Sun, Zou, Lv, Wu, & Wang, 2026)。此外,近期的单阶段方法,包括WeCLIP(Zhang, Yu, Wei, Zhao, & Xiao, 2024)和WeCLIP+(Zhang, Yu, Xiao, Wei, & Zhao, 2025),引入了一种新范式。这些方法不再微调预训练骨干网络,而是将多个骨干网络作为冻结的特征提取器,仅训练一个轻量级解码器进行分割。这一设计不仅保留了预训练模型丰富的语义知识,还确保了计算效率,为当前WSSS研究建立了强有力的基线。
尽管取得了这些进展,多骨干框架仍面临两个关键挑战。首先,从CLIP(Radford et al., 2021)和DINO(Oquab et al., 2023)提取的特征存在固有的异质性。当联合处理CLIP和DINO特征时,共享解码器限制了模型适应异质特征分布的能力。具体而言,CLIP特征从图像-文本对比目标中学习,编码了高级语义抽象和强判别能力;而DINO特征源自自监督的图像内学习,保留了丰富的局部和结构细节。如图1(a)和图2所示,共享解码器难以有效协调这些异质表示,导致特征混淆和潜在的信息损失(Janneh, Zhang, Cui, & Yang, 2023)。其次,在伪标签优化过程中,冻结骨干网络生成的CAMs是静态的,没有将伪标签的置信度与特征分布关联起来(Jiang, Zheng, & Zhang, 2025)。如图1(b)所示,初始伪标签中引入的噪声倾向于在整个训练过程中积累和传播,从而限制了最终的分割性能。从特征空间角度来看(如图2所示),伪标签像素在高维空间中不仅在不同类别之间,而且在每个类别内部都遵循混合高斯分布。距离分布中心较近的像素通常表现出更高的语义置信度,而较远的像素则更可能是噪声或模糊的。此外,类内多样性也可能导致高斯分布的形成。因此,与像素分布相关联的伪标签置信度能够生成更可靠的CAMs。
为了解决这些局限性,我们提出了DDG-CLIP,一种利用解耦解码器与高斯原型的新颖弱监督语义分割框架。该方法基于两项关键创新。首先,我们提出了一种解耦解码器架构,明确解决了来自不同预训练模型(如CLIP和DINO)的特征异质性问题。与采用共享解码器的现有方法不同,我们的方法为每个特征源分配独立的解码器,使其能够针对各自的表示特性进行模型特定的适应。CLIP分支捕获语义丰富的全局上下文,而DINO分支保留细粒度的结构细节。随后引入一个融合模块来有效整合这些互补表示,从而在避免特征干扰的同时增强分割性能(Li, Hu, Ren, Xi, & Fan, 2025)。其次,我们提出了一种高斯原型模块用于伪标签优化。虽然先前的研究已探索了使用高斯表示来建模按类别划分的特征分布,但此类公式通常假设每个语义类别内部为单峰分布。然而,由于类内存在较大的变异性,特别是当物体表现出多样的外观或复杂的结构时,这一假设在实践中往往被违背。在真实场景中,属于同一类别的特征可能在特征空间形成多个不同的簇(Wu et al., 2026)。为解决这一局限性,我们使用多个高斯原型来表示每个语义类别,从而能够更灵活地建模多样的类内特征模式。这一公式提供了对复杂特征分布更精确的近似,并允许每个像素与其最具代表性的子原型关联。因此,所提出的方法能够生成更可靠的概率伪标签,并有效抑制训练过程中的噪声积累。
我们的贡献总结如下:
  • •
    我们提出了一种解耦解码器架构,分别处理CLIP和DINO特征,减少了异质表示之间的干扰,使其能够更有效地利用互补特性。
  • •
    我们设计了一种高斯原型模块(GPM)用于伪标签优化。该模块使用多个高斯原型建模每个语义类别,能够更灵活地表征类内特征分布,从而提高监督质量。
  • •
    我们提出了单阶段的DDG-CLIP框架。这一统一设计明确解决了异质表示导致的特征干扰问题,并缓解了伪标签噪声。
  • •
    在标准基准上的大量实验表明,DDG-CLIP优于现有的WSSS方法,消融研究进一步证实了各组件的贡献。

章节摘要

基于图像级标签的弱监督语义分割

在各种弱监督类型中,图像级标签因其最小的标注成本而受到最多关注(Lu, Jiang, & Zhang, 2024)。主要难点在于从粗略的图像级监督中推导出可靠的像素级伪标签(Kim, Han, & Kim, 2021)。
早期开创性工作依赖于CAMs,通过利用分类网络的最终卷积特征图来定位判别性图像区域,从而产生初始的像素级响应。

整体框架

我们提出了DDG-CLIP,一种新颖的单阶段弱监督语义分割框架。如图3所示,输入图像首先由冻结的CLIP和DINO图像编码器处理,以提取两个互补的特征图。同时,类别标签被转换为文本提示并输入冻结的CLIP文本编码器,以获得文本嵌入。基于这些嵌入,使用Grad-CAM生成初始CAMs。提取的CLIP和DINO特征图随后被输入到它们各自的

数据集与评估

我们在PASCAL VOC 2012(Everingham, Van Gool, Williams, Winn, & Zisserman, 2010)和MS COCO 2014(Lin et al., 2014)数据集上进行实验,遵循标准的弱监督协议。PASCAL VOC 2012包含20个物体类别(外加背景),共10,582张训练图像和1,449张验证图像。MS COCO 2014包含80个类别,共82,783张训练图像和40,504张验证图像。与先前的WSSS工作一致,我们报告每类的平均交并比(mIoU)

结论

在本工作中,我们提出了一个名为DDG-CLIP的新颖框架,该框架集成了解耦解码器架构和高斯原型模块,以解决弱监督语义分割中解码器和类别之间的异质特征分布问题。解耦解码器架构为CLIP和DINO特征分配了专用的独立解码路径,从而更好地处理其异质特性。与共享解码器相比,这一设计

作者声明

我们确认所有署名作者均已阅读并批准本稿件,且没有其他符合作者资格标准但未列出的个人。我们进一步确认,稿件中列出的作者顺序已获所有人批准。Le Zou负责与其他作者沟通进展、提交修改稿以及对原始稿件进行最终批准。
所有作者如下:
Lingma Sun:概念化、方法论、写作-审阅

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Lingma Sun|Jun Li|Xianghu Lv|Ziyang Wang|Xiaofeng Wang|Le Zou
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号