引言
语义分割旨在为图像中的每个像素分配一个语义类别(Shelhamer, Long, & Darrell, 2017),在自动驾驶、医学图像分析和遥感等许多现实应用中发挥着至关重要的作用(Kim, Lee, Choe, & Shim, 2024)。尽管基于全监督卷积神经网络的方法已取得显著性能,但它们严重依赖密集的像素级标注。此类标注既昂贵又耗时,尤其是在需要专业知识的领域。因此,这一巨大的标注负担对语义分割的大规模部署构成了重大挑战。
弱监督语义分割(WSSS)(Ahn, Cho, & Kwak, 2019)通过利用弱监督信息来减轻标注成本,例如图像级标签(Ahn & Kwak, 2018)、涂鸦标注(Liang, Wang, Zhang, Sun, & Shen, 2022)或边界框(Song, Huang, Ouyang, & Wang, 2019)。其中,图像级监督因其最小的标注成本而尤为引人注目。早期的WSSS方法依赖于类别激活映射(CAMs)(Zhou, Khosla, Lapedriza, Oliva, & Torralba, 2016)来定位判别性物体区域。然而,CAMs往往仅突出最具有判别性的部分,导致伪标签不完整(Lee, 2013),无法充分覆盖目标物体。
为了提高伪标签的质量,研究人员探索了多种增强策略。基于跨像素相似性的方法通过像素之间的语义亲和力传播初始标签(Caron et al., 2021),而跨图像一致性方法则利用多张图像之间的语义相关性来弥补单张图像中的缺失信息(Fan, Zhang, Tan, Song, & Xiao, 2020)。尽管取得了这些进展,此类方法的有效性本质上仍受到在ImageNet上预训练的骨干网络有限表示能力的制约(Deng et al., 2009)。
近年来,大规模预训练模型的出现彻底改变了WSSS范式。特别是,CLIP等视觉-语言预训练模型(Radford et al., 2021)通过对数亿图像-文本对进行对比学习训练,展现出强大的跨模态理解和零样本识别能力。这些特性已被有效应用于WSSS中,用于优化CAMs或直接生成伪标签,例如PI-CLIP(Wang, Zhang, Pang, Chen, & Liu, 2024)和LayerCLIP(Sun, Zou, Lv, Wu, & Wang, 2026)。此外,近期的单阶段方法,包括WeCLIP(Zhang, Yu, Wei, Zhao, & Xiao, 2024)和WeCLIP+(Zhang, Yu, Xiao, Wei, & Zhao, 2025),引入了一种新范式。这些方法不再微调预训练骨干网络,而是将多个骨干网络作为冻结的特征提取器,仅训练一个轻量级解码器进行分割。这一设计不仅保留了预训练模型丰富的语义知识,还确保了计算效率,为当前WSSS研究建立了强有力的基线。
尽管取得了这些进展,多骨干框架仍面临两个关键挑战。首先,从CLIP(Radford et al., 2021)和DINO(Oquab et al., 2023)提取的特征存在固有的异质性。当联合处理CLIP和DINO特征时,共享解码器限制了模型适应异质特征分布的能力。具体而言,CLIP特征从图像-文本对比目标中学习,编码了高级语义抽象和强判别能力;而DINO特征源自自监督的图像内学习,保留了丰富的局部和结构细节。如图1(a)和图2所示,共享解码器难以有效协调这些异质表示,导致特征混淆和潜在的信息损失(Janneh, Zhang, Cui, & Yang, 2023)。其次,在伪标签优化过程中,冻结骨干网络生成的CAMs是静态的,没有将伪标签的置信度与特征分布关联起来(Jiang, Zheng, & Zhang, 2025)。如图1(b)所示,初始伪标签中引入的噪声倾向于在整个训练过程中积累和传播,从而限制了最终的分割性能。从特征空间角度来看(如图2所示),伪标签像素在高维空间中不仅在不同类别之间,而且在每个类别内部都遵循混合高斯分布。距离分布中心较近的像素通常表现出更高的语义置信度,而较远的像素则更可能是噪声或模糊的。此外,类内多样性也可能导致高斯分布的形成。因此,与像素分布相关联的伪标签置信度能够生成更可靠的CAMs。
为了解决这些局限性,我们提出了DDG-CLIP,一种利用解耦解码器与高斯原型的新颖弱监督语义分割框架。该方法基于两项关键创新。首先,我们提出了一种解耦解码器架构,明确解决了来自不同预训练模型(如CLIP和DINO)的特征异质性问题。与采用共享解码器的现有方法不同,我们的方法为每个特征源分配独立的解码器,使其能够针对各自的表示特性进行模型特定的适应。CLIP分支捕获语义丰富的全局上下文,而DINO分支保留细粒度的结构细节。随后引入一个融合模块来有效整合这些互补表示,从而在避免特征干扰的同时增强分割性能(Li, Hu, Ren, Xi, & Fan, 2025)。其次,我们提出了一种高斯原型模块用于伪标签优化。虽然先前的研究已探索了使用高斯表示来建模按类别划分的特征分布,但此类公式通常假设每个语义类别内部为单峰分布。然而,由于类内存在较大的变异性,特别是当物体表现出多样的外观或复杂的结构时,这一假设在实践中往往被违背。在真实场景中,属于同一类别的特征可能在特征空间形成多个不同的簇(Wu et al., 2026)。为解决这一局限性,我们使用多个高斯原型来表示每个语义类别,从而能够更灵活地建模多样的类内特征模式。这一公式提供了对复杂特征分布更精确的近似,并允许每个像素与其最具代表性的子原型关联。因此,所提出的方法能够生成更可靠的概率伪标签,并有效抑制训练过程中的噪声积累。
我们的贡献总结如下:- •
我们提出了一种解耦解码器架构,分别处理CLIP和DINO特征,减少了异质表示之间的干扰,使其能够更有效地利用互补特性。
- •
我们设计了一种高斯原型模块(GPM)用于伪标签优化。该模块使用多个高斯原型建模每个语义类别,能够更灵活地表征类内特征分布,从而提高监督质量。
- •
我们提出了单阶段的DDG-CLIP框架。这一统一设计明确解决了异质表示导致的特征干扰问题,并缓解了伪标签噪声。
- •
在标准基准上的大量实验表明,DDG-CLIP优于现有的WSSS方法,消融研究进一步证实了各组件的贡献。