《Journal of Systems Engineering and Electronics》:Enhancing Convolution for Transformer-Based Weakly Supervised Semantic Segmentation
编辑推荐:
为解决弱监督语义分割(WSSS)中CNN仅激活显著区域、Transformer存在背景噪声及Conformer并行结构交互弱的问题,研究人员开展了基于增强卷积的ECCAM模型研究。通过引入DStem、CFFN和FCUConv模块,在PASCAL VOC 2012数据集上取得了70.2%的mIoU,显著提升了伪标签质量。
在计算机视觉领域,语义分割(Semantic Segmentation)是一项基础且重要的任务,其目标是为图像中的每个像素分配一个语义类别标签。然而,全监督语义分割(Fully Supervised Semantic Segmentation, FSSS)依赖于大量精细标注的像素级标签,这些标签的制作成本高昂且耗时费力。为了降低标注成本,弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)应运而生,它仅使用图像级标签(即仅告知图像中存在哪些物体类别)来训练模型,从而极大地减轻了人工标注的负担。
在WSSS中,生成高质量的伪标签(Pseudo Labels)是决定最终分割性能的关键环节。传统方法主要基于卷积神经网络(Convolutional Neural Network, CNN)和类激活映射(Class Activation Mapping, CAM)。CNN-CAM方法能够通过加权求和特征图来粗略定位目标物体,但存在一个明显的缺陷:由于图像分类网络只关心图像中是否包含目标物体,因此CAM往往只激活物体最具判别性的区域(如鸟的头部),而忽略了物体的整体结构(如翅膀和身体),导致伪标签不完整。
近年来,基于Transformer的模型(如Vision Transformer, ViT)在计算机视觉任务中取得了显著进展。Transformer凭借其多头自注意力(Multi-Head Self-Attention, MHSA)机制,能够捕获图像的全局上下文信息,生成覆盖范围更广的注意力图。然而,Transformer-based WSSS方法(如MCTformer)也存在一些问题:生成的注意力图往往包含明显的背景噪声,且物体区域可能不连贯。
为了结合CNN和Transformer的优势,Conformer(Convolution-Transformer)这种并行混合架构被提出。它包含独立的CNN分支和Transformer分支,并通过特征耦合单元(Feature Coupling Unit, FCU)进行信息交互。TransCAM等工作尝试利用Conformer进行WSSS,利用CNN分支生成伪标签,并利用Transformer分支的注意力图进行细化。然而,Conformer的并行结构导致两个分支之间的信息交互不够紧密,CNN分支缺乏全局视野,Transformer分支缺乏局部细节,使得生成的伪标签仍然存在细节模糊和背景噪声的问题。
为了解决上述问题,本文提出了一种基于增强卷积的Transformer弱监督语义分割方法——ECCAM(Enhancing Convolution for Transformer-Based Weakly Supervised Semantic Segmentation)。该方法在Conformer架构的基础上,通过引入三个增强卷积模块,深度整合CNN的局部特征提取能力与Transformer的全局依赖建模能力,旨在生成更完整、更精确的伪标签。
关键技术方法
本研究以Conformer为基线网络,针对其信息交互弱的缺陷,提出了三个核心改进模块:
- 1.
更深层的茎干模块(Deeper Stem, DStem):替换了原Conformer中简单的卷积和池化层,采用三个卷积层进行浅层特征提取,摒弃最大池化层以减少信息损失,增强网络对局部细节的感知。
- 2.
卷积前馈网络(Convolutional Feed-Forward Network, CFFN):替换Transformer块中的标准前馈网络(FFN)。首先丢弃与图像区域无直接对应的类别标记(Class Token),将特征转换为二维结构后应用多层卷积操作,最后恢复形状并重新拼接类别标记,从而在Transformer中注入局部依赖性。
- 3.
带卷积的特征耦合单元(Feature Coupling Unit with Convolution, FCUConv):改进原FCU模块,在分支间特征变换时引入卷积操作,增强CNN与Transformer分支间信息交互的效率和局部性。
研究结果
3.1 模型架构与流程
整体流程:输入图像首先经过DStem模块提取基础特征Xbase。Xbase随后分别送入CNN分支和Transformer分支。CNN分支通过卷积块(类似ResNet块)处理特征,生成特征Yconv,并进一步生成CAM伪标签Mc。Transformer分支将特征转换为序列形式(含类别标记Xcls),经过多个由MHSA和CFFN组成的Trans块,生成特征Ytrans,并计算平均注意力图Aavg。两个分支通过FCUConv模块进行多次交互。最终,Mc与Aavg融合生成优化的伪标签M*c,用于训练最终的分割模型。
模块设计有效性:
- •
DStem:通过增加卷积深度和去除池化,保留了更多细节信息,为后续分支提供了更丰富的浅层特征。
- •
CFFN:通过卷积操作替代线性层,使Transformer在特征增强过程中能够感知局部上下文,有效减少了注意力图中的背景噪声和物体不连贯问题。
- •
FCUConv:卷积的引入使得分支间的特征交换不再是简单的线性投影,而是包含了空间局部性的融合,提升了双分支协作的效率。
3.2 实验验证
研究在PASCAL VOC 2012这一经典语义分割数据集上进行了验证。
- •
定量结果:ECCAM模型在PASCAL VOC 2012测试集上达到了70.2%的平均交并比(mean Intersection over Union, mIoU),相较于原始的Conformer-based方法和其他对比方法有显著提升,证明了所提模块的有效性。
- •
定性分析:可视化结果表明,ECCAM生成的伪标签相比基线方法,能够覆盖物体更完整的区域,同时背景噪声明显减少,物体边界更加清晰。
结论与讨论
本研究深入分析了Conformer在WSSS任务中的局限性,即CNN与Transformer分支间交互不足导致的伪标签细节缺失和噪声残留。针对此问题,提出的ECCAM模型通过DStem、CFFN和FCUConv三个模块,系统地增强了网络中的卷积(局部)操作,实现了全局依赖与局部细节的深度耦合。
重要意义:
- 1.
方法论贡献:ECCAM为CNN-Transformer混合架构的设计提供了新思路,证明了在Transformer中增强局部卷积操作对于密集预测任务(如分割)至关重要,而非简单地堆砌自注意力层。
- 2.
性能提升:在仅使用图像级弱监督的条件下,ECCAM在公开数据集上取得了竞争力的性能,证明了其生成高质量伪标签的能力,为降低语义分割的标注成本提供了有效的技术路径。
- 3.
通用性启示:文中提出的CFFN等模块具有通用性,可被借鉴用于其他需要结合全局上下文和局部细节的视觉任务中。
未来的工作可以探索将ECCAM框架应用于更广泛的弱监督视觉任务,并进一步优化模块间的信息流动效率。