SA-DeepLab:通过像素级可切换空洞卷积增强DeepLabV3+以实现自适应多尺度语义分割

《Electronics》:SA-DeepLab: Enhancing DeepLabV3+ with Pixel-Wise Switchable Atrous Convolution for Adaptive Multi-Scale Semantic Segmentation

【字体: 大 中 小 】 时间:2026年08月29日 来源:Electronics 2.9

编辑推荐:

  语义分割为图像中每个像素分配语义标签,是计算机视觉的基础任务,应用于自动驾驶与医学影像等领域。现有分割方法无论基于CNN还是Transformer均存在局限:前者受固定膨胀率制约难以适应尺度变化,后者因自注意力二次计算复杂度难以高效部署。针对上述问题,研究人员

  
语义分割为图像中每个像素分配语义标签,是计算机视觉的基础任务,应用于自动驾驶与医学影像等领域。现有分割方法无论基于CNN还是Transformer均存在局限:前者受固定膨胀率制约难以适应尺度变化,后者因自注意力二次计算复杂度难以高效部署。针对上述问题,研究人员提出SA-DeepLab,一种结合可切换空洞空间金字塔池化(SA-ASPP)模块与解码器通道混洗操作的CNN框架。SA-ASPP采用可学习的空间开关图动态融合两种不同膨胀率的空洞卷积,实现逐像素自适应感受野选择;同时以深度可分离空洞卷积替代最大膨胀分支以降低计算开销。通道混洗操作跨组重排特征通道,促进组间信息交换且不引入额外参数。在Pascal VOC 2012与Cityscapes上的实验表明,SA-DeepLab以轻量框架取得具竞争力的mIoU(86.30%与81.78%),在精度-效率权衡上优于CNN与Transformer类对手。
研究背景方面,语义分割旨在为图像逐像素赋标签,现有CNN方法如FCN、DeepLabV3+(Xception骨干)与HRNet依赖深宽架构与固定膨胀率空洞卷积,参数量大且尺度适应性差;Vision Transformer(ViT)类如SETR、SegFormer借自注意力获全局感受野,但计算随分辨率呈二次增长,边界细节弱且需大规模预训练。为在有限资源下兼顾精度与效率,研究人员沿用CNN归纳偏置,引入可学习开关图模拟Transformer自适应感受野机制,提出纯CNN框架SA-DeepLab。该研究发表于《Electronics》,意义在于以更低FLOPs逼近或超越轻量Transformer,提供易嵌入现有CNN骨干的实时分割方案。
关键技术方法上,骨干采用ImageNet预训练的Xception-65(output stride 16),在Pascal VOC 2012(增广至10582训练图)与Cityscapes(2975训练图,2048×1024)评测;优化器为SGD(momentum 0.9),poly学习率,前50 epoch冻骨干后100 epoch微调,固定随机种子11单次确定运行;核心模块含SA-ASPP(含Pre/Post全局上下文、像素级开关图生成子网络由5×5平均池化、1×1卷积与sigmoid构成)、以深度可分离空洞卷积替换ASPP第四分支、解码器拼接后接通道混洗(组数G=2)。
研究结果部分,网络架构小节说明高层语义特征入SA-ASPP、低层细节经1×1卷积降维至48通道后与ASPP上采样特征拼接,通道混洗后经3×3卷积与上采样出图。SA-ASPP小节中,Switchable Atrous Convolution(SAConv)以预全局上下文增强输入,由开关图M∈[0,1]H×W对膨胀率r与2r的双分支输出做逐像素加权融合,再经后全局上下文输出,实现逐位置感受野自适应;Depthwise Separable Atrous Convolution(DSAConv)将标准空洞卷积分解为逐通道深度空洞卷积与1×1点卷积,大幅降压参数量。通道混洗小节形式化描述reshape为(C/G,G,H,W)转置首两维回扁平,零参数零FLOPs促组间融合。
实验章节中,主对比显示Pascal VOC 2012上SA-DeepLab达86.30% mIoU、96.2%像素精度,158.5 G FLOPs、52.9 M参数;Cityscapes上81.78% mIoU、95.8%像素精度,317.0 G FLOPs。消融研究逐次加ASPP(VOC +3.66、Cityscapes +4.02 mIoU)、加Channel Shuffle(VOC +1.43、Cityscapes +1.60且无开销)、以SAConv替二三支+DSAConv替第四支(VOC 86.46→86.30,Cityscapes 81.90→81.78,FLOPs与参数下降);SAConv组件消融证伪去全局上下文降至85.73%、通道门85.88%、标量门85.51%,三率融合86.47%但开销激增;DSAConv对比替身实验中以86.30%优于空洞可分离(85.32%)、低秩(84.34%)等;开关图可视化示边界与小物体响应高,trimap mIoU 82.6%(比DeepLabV3+ +1.7)、小物体IoU 74.3%(+1.4);实测速度VOC 38.1 FPS(26.2 ms)、Cityscapes 28.4 FPS(35.2 ms),显存2.9 GB级,较SegFormer-B5快逾两倍。
讨论与结论翻译部分,论文结论指出:SA-DeepLab继承Xception与DeepLabV3+解码结构,以可学习空间开关图动态融合双膨胀率克服ASPP固定膨胀局限,以DSAConv替最大膨胀支降低开销,通道混洗无参促跨组融合;在Pascal VOC 2012与Cityscapes上取得竞争力精度,精度-效率权衡优于CNN与Transformer对手;代码将公开。研究人员指明SAConv双分支并行仍增计算,未来可通过结构重参数化或扩至全ASPP分支进一步优化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号