通过双视图学习为半监督语义分割建模跨尺度一致性

《Neural Networks》：Modeling Cross-Scale Consistency via Dual-View Learning for Semi-Supervised Semantic Segmentation

　　

• •
  无需额外模型的跨尺度双视图（缩放/缩小）一致性学习。
• •
  CSP-Align 对齐非边界类原型以增强语义结构。
• •
  在 1/16 标签设置下，分别在 Pascal VOC 和 Cityscapes 上达到了 84.72% 和 81.02% 的 mIoU。
• •
  在 ISIC 医学分割和遥感变化检测中具有强大的泛化能力。

章节摘要

引言

语义分割（Chen, Papandreou, Kokkinos, Murphy, Yuille, 2018, Shelhamer, Long, Darrell, 2017, Zhao, Shi, Qi, Wang, Jia, 2017）是计算机视觉的一项基本任务，在自动驾驶的道路场景理解（Chen, Yuan, Zeng, Wang, 2021, Mittal, Tatarchenko, Brox, 2021, Wu, Fang, He, He, Ma, Zhong, 2023）、遥感中的土地覆盖分析（Bandara, & Patel, Wang, Chen, Ding, Tang, Luo, 2022a）以及智能医疗（Chi, et al., 2024, Yu,）中具有广泛的应用。

半监督语义分割

半监督语义分割（SSSS）旨在利用大量未标记数据来增强模型在有限标注条件下的语义理解能力。模型通常通过标记数据上的逐像素监督学习准确的表示，同时通过一致性正则化（Chen, Yuan, Zeng, Wang, 2021, French, Aila, Laine, Mackiewicz, Finlayson, 2020, Hu, Wei, Hu, Ye, Cui, Wang, ）等策略利用未标记数据中的潜在语义信息。

框架概述

为解决半监督语义分割中的跨尺度不一致性，我们的方法遵循渐进的两级设计。我们首先通过对同一未标记样本进行缩放和缩小变换来构建一对语义互补的双视图。基于这些双视图，我们通过 SEC-Fuse 在预测空间中提高监督质量，该机制自适应地融合双视图教师预测以生成更鲁棒的伪标签。我们进一步增强语义稳定性

数据集与评估协议

我们在两个广泛使用的语义分割基准（Pascal VOC 和 Cityscapes）、两个遥感变化检测数据集（LEVIR-CD 和 WHU-CD）以及一个医学皮肤病变分割数据集（ISIC）上评估了 CDV-CL 的有效性和泛化能力。详情如下。

Pascal VOC 包含 1464 张精细标注的图像和来自 SBD 的 9118 张额外标注，涵盖 21 个类别，包括 20 个前景类别和 1 个背景类别。遵循标准

结论

本工作解决了低标签半监督语义分割中与尺度变化相关的伪标签不稳定性和语义不对齐问题。为此，我们提出了一种跨尺度双视图一致性学习方法，将缩放和缩小视图建模为语义互补对，并在预测空间和特征空间中强制一致性。这一设计在不引入额外的情况下提高了伪标签稳定性和类别级语义一致性

CRediT 作者贡献声明

Chongdan Min: 写作 – 原稿，可视化，验证，软件，方法论，构思。 Tao Lei: 写作 – 审阅与编辑，写作 – 原稿，指导，研究，资金获取，构思。 Xingwu Wang: 写作 – 审阅与编辑，验证，软件，构思。 Yingbo Wang: 写作 – 审阅与编辑，验证，指导，软件。 Asoke K. Nandi: 写作 – 审阅与编辑，指导，构思。

利益冲突声明

作者声明他们没有任何已知的竞争财务利益或个人关系可能影响本文报告的工作。

Chongdan Min|Tao Lei|Xingwu Wang|Yingbo Wang|Asoke K. Nandi