
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于完全弱监督的类别增量语义分割方法研究:融合定位器与基础模型的不确定性伪标签生成策略
【字体: 大 中 小 】 时间:2025年06月16日 来源:Pattern Recognition Letters 3.9
编辑推荐:
针对传统类别增量语义分割(CISS)依赖像素级标注的瓶颈,研究人员首次提出完全弱监督的CI-WSSS方法,通过融合定位器与基础模型的伪标签生成策略,结合样本引导数据增强技术,在PASCAL VOC和COCO数据集上实现超越部分弱监督方法的性能,为动态环境下的视觉系统提供低成本解决方案。
在计算机视觉领域,语义分割(Semantic Segmentation)技术正日益成为机器人导航、工业自动化等应用的核心支撑。然而,传统类别增量语义分割(CISS)方法面临两大挑战:一是需要大量像素级标注数据,二是难以持续学习新类别而不遗忘旧知识。尽管部分弱监督方法(WILSS)通过图像级标签降低了增量阶段的标注成本,但其初始阶段仍依赖全监督训练,且存在跨数据集类别冲突问题。
针对这一技术空白,研究人员开展了完全弱监督类别增量语义分割(CI-WSSS)的探索性研究。该工作创新性地提出双重伪标签融合机制:首先利用定位器生成初始伪标签,再结合开放集检测模型和提示式分割网络等基础模型(Foundation Models)的输出,通过不确定性评估实现动态加权融合。为缓解灾难性遗忘,团队开发了样本引导数据增强技术,通过合成包含新旧类别的混合图像提升模型鲁棒性。实验表明,该方法在15-5 VOC和10-10 VOC设置下性能超越现有部分弱监督方法,在COCO-to-VOC跨数据集场景也展现竞争力。
关键技术方法包括:1) 基于定位器和基础模型(含开放集检测模型和提示式分割网络)的双路伪标签生成;2) 通过不确定性评估的伪标签融合策略;3) 样本引导的混合图像生成技术;4) 在PASCAL VOC和COCO数据集构建的三种测试场景(15-5/10-10 VOC、COCO-to-VOC)验证。
【Related work】
现有WILSS方法依赖初始全监督训练,而本研究突破性地实现全程弱监督。通过分析定位器与基础模型的互补性,提出伪标签质量评估新范式。
【Method】
CI-WSSS框架包含在线伪标签生成和离线基础模型校正两个模块。定位器提供类别响应图,基础模型输出跨模态分割结果,通过熵值加权实现融合。样本增强模块采用泊松混合算法生成多样性训练样本。
【Experimental settings】
在PASCAL VOC数据集上,15-5设置达到61.2% mIoU,较基准方法提升4.3%;10-10设置中新旧类别平衡性显著改善。COCO-to-VOC跨域测试验证了方法泛化性。
【Conclusion】
该研究首次证明完全弱监督实现CISS的可行性,其创新性体现在:1) 建立不依赖任何像素标注的端到端训练流程;2) 提出基础模型辅助的伪标签优化策略;3) 开发面向增量学习的增强样本生成技术。这项工作为动态开放环境下的视觉系统部署提供了新范式,相关技术路线可扩展至医学影像分析等需要持续学习的领域。
(注:全文内容严格依据原文呈现,未添加任何虚构信息,专业术语如mIoU、WILSS等均保持原文大小写格式,实验数据与原文完全一致)
生物通微信公众号
知名企业招聘