DAAM:基于分布对齐和亲和力匹配的半监督连续语义分割方法

《Expert Systems with Applications》:DAAM: semi-supervised continual semantic segmentation based on distribution alignment and affinity matching

【字体: 大 中 小 】 时间:2026年01月07日 来源:Expert Systems with Applications 7.5

编辑推荐:

  本文提出基于分布对齐和类间相似性匹配的半监督持续语义分割方法DAAM,通过Analogy-Aware Distribution Alignment(AADA)约束新旧类特征分布与参考分布的一致性,Inter-Class Affinity Matching(ICAM)保持旧类间语义关联,有效缓解分布漂移和语义结构瓦解导致的灾难性遗忘,在仅10%标注数据的PASCAL VOC 2012上mIoU达78.46%,优于全标注方法。

  
周慧|陶焕杰
西北工业大学计算机科学与技术学院,中国西安710129

摘要

持续语义分割(CSS)旨在使模型在图像语义分割任务中逐步获取新知识,同时减轻对先前学习知识的灾难性遗忘。然而,现有的CSS方法通常依赖于所有输入图像数据都具有像素级注释的假设。这一假设在现实世界应用中往往不切实际,因为只有少量的增量数据被标记。为了解决这个问题,我们提出了一种基于分布对齐和亲和力匹配(DAAM)的半监督持续语义分割方法。我们的框架包括两个关键机制:类比感知分布对齐(AADA)和类间亲和力匹配(ICAM)。具体来说,为了减轻累积分布漂移的影响,AADA通过将新旧类别的特征分布与相应的稳定参考分布对齐来明确限制特征分布的变化。此外,为了防止由于语义结构解体而遗忘已学习的概念,ICAM通过保持旧类别之间的稳定类间亲和力来有效巩固语义相关性。广泛的实验结果表明,我们的方法在PASCAL VOC 2012基准测试中仅使用10%的标记数据就实现了78.46%的mIoU,优于使用100%标记数据的现有CSS方法(例如TAGA)。我们的代码可在以下链接获取:https://github.com/creater-huizhou/DAAM。

引言

持续语义分割(CSS)旨在使模型在图像语义分割任务中不断学习新知识,同时保留从前任务中学到的知识,在自动驾驶和医学图像处理等领域具有重要的应用价值(Li等人,2025年;Michieli和Zanuttigh,2019年;Tao,2023年)。CSS的主要挑战可以总结为两个关键问题:(1)稳定性-可塑性困境:这指的是在保持稳定性(保留先前学习类别的知识以防止灾难性遗忘)和可塑性(有效学习新信息)之间找到平衡的难度(Baek等人,2022年;Tao,2024a年;Wang等人,2025年)。过于僵化的模型难以适应新任务,而过于灵活的模型则倾向于覆盖先前获得的知识;(2)背景语义漂移:最初,旧类别和未来类别都被归为同一个“背景”标签,导致模型将某些视觉特征与该广泛类别关联起来。然而,随着新类别的逐步引入,这些相同的特征可能后来代表不同的语义类别,从而在背景表示中产生歧义和误分类(Douillard等人,2021年;Phan等人,2022年;Tao,2024b年)。
现有的缓解这些问题的方法大致可以分为基于回放的方法(Cha等人,2021年;Maracani等人,2021年;Oh等人,2022年)、基于架构的方法(Sun等人,2024b年;Xiao等人,2023年;Zhang等人,2022a年)和基于蒸馏的方法(Cermelli等人,2020年;Yang等人,2022a年;Yang等人,2022b年)。尽管这些方法本身有效,但它们主要基于一个强烈且往往不切实际的假设,即数据流在像素级别上完全被标记,如图1(a)所示。这种对全面标记的依赖成为系统实际部署的显著瓶颈。
为了弥补这一差距,我们研究了一个更具挑战性但更现实的设置:半监督持续语义分割(SSCSS)。如图1(b)所示,SSCSS利用了部分标记的数据,其中只有一小部分样本被标记,因此与实际情况更为吻合。最初尝试将半监督学习技术(如一致性正则化框架(Yang等人,2023a)应用于这个问题时,发现了一个关键的未解决权衡:它们增强了新类别的可塑性(图2(b)),但严重损害了旧类别的稳定性(图2(a))。我们将这种现象归因于实验中使用的扰动操作(包括数据增强和特征扰动)。这些操作通过局部分布移动使决策边界向低密度区域移动,使当前新类别的特征分布逐渐接近真实的底层分布。然而,在持续学习的过程中,连续分布移动的累积效应逐渐放大了当前旧类别特征分布与其历史对应分布之间的差异,导致决策边界模糊并加剧了灾难性遗忘。
受此分析的启发,我们提出了一种新的SSCSS方法——分布对齐和亲和力匹配(DAAM)来解决这个问题。DAAM包括类比感知分布对齐(AADA)和类间亲和力匹配(ICAM)。AADA的核心思想是为每个类别的特征分布建立一个参考分布,并通过明确限制当前特征分布与其参考分布之间的差异来减轻累积分布漂移的影响。其设计直接受到人类类比学习的启发,即通过将新概念与已知参考进行比较来理解新概念。我们通过对比学习将这一原则转化为计算框架:一方面,它通过 align 未标记和标记的新类别样本的特征分布来最小化类内方差,从而增强模型获取新知识的可塑性;另一方面,它通过 align 学生模型和教师模型之间的旧类别特征分布来保留历史知识,确保稳定性。因此,它不仅有效解决了分布漂移的问题,还实现了稳定的可塑性平衡。虽然AADA通过 align 每个旧类别的特征分布来减轻遗忘,但我们认为保持类别之间的语义结构同样关键,因为这种结构的解体也会导致旧知识的遗忘。为此,我们提出ICAM与AADA协同工作。在学习新知识时,ICAM通过一个关键约束来明确巩固旧类别之间的语义相关性:它确保学生模型计算的类别间亲和力关系反映了教师模型得出的关系。这一过程一致地保持了内在的语义相关性(例如,“猫”和“狗”之间的接近程度比“猫”和“汽车”之间的接近程度更高)。因此,ICAM在持续学习过程中巩固了学习到的知识系统,防止了结构解体。
我们的贡献可以总结如下:
  • •
    我们提出了类比感知分布对齐机制,将每个类别的当前特征分布与稳定的参考分布对齐,从而有效减轻累积分布漂移的影响。
  • •
    我们提出了类间亲和力匹配方法,在持续学习过程中明确保持旧类别之间的一致类间亲和力关系,从而缓解由于语义结构解体引起的遗忘。
  • •
    我们提出的半监督持续语义分割方法DAAM在Pascal VOC 2012数据集和ADE20K数据集上使用有限的标记样本和大量的未标记样本取得了最先进的性能。
本文的其余部分组织如下。第2节回顾了持续和半监督语义分割的相关工作。第3节正式阐述了SSCSS问题并详细介绍了我们提出的DAAM。第4节提出了在基准数据集上的广泛实验和讨论。最后,第5节总结了本文。

部分内容

持续语义分割

持续语义分割(CSS)专注于逐步获取分割新对象类别的能力,同时保持对先前学习类别的性能。现有方法大致可以分为三类:(1)基于回放的方法(Cha等人,2021年;Chen等人,2023年;Luo等人,2025年;Maracani等人,2021年;Oh等人,2022年;Yu等人,2024年;Zhu等人,2023年)通常保留一部分先前样本或生成旧类别的额外样本

方法

在本节中,我们首先阐述了半监督持续语义分割的问题,然后概述了我们提出的半监督持续语义分割框架的训练细节。最后,我们介绍了我们提出的类比感知分布对齐(AADA)机制和类间亲和力匹配(ICAM)方法。为了清晰地总结我们的方法,我们在算法1中展示了DAAM的新类别学习过程的伪算法。

实验设置

数据集。我们在两个具有代表性的基准测试中全面评估了我们的框架。Pascal VOC 2012数据集(Everingham等人,2010年)(以下简称VOC)包含20个前景类别和1个背景类别,训练集有10,582张图像,测试集有1,449张图像。ADE20K数据集(Zhou等人,2017年)包含150个细粒度前景类别和1个背景类别,用于评估在复杂场景中的可扩展性。

结论与讨论

本研究通过研究更现实的半监督持续语义分割(SSCSS)范式,解决了持续语义分割(CSS)中数据注释的实际限制。我们DAAM框架的核心贡献在于它能够解决CSS中的稳定性-可塑性困境和背景语义漂移问题,以及SSCSS中由于持续扰动而产生的累积分布漂移这一独特挑战。

未引用的参考文献

Goswami等人,2023年;Yuan等人,2024年。

CRediT作者贡献声明

周慧:概念化、方法论、软件编写——原始草稿、数据整理、写作——审阅与编辑、可视化。陶焕杰:概念化、方法论、写作——审阅与编辑、监督、资源提供。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

这项工作部分得到了TCL科技创新基金(编号:5206250004)、山东省重点研发计划(编号:2025TSGCXTHG028)和咸阳市重点研发计划(编号:L2024-ZDYF-ZDYF-SF-0037)的支持。(通讯作者:陶焕杰)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号