具有伪标签校正功能的刻薄教师模型,用于跨域图像分类

《Neurocomputing》:Mean teacher with pseudo-label correction for cross-domain image classification

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neurocomputing 6.5

编辑推荐:

  跨域图像分类中提出基于均值教师模型与伪标签校正模块的MTPC方法,通过动态筛选和修正教师模型生成的噪声伪标签,结合掩码图像一致性学习提升领域适应效果,在VisDA-2017、Office-Home等数据集上验证优于现有方法。

  
裴艳婷|杨帆
交通运输领域大数据与人工智能重点实验室(北京交通大学),教育部,中国北京

摘要

跨领域图像分类经常受到源领域有标签与目标领域无标签之间的领域差异的影响。为了应对这一问题,采用了无监督领域适应方法,其中典型的框架是基于教师-学生模型的方法。在这种方法中,学生模型通过教师模型提供的伪标签进行监督学习,从而在跨领域图像分类中获得了显著的准确性提升。然而,教师模型生成的伪标签可能存在质量较低的问题,即包含噪声标签,这会导致目标领域的分类性能不佳。为了解决这个问题,我们提出了一种结合伪标签校正的平均教师(Mean Teacher with Pseudo-label Correction,简称MTPC)方法用于跨领域图像分类。我们的目标是提高伪标签的质量,从而提升目标领域的分类性能。为此,我们设计了一个伪标签校正模块(Pseudo-label Correction Module,简称PCM),用于选择和校正伪标签,而不是直接使用伪标签进行最终分类。具体来说,首先使用教师模型为目标领域数据生成伪标签,然后将原始目标领域图像、从目标领域生成的掩码图像以及伪标签一起输入到伪标签校正模块中。该模块利用概率阈值来识别并动态校正可能包含噪声的标签。PCM可以集成到各种无监督领域适应图像分类方法中。我们在广泛使用的跨领域图像分类数据集VisDA-2017、Office-Home和Office-31上进行了大量实验,实验结果证明了该方法的有效性。

引言

深度神经网络(DNNs)在各种计算机视觉任务中表现出卓越的性能[1], [2], [3], [4], [5], [6], [7], [8], [9]。然而,这种令人印象深刻的性能提升在很大程度上依赖于大量的标注数据。此外,手动标注大量数据并提供高质量的标注非常耗时且成本高昂,有时数据根本无法被标注。另外,传统深度学习的另一个缺点是不同数据集之间的领域差异[10], [11],这使得深度学习方法难以有效泛化到新的数据集。为了解决上述问题,许多方法采用了无监督领域适应(Unsupervised Domain Adaptation,简称UDA)[12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45], [46], [47], [48], [49], [50], [51]的思想,利用来自有丰富标签的源领域的知识来辅助学习没有标签但类别相同的目标领域。
UDA的一个典型框架是基于教师-学生模型的方法,如图1(a)所示,其中教师为目标领域生成伪标签,这些伪标签用于监督学生模型的训练,教师的权重作为学生模型权重的指数移动平均(Exponential Moving Average,简称EMA)进行更新。然而,教师模型为目标领域生成的伪标签并不总是精确的,这些标签不可避免地包含一些噪声。当学生模型适应这些噪声标签时,错误的预测会成为有害的学习信号,从而限制了领域适应的性能。
为了减少噪声标签对图像分类的影响,已经有很多研究关注带有噪声标签的图像分类[8], [52], [53], [54], [55], [56], [57], [58], [59], [60], [61], [62], [63], [64], [65]。这些方法大致可以分为三类:噪声样本选择、噪声标签校正以及提高模型鲁棒性的方法。噪声样本选择是指筛选掉噪声标签并使用剩余的干净标签进行分类;噪声标签校正则专注于修正标签本身;提高模型鲁棒性的方法主要涉及设计正则化技术或鲁棒损失函数,以增强模型对标签噪声的抵抗能力。
图像标签的质量严重影响了图像分类的性能,因此提高噪声标签的质量对于图像分类非常重要。从这个角度来看,我们提出了一种结合伪标签校正的平均教师方法用于跨领域图像分类,如图1(b)所示。具体来说,首先教师模型为目标领域数据生成伪标签,同时我们将掩码图像一致性引入基于教师-学生模型的无监督领域适应网络框架中,使模型能够更有效地学习目标领域数据中的上下文信息。然后,针对教师模型生成的伪标签可能存在的噪声问题,我们在本文中设计了一个新颖的伪标签校正模块。该模块以目标领域的原始图像、掩码图像以及教师模型生成的伪标签作为输入,动态地分割和校正输入数据,最终得到校正后的标签。这些标签随后被用来计算学生模型对掩码图像的预测损失。
本文的主要贡献包括:
  1. •
    我们提出了一种结合伪标签校正的平均教师方法用于跨领域图像分类。该方法不是直接使用伪标签进行最终分类,而是先选择和校正伪标签,然后再进行分类。
  2. •
    我们提出了一种伪标签校正模块,通过分割目标领域数据并校正可能包含噪声的伪标签,从而减少了教师模型生成的伪标签对图像分类性能的影响。
  3. •
    我们在广泛使用的跨领域图像分类数据集上进行了大量实验,实验结果表明我们的方法优于现有的最先进方法。

小节片段

无监督领域适应用于图像分类

无监督领域适应[12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45], [46], [47], [48], [49], [50], [51]的目标是将来自有丰富标签的源领域的知识转移到没有标签的目标领域。在源领域和目标领域具有相同标签空间但数据分布不同的情况下

问题表述

我们定义为来自标记源领域的图像,为相应的标签,其中表示源领域中的图像数量,表示所有类别的集合,表示类别总数,我们使用来表示任意类别。相应地,我们定义为来自未标记目标领域的图像,其中表示目标领域中的图像数量。源领域和目标领域具有相同的类别,但它们的数据分布不同

数据集

为了与其他现有的无监督领域适应图像分类模型进行比较,我们的实验使用了无监督领域适应基准公共数据集VisDA-2017 [76]、Office-Home [77]和Office-31 [78]来测试我们方法的性能。VisDA-2017数据集包含280,000张合成图像和真实图像,总共有12个类别。源领域(训练集)包含152,397张图像。

结论与未来工作

在本文中,我们提出了一种基于平均教师模型的跨领域图像分类方法MTPC。通过掩码图像一致性,平均教师能够更好地从掩码图像中学习上下文信息,从而实现更好的领域适应效果。然而,由于教师模型生成的伪标签中不可避免地存在噪声,这会影响领域适应图像分类的性能,因此我们提出了一个伪标签校正模块。

CRediT作者贡献声明

裴艳婷:撰写 – 审稿与编辑,撰写 – 原稿,监督,方法论,形式分析,概念化。杨帆:撰写 – 审稿与编辑,撰写 – 原稿,方法论,调查,形式分析,概念化,验证。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了中央高校基本科研业务费(2025JBMC001)、国家自然科学基金(62106017)、北京市自然科学基金(4232032)和中国博士后科学基金(2021M690339, 2022T150042)的支持。
裴艳婷目前是中国北京交通大学计算机科学与技术学院的副教授。她于2020年在中国北京交通大学计算机与信息技术学院获得计算机科学与技术博士学位。2018年,她曾作为访问博士生在美国南卡罗来纳大学哥伦比亚分校学习。她的研究兴趣包括计算机视觉、图像处理、机器学习等。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号