基于自训练和多任务学习的弱监督伪装目标检测

《Computer Vision and Image Understanding》:Weakly-supervised camouflaged object detection with self-training and multi-task learning

【字体: 大 中 小 】 时间:2026年09月20日 来源:Computer Vision and Image Understanding 3.6

编辑推荐:

   **摘要** - 提出了PGLNet用于弱监督伪装目标检测。 - 采用自训练生成更可靠的伪标签。 - 纹理辅助分支增强了细粒度边界表示。 - DWT捕获了伪装目标的高频纹理线索。 - 大量实验表明在四个COD数据集上性能优越。 **引言** 近期发布的大模型SAM(Se

  **摘要**- 提出了PGLNet用于弱监督伪装目标检测。- 采用自训练生成更可靠的伪标签。- 纹理辅助分支增强了细粒度边界表示。- DWT捕获了伪装目标的高频纹理线索。- 大量实验表明在四个COD数据集上性能优越。**引言**近期发布的大模型SAM(Segment Anything Model)(Kirillov等人,2023)可以通过单击在任意图像中"抠出"任意对象,在多种图像分割场景中取得了显著成功。然而,其在伪装目标检测(COD)中的有效性仍然有限,因为在COD中,目标在视觉上与其周围环境难以区分。与显著目标检测(SOD)不同,COD天然更具挑战性,因为前景目标与背景区域之间存在高度的视觉相似性,这往往导致低对比度、模糊的边界和混乱的纹理。这些特征使得准确定位伪装目标变得尤为困难。COD在多个领域已展现出科学和实用价值,例如医学图像分析(如息肉分割(Fan等人,2020b)和肺部感染(Fan等人,2020c))、物种发现(Pérez-de la Fuente等人,2012)以及透明目标检测(Mei等人,2020)。大多数COD方法(Le等人,2019;Fan等人,2020a;Mei等人,2021;Lv等人,2021;Yang等人,2021;Liu等人,2022;Zhang等人,2023;C. He等人,2023;Ji等人,2023;Yin等人,2024)严重依赖大规模逐像素标注。然而,获取高质量的COD标注是劳动密集型的,通常需要每幅图像约60分钟。为缓解这一问题,CRNet(R. He等人,2023)将弱监督学习引入COD,并提出了第一个基于涂鸦标注的端到端WSCOD框架。然而,对于复杂场景,稀疏标注往往无法捕获完整的对象结构和细粒度细节,这限制了模型的学习和泛化能力。最近,一种基于SAM的弱监督分割模型WS-SAM(He等人,2024)利用Segment Anything Model从稀疏提示生成密集掩码,并将其作为伪标签用于训练。然而,此类方法的性能高度依赖于伪标签的质量。尽管WS-SAM引入了多种策略来优化低质量掩码,但生成的伪标签仍然并不总是可靠的。这一局限性主要源于SAM并非专门为COD设计,使其难以准确捕获伪装结构。总体而言,现有的WSCOD方法存在两个关键局限:由于稀疏监督导致的细粒度特征表示不足,以及由于领域差距导致的不可靠伪标签。这些挑战凸显了同时增强纹理感知表示和提高监督质量的必要性,这也正是我们方法设计的动机所在。尽管WS-SAM通过多种优化策略改进了伪标签质量,但它仍然存在监督不可靠以及缺乏捕获细粒度纹理细节的能力,这两者均限制了其性能。为了解决上述局限性,我们引入了一种自训练策略,以逐步增强伪标签质量并提高监督可靠性。具体而言,我们采用WS-SAM作为教师模型来生成初始伪标签,然后通过自训练迭代优化它们,这有助于减少标注噪声并提高监督质量。如图1所示,我们方法生成的伪标签与WS-SAM产生的相比更加准确和完整。在本文中,我们提出了一种新颖的伪梯度学习网络(PGLNet),采用双学生架构,集成了自训练和多任务学习用于WSCOD。具体而言,为克服细粒度特征表示不足的局限性,我们设计了一个纹理感知辅助分支,由对象级梯度图监督,以捕获细粒度的边缘和纹理信息。这一设计显式建模了全局伪装语义与局部纹理变化之间的内在相关性,而这在现有方法中往往被忽略。为进一步解决纹理判别能力弱的问题,我们引入了离散小波变换(DWT)来提取突出伪装目标与其周围环境之间微妙差异的高频特征。此外,我们提出了一种层级融合机制,在不同阶段逐步将多尺度纹理特征与语义特征整合,从而在保持全局上下文一致性的同时实现精确定位。总体而言,我们的设计通过增强纹理感知特征学习和提高伪标签监督的可靠性,明确针对了现有WSCOD方法的两个关键局限。因此,所提出的PGLNet实现了更准确、更完整的伪装目标检测。综上所述,我们的主要贡献如下:- 我们提出了一种新颖的伪梯度学习网络PGLNet,通过将多任务学习与伪标签集成,增强了弱监督伪装目标检测的性能。- 我们将自训练引入WSCOD以生成准确的伪标签。与其他方法相比,我们的方法为学生模型提供了更可靠的监督,并显著改善了预测结果。- 实验结果表明,我们的方法在四个COD基准上优于相关的最先进方法,在平均绝对误差上平均提升28.3%,在自适应F-measure上提升8.5%,在平均E-measure上提升5.7%,在S-measure上提升6.4%。**章节摘要****伪装目标检测**伪装目标检测(COD)是一种计算机视觉技术,旨在识别和定位与周围环境相似的目标。2019年,ANet(Le等人,2019)提供了第一个伪装目标图像数据集CAMO,以促进COD新方法的研究。2020年,SINet(Fan等人,2020a)精心组装了新颖的数据集COD10K,包含10K幅图像,涵盖78个伪装目标类别,以缓解训练数据不足的情况。**图像编码器**所提出的分割学生模型的整体架构如图2所示。在本工作中,给定一张尺寸为H×W的伪装输入图像*I*,我们使用PVT_v2(Wang等人,2022)作为图像编码器,提取分辨率为H/2^(i+1)×W/2^(i+1)的多级特征{f_i}_{i=1}^4。为了在融合阶段实现不同层级之间的有效逐元素操作,我们必须确保候选特征的通道数相同。我们利用纹理增强模块(TEM)(Fan等人**数据集**我们的实验在四个COD基准数据集上进行:CHAMELEON(Skurowski等人,2018)、CAMO(Le等人,2019)、COD10K(Fan等人,2020a)和NC4K(Lv等人,2021)。我们在S-COD(R. He等人,2023)上训练模型,该数据集包含4040张涂鸦标注图像(COD10K为3040张,CAMO为1000张),其余用于测试。**评估指标**我们采用四种评估指标:平均绝对误差(*M*)、自适应F-measure(*F_β*)(Margolin等人,2014)、平均E-measure(*E_φ*)(Fan等人,2021b)和**结论**目前,弱监督伪装目标检测(WSCOD)领域在很大程度上仍未被充分探索,面临着显著的研究挑战和机遇。本文提出了一种新颖的框架,将自训练与伪标签优化相结合,以增强COD任务中弱监督学习的可靠性。我们的方法引入了两个互补组件:首先,一个伪梯度学习网络(PGLNet),有效地弥合了**CRediT作者贡献声明****朱坤:** 可视化、验证、方法学、数据管理。**肖瑶:** 撰写——初稿、验证、方法学、概念构思。**田素龙:** 方法学、概念构思。**秦龙飞:** 撰写——审阅与编辑。**赵德鑫:** 撰写——审阅与编辑、监督。**利益冲突声明**作者声明他们没有任何已知的竞争经济利益或个人关系可能影响本文所报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号