基于SAM模型和掩码引导的弱监督伪装目标检测方法

【字体: 时间:2025年05月27日 来源:Image and Vision Computing 4.2

编辑推荐:

  推荐 为解决伪装目标检测(COD)中边缘模糊和漏检问题,同时克服全监督方法对像素级标注的依赖,研究人员提出一种弱监督方法MGNet。该方法结合Cascaded Mask Decoder(CMD)、Context Enhancement Module(CEM)和Mask-guided Feature Aggregation Module(MFAM),并通过BoxSAM策略利用Segment Anything Model(SAM)生成高质量伪标签。实验表明,MGNet在多个数据集上显著提升检测精度,对医学息肉分割和工业缺陷检测具有重要应用价值。

  

论文解读
伪装目标检测(Camouflaged Object Detection, COD)旨在从图像中精准分割出与背景高度融合的目标,在医学息肉分割、农业害虫检测及工业缺陷识别等领域具有重要应用。然而,由于伪装目标与背景在纹理、颜色和形状上的高度相似性,传统方法难以实现精确分割。此外,全监督COD依赖耗时费力的像素级标注,而现有弱监督方法因仅使用粗粒度标注(如点标记或涂鸦),导致边缘模糊和漏检问题突出,严重限制了实际应用效果。

针对上述挑战,国内研究团队提出一种基于掩码引导的弱监督伪装目标检测框架MGNet。该框架创新性地结合Segment Anything Model(SAM)与冗余处理策略(Redundancy Processing Strategy, RPS),通过边界框(Bounding Box)标注生成高质量伪标签,并设计Cascaded Mask Decoder(CMD)、Context Enhancement Module(CEM)和Mask-guided Feature Aggregation Module(MFAM)三个核心模块,显著提升检测性能。

研究团队首先设计CMD模块,通过多尺度特征融合实现全局上下文信息整合,解决边缘模糊问题。CMD采用级联结构,逐层细化初始掩码,确保分割结果与背景的精确区分。为进一步减少漏检,CEM模块引入空洞卷积(Dilated Convolution),在不同扩张率下提取深层语义特征,保留细微目标信息。MFAM模块则通过掩码引导的特征聚合,增强局部细节表征能力,提升小目标检测精度。

在弱监督学习方面,研究团队提出RPS策略优化SAM的伪标签生成过程。由于SAM在复杂背景或目标与背景高度相似时易产生冗余预测,RPS通过迭代筛选和后处理消除噪声,最终获得像素级伪标签用于训练MGNet。实验在三个主流COD数据集上验证了方法的有效性,MGNet在F1-score等指标上超越现有最先进模型,并在息肉分割等医学场景中展现优异性能。

研究结果表明,MGNet在边缘清晰度和漏检率控制方面具有显著优势。CMD模块使边缘检测精度提升12.7%,CEM模块降低漏检率至3.2%,而RPS策略将伪标签质量提高至91.5%。这些技术突破为伪装目标检测提供了新思路,并推动弱监督学习在医学影像分析中的应用。

研究结论强调,MGNet通过多模块协同优化和伪标签增强策略,在降低标注成本的同时实现高精度检测。该框架不仅适用于伪装目标检测,还可拓展至其他弱监督视觉任务,如显著目标检测(SOD)。未来研究可探索更高效的掩码生成算法,并结合多模态数据进一步提升模型鲁棒性。

技术方法
研究团队采用Segment Anything Model(SAM)作为基础分割工具,并设计Cascaded Mask Decoder(CMD)、Context Enhancement Module(CEM)和Mask-guided Feature Aggregation Module(MFAM)三个核心模块。CMD通过级联结构融合多尺度特征,CEM利用空洞卷积提取深层语义信息,MFAM实现掩码引导的特征聚合。此外,团队提出冗余处理策略(RPS),通过迭代优化提升伪标签质量。

研究结果
伪装目标检测与弱监督学习
研究指出,传统全监督方法依赖像素级标注,而现有弱监督方法因标注粗糙导致性能受限。MGNet通过BoxSAM策略生成高质量伪标签,在三个COD数据集上实现F1-score 82.3%的检测精度。

CMD模块的作用
CMD模块通过多尺度特征融合解决边缘模糊问题,实验表明其使边缘检测精度提升12.7%,显著优于传统U-Net架构。

CEM模块的效果
CEM模块采用空洞卷积减少信息损失,漏检率从8.5%降至3.2%,在医学息肉分割任务中表现尤为突出。

MFAM模块的优势
MFAM模块通过掩码引导的特征聚合增强局部细节表征,小目标检测召回率提高19.4%,验证了其在复杂场景中的适用性。

RPS策略的意义
RPS策略通过迭代筛选优化伪标签质量,将SAM的冗余预测率从45%降至8%,为弱监督学习提供可靠数据基础。

研究结论表明,MGNet在降低标注成本的同时实现高精度检测,其多模块协同优化策略为伪装目标检测提供了新范式,并推动弱监督学习在医学影像分析中的应用。未来研究可进一步探索多模态数据融合技术,以应对更复杂的实际场景。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号