基于SAM驱动的伪标注和状态空间交互扩散的弱监督RGB-D显著目标检测

《IEEE Transactions on Multimedia》：Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion

　　

摘要：

为了减轻像素级标注的繁重负担，弱监督 RGB-D 显著性目标检测 (SOD) 得到了探索。但涂鸦标注缺乏物体的结构和细节，导致显著性图不准确。在本文中，我们提出了一种新颖的涂鸦监督 RGB-D SOD 方法，由 Segment Anything Model (SAM) 驱动的伪标注生成方法 (SAM-PAG) 和基于状态空间交互的条件扩散模型 (S2Diff) 组成。具体来说，SAM-PAG 旨在解决稀疏监督信息的问题。在 SAM-PAG 中，我们采用先进的 SAM 通过双分支结构和分割掩码的一致性，将稀疏的涂鸦扩展为密集的像素级伪标注。在 S2Diff 中，我们采用扩散模型在条件信息的指导下迭代优化含噪显著性图，生成准确的显著性图。自然地，我们的 S2Diff 的核心在于条件特征的获取和显著性图的去噪。对于后者，我们采用上下文注入模块来减轻噪声干扰，并利用条件上下文增强物体信息。随着 SAM-PAG 和 S2Diff 的紧密合作，我们的方法优于相关的涂鸦监督方法，并且在七个数据集上与全监督方法相比取得了具有竞争力的性能。我们方法的代码和结果可在 https://github.com/Switch457/WeakS2Diff_SOD 获得。