基于点击区域相似性的交互式分割算法ClickAttention:提升目标对象识别效率与减少参数需求

【字体: 时间:2025年09月13日 来源:Neural Networks 6.3

编辑推荐:

  本综述提出ClickAttention算法,通过点击区域相似性扩展正点击影响范围,结合判别性亲和损失(discriminative affinity loss)减少正负点击干扰,在DAVIS数据集上以仅15.6%的参数量实现NoC@90指标2%的性能提升,为交互式分割(Interactive Segmentation)领域提供了高效且轻量化的解决方案。

  

Highlight

本文针对交互式分割中点击影响范围有限及正负点击耦合问题展开研究。通过引入基于局部区域相似性的点击注意力算法,显著扩展单次点击的影响范围;同时提出判别性注意力亲和损失,有效解耦正负点击响应,提升模型交互效率与分割精度。

Methods

为解决点击影响范围受限和点击耦合问题,我们提出基于局部区域相似性引导的交互式分割算法。整体架构如图3所示。

为全面扩展点击影响范围,第3.2节引入点击注意力算法;为进一步解耦正负点击间的注意力耦合,第3.3节提出判别性注意力亲和损失。

Experiments

本节首先介绍所提点击式交互分割算法的配置与训练协议,后续均以ClickAttention指代本方法。

我们在GrabCut、Berkeley、DAVIS、SBD、COCO-MVal、Pascal VOC及DAVIS-585等基准数据集上评估性能,并与当前最先进(SOTA)算法对比。

Discussion

本研究证明,通过点击区域相似性引导与判别性注意力亲和损失,可同时提升模型精度与效率。ClickAttention在DAVIS上以90% IoU为阈值减少2.0%的点击次数,参数量降低达80%。定性分析显示,相似性引导的注意力图可可靠扩展单次正点击的影响范围。

Limitations

定性分析中,ClickAttention偶尔难以分割极小目标或复杂遮挡物体,需多次修正点击才能达到可接受IoU(图8末行)。此外,本方法专为点交互设计,未评估其他提示类型(如涂鸦、框选),可能限制其泛化性。训练与评估仅基于COCO和LVIS数据集。

Conclusion

本文研究了交互式分割中用户交互与分割模型间的相互作用。为扩展单次点击的影响范围,提出新颖的点击注意力算法,基于正点击区域与整体输入的相似性扩展注意力范围。相比基线算法,在DAVIS上NoC90指标提升12%。为进一步解决点击耦合问题,提出了判别性注意力亲和损失。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号