ACRIS-SAM2：基于属性的跨模态交互与双重语义引导用于小样本分割

《Neurocomputing》：ACRIS-SAM2: Attribute-driven cross-modal interaction and dual semantic prompting for few-shot segmentation

　　摘要：少样本分割旨在仅通过少量标注的示例即可对新型物体类别进行分割。其核心挑战在于在极其有限的监督条件下，同时实现可靠的类别区分与精确的空间定位。现有方法往往无法同时满足这两项要求：基于外观的匹配容易受到类内差异和背景干扰的影响；基于SAM的方法虽然具备较强的类别无关定位能力，但目标类别的界定能力较弱；而基于CLIP的方法通常依赖粗粒度的全局类别文本，这类文本缺乏区分复杂区域及精确定位边界所需的细粒度线索，难以用于高精度预测。为解决这些问题，我们提出了ACRIS-SAM2——一种借助外部语义先验的属性驱动跨模态少样本分割框架。该框架并非仅使用类别级别的文本提示，而是通过大型语言模型将每个目标类别分解为细粒度的视觉属性，并利用CLIP对这些属性进行编码，从而为未知类别的分割构建更具区分度的 Semantic先验。此外，我们还设计了一种跨模态语义注入模块，将该属性级别的文本语义整合到SAM2的深度特征提取过程中，为掩码预测提供语义对齐且具备类别意识的视觉表征。进一步地，我们引入了文本引导的双重语义提示策略用于掩码解码：稀疏提示提供明确的语义锚点，而密集提示则提供语义引导的空间先验。在COCO和PASCAL数据集上的实验验证了该方法的有效性。在1样本/5样本的测试设置下，ACRIS-SAM2在COCO数据集上的mIoU值分别为63.4%/67.2%，在PASCAL数据集上则为75.2%/77.1%，相较于现有的强基线方法取得了稳定提升。她目前的研究兴趣包括计算机视觉、深度学习、优化方法以及过程监控。罗佳祥|陈伟文，中国广州华南理工大学自动化科学与工程学院。