LV-Mamba：融合BEiT3与VMamba双骨干及SAM门控精化的参考图像分割方法

《IEEE Access》：LV-Mamba: Language-Guided Dual-Backbone Referring Image Segmentation Framework

　　**摘要：**参考图像分割（Referring Image Segmentation, RIS）要求针对由自由形式自然语言描述的物体生成像素级掩码。这一任务需要细粒度的跨模态对齐，而现有方法由于多尺度空间细节有限、骨干层面的语义定位能力弱以及边界不精确而难以实现。本文提出了 LV-Mamba，该流程由两个互补组件构成。第一个是双骨干架构，将 BEiT3 视觉-语言编码器与 VMamba 状态空间骨干相结合，并通过语言引导的视觉融合模块（LGVFM）将 BEiT3 的跨模态令牌经由门控融合注入到 VMamba 的空间特征中。第二个是基于分割一切模型（SAM）的门控推理时精炼阶段，用于将粗略预测细化为最终边界。三方消融实验分离了这两项贡献，并表明它们各自集中于不同的基准家族，因此联合流程在所有三个基准上均有提升。在 RefCOCO、RefCOCO+ 和 RefCOCOg 上进行评估，LV-Mamba 在 RefCOCO 验证集上达到 81.11% mIoU 和 80.35% oIoU，在 RefCOCO+ 验证集上达到 74.31% mIoU 和 72.46% oIoU，在 RefCOCOg 验证集上达到 74.24% mIoU 和 73.50% oIoU。在本文评估的单目标 RIS 专用方法中，LV-Mamba 在所有八个验证/测试划分上均记录了最高的 oIoU，在每个划分上领先最强先前方法 1.76–5.30 个点（平均 +3.75），并在三个 RefCOCO 划分和两个 RefCOCOg 划分上取得最高 mIoU，领先 0.30–1.87 个点（平均 +1.04）；在 RefCOCO+ 上，单塔 BEiT3-Large 基线在 mIoU 上仍保持 0.85–2.08 个点的优势，而 LV-Mamba 在 oIoU 上领先。