《Neural Networks》：SegVLM: Deformable Attentive Visual Enhancement for Referring Image Segmentation Using Vision-Language Model
编辑推荐：
摘要图像分割是计算机视觉中的一个基本任务，涉及将图像划分为具有语义意义的区域。指代图像分割扩展了这一任务，通过自然语言表达来定位特定对象，需要有效整合视觉和语言信息。在这项工作中，我们提出了 SegVLM，这是一种视觉语言模型，结合了架构增强以提高分割准确性和跨模态对齐。该模
摘要
图像分割是计算机视觉中的一个基本任务，涉及将图像划分为具有语义意义的区域。指代图像分割扩展了这一任务，通过自然语言表达来定位特定对象，需要有效整合视觉和语言信息。在这项工作中，我们提出了 SegVLM，这是一种视觉语言模型，结合了架构增强以提高分割准确性和跨模态对齐。该模型集成了压缩与激励（SE）模块以进行动态特征重校准，可变形卷积以实现几何适应性，以及残差连接以进行深度特征学习。我们还引入了一种新颖的指代感知融合（RAF）损失，它平衡了区域级对齐、边界精度和类别不平衡。广泛的实验和消融研究表明，每个组件都有助于性能的一致改进。SegVLM 进一步表现出跨多样数据集和多种指代表达场景的强大泛化能力。
引言
图像分割是一项关键的计算机视觉任务，涉及根据语义将图像划分为有意义的区域，例如对象、纹理或场景边界 Long et al. (2015)。分割实现了像素级分类，超越了传统目标检测方法提供的较粗粒度检测。分割的高像素级精度在许多现实世界应用中证明非常有价值。在医疗领域，它有助于精确定位肿瘤、病变和解剖结构，支持准确诊断和战略规划 Ma et al. (2024)。在自动驾驶中，分割旨在区分道路、行人和障碍物，以引导车辆沿安全路径行驶 Hao et al. (2024)。其他重要应用包括卫星成像 Yu et al. (2024) 和基于增强现实系统，其中必须精确遵循对象的边界 Zhang et al. (2024a)。这些多样且要求苛刻的应用推动了分割算法性能的显著提升 Chen et al. (2017)。特别是深度学习近期的进展，包括卷积神经网络（CNNs）Liu et al. (2023a); Yan et al. (2023b)，编码器 - 解码器架构 Ding et al. (2021); Li et al. (2021)，以及基于 Transformer 的模型 Cho et al. (2025); Xiao et al. (2024)，导致了分割性能的大幅提升，并成为现代视觉系统的基本元素。此外，文献中提出的技术进步为更复杂的多模态分割系统奠定了基础。最近，视觉语言模型（VLMs）通过紧密结合起来理解自然语言与视觉感知，推动了图像分割的边界。这些模型使得指代表达分割等任务成为可能，该任务涉及根据自然语言描述从图像中分割出对象 Hu et al. (2016)。通过将语言与视觉联系起来，VLMs 提供了一种将语言与感知对齐的诱人方法，实现了自然和直观的人机交互 Ruan et al. (2023)。
最近，基于 Transformer 的 VLM 模型，如对比语言 - 图像预训练（CLIP）和自举语言 - 图像预训练（BLIP）Li et al. (2022)，在视觉 - 语言预训练中取得了令人印象深刻的提升，实现了最少人工监督下的零样本和少样本分割 Li et al. (2022)。这些模型正被应用于更复杂的应用，包括机器人感知、视觉问答和辅助技术，其中用户意图和上下文理解至关重要。此外，最近像 SEEM Ruan et al. (2023) 这样的模型表明，在各种分割任务下集成统一的视觉 - 语言框架可以在跨数据集泛化方面优于任务特定模型。因此，VLMs 在构建不仅准确，而且灵活、可解释并与人类理解相一致的分割系统方面变得越来越重要。
指代表达分割旨在找到图像中与用自然语言提供的表达式相匹配的对象实例，因此要求模型联合解析视觉和语言输入 Liu et al. (2023a)。最近包括跨模态指代图像分割（CRIS）模型 Wang et al. (2022) 在内的模型，在诸如 RefCOCO Yu et al. (2016)、RefCOCO+ Yu et al. (2016) 和 RefCOCOg Mao et al. (2016) 等流行基准上取得了令人印象深刻的性能。然而，这些数据集在语言多样性和对象复杂性方面相当有限。在更具挑战性的数据集如 PhraseCut Wu et al. (2020) 上，其中指代表达更长且更具组合性，且对象区分更细微，CRIS 模型 Wang et al. (2022) 无法产生准确的分割。这促使需要提高模型对语言和视觉上复杂场景的泛化能力。
为了缓解这些限制，我们提出了一组架构增强来提高分割性能。目标是通过加强视觉 - 语言对齐并有效处理多样且模糊的指代，提高在 PhraseCut 数据集上的分割能力。这些进展在人机交互 Liu et al. (2023d)、机器人技术 Tang et al. (2023) 和辅助技术等领域具有实际价值，在这些领域中，准确解释自然语言和分割对象至关重要 Yu et al. (2018)。
我们使用 CRIS Wang et al. (2022) 作为基线，并将其扩展提出 SegVLM，一种基于视觉语言模型（VLM）的分割架构，如图 1 所示。SegVLM 解决了前述在处理更复杂的指代表
