LGCM：基于语言引导的通道调制进行图像分割

《Neurocomputing》：LGCM: Referring image segmentation with language-guided channel modulation

　　摘要：参照图像分割（RIS）旨在为用自然语言描述的物体生成像素级掩码。尽管取得了诸多进展，但实现视觉与语言的精准结合以获得精确的像素级定位仍具挑战性。现有方法主要侧重于密集的空间融合或分层级特征选择，往往忽视了通道维度上的语义概念。在本研究中，我们提出了基于CLIP对齐的视觉-语言表示的语言引导通道调制（LGCM）网络。LGCM包含两个互补模块：用于全局上下文的句子引导通道调制（SGCM）以及用于细粒度线索的单词引导通道调制（WGCM）。这两个模块通过逐通道重新加权动态调整视觉特征，从而强化与目标相关的语义信息并抑制无关特征噪声。此外，我们还设计了带通道调制的像素解码器（PDCM），以便从经过调制的多级特征中生成精确的分割掩码。在RefCOCO、RefCOCO+和G-Ref数据集上的大量实验验证了LGCM的有效性，并显示出相较于其他竞争方法的持续性能提升。

引言：参照图像分割（RIS）的目标是为输入图像中用自然语言描述的物体生成逐像素的分割掩码[1]。该技术在基于语言的人机交互和图像编辑等领域展现出巨大潜力。与仅限于类别的纯视觉分割任务不同[2]，RIS需要处理自然语言中丰富的词汇和句法多样性。目标物体是从可能包含实体、动作、属性及空间关系等的自由形式表达中推断出来的。理解这些表达需要有效的跨模态对齐[3]，因此，一个核心挑战在于如何有效提取并利用与文本描述最相关的视觉特征。在语言引导的分割任务中，即RIS中，视觉特征与语言特征的有效融合对于实现精准预测至关重要。早期的方法采用模块化网络将参照表达分解为属性级组件[4]。虽然LAVT[5]通过联合视觉-语言嵌入在编码阶段进行融合，但大多数方法则在解码阶段通过迭代交互[6]、跨模态注意力[7]以及基于语言结构的语境建模[8]等方式实现融合。随着视觉变换器的出现，多模态变换器被用于实现全局跨模态交互[9]、[10]。近期的方法还通过查询级或掩码级设计进一步优化对齐效果，例如LQMFormer中的语言感知查询掩码[11]以及MagNet中的两阶段掩码-文本对齐[12]。尽管取得了显著进展，但在RIS中弥合语言与视觉之间的语义差距依然具有挑战性。随着对比学习型语言-图像预训练模型CLIP的出现[13]，近期研究开始利用其强大的跨模态表示来提升性能。例如，CLIP驱动的RIS（CRIS）[14]采用预训练的CLIP编码器与变换器解码器来实现文本词元与视觉特征的对应，而基于CLIP基础模型的RIS（RISC）[15]则进一步探索更精细的掩码-文本对应关系。然而，由于CLIP是针对图像-文本对齐而训练的，将其应用于像素级定位仍非易事。尽管近期方法引入了专门的损失函数[16]或额外模块[17]、[18]、[19]，但要实现精确的像素-文本对齐仍然困难。尤其值得注意的是，自适应双对齐选择（ASDA）[20]能够自适应选择视觉层以捕捉多尺度线索，但它将每个层视为一个整体表示。相比之下，我们认为目标物体的语义是分布在各个通道中的，而非局限于特定层。如图1所示，深度视觉特征在通道维度上编码了多种不同的语义响应。简单的通道平均会混合目标相关与无关的响应，从而导致特征噪声较大且未经调制。为解决这一问题，我们提出了语言引导通道调制（LGCM），该方法利用参照表达（如“顶部的红色水果”）为逐通道重新加权生成调制系数。这种调制能够强化与目标相关的通道，同时抑制无关响应。与那些通过空间融合确定目标位置或通过分层特征选择确定融合尺度的方法不同，LGCM在后续解码之前就明确指定了应在通道维度上强调哪些语义内容。基于这一思路，我们提出了LGCM网络，该网络利用CLIP的对齐视觉-语言表示，通过句子引导通道调制（SGCM）和单词引导通道调制（WGCM）这两种互补组件来实现功能。LGCM并非依赖密集的跨模态融合，而是利用语言线索动态调整视觉通道的权重。我们还设计了带通道调制的像素解码器（PDCM），将经过调制的特征转换为精细的分割掩码。总体而言，LGCM能够生成语义聚焦的视觉表示，通过简单高效的视觉-语言交互实现精确的参照图像分割。我们的主要贡献如下：•我们提出了LGCM，这是一种全新的RIS框架，它将重点从密集的空间融合或层选择转向语言引导的通道级调制，从而在无需强制实现像素-文本对齐的情况下增强目标物体的语义表达。•我们设计了SGCM和WGCM两种互补的调制模块，以及带通道调制的像素解码器（PDCM），以此有效整合经过调制的多级特征，从而实现精确的掩码预测。•在RefCOCO、RefCOCO+和G-Ref这三个标准基准数据集上的大量实验证明了我们方法的有效性，且其性能始终优于其他竞争方法。

多模态基础模型：近年来，大规模的视觉-语言基础模型在众多多模态任务中展现出了出色的迁移能力。例如CLIP[13]、ALIGN[21]和BLIP[22]，它们通过对比学习或生成式目标，从大规模的图像-文本对中学习对齐后的表示。由此产生的跨模态嵌入可很好地应用于零样本分类、跨模态检索以及其他下游视觉-语言任务。CLIP[13]因其卓越性能而受到了特别关注。

概述：我们方法的整体架构如图2(a)所示。我们采用了CLIP模型[13]中的基于ViT的视觉编码器以及相应的语言编码器。具体而言，“第层”指的是ViT中第个Transformer块所生成的视觉特征图。我们假设视觉编码器特征图中的各个通道分别编码与物体身份相关的不同语义属性或空间区域。由于CLIP经过了跨模态训练，这些视觉表示本质上就具备这样的特性。

数据集：我们在三个广泛使用的RIS基准数据集上进行了全面实验，分别是RefCOCO、RefCOCO+和G-Ref，这些数据集均基于MS COCO数据集构建，并标注了用于指代特定物体的自然语言表达。RefCOCO[53]包含19,994张图像以及142,210条描述50,000个物体的参照表达。这些标注是通过一种双人游戏方式收集的，以此确保自然语言表达的多样性。该数据集被划分为四个子集：120,624个训练样本、10,834个验证样本……

结论：在本文中，我们提出了用于RIS的LGCM方法，该方法通过通道级调制来增强视觉-语言交互。通过整合SGCM和WGCM这两种互补模块，我们的方法能够根据语言线索，在全局（句子层面）和局部（单词层面）动态调整视觉特征的权重。基于SGCM设计的PDCM则进一步优化多级特征，从而生成精确的分割掩码。语言引导的调制机制使得分割解码器能够更精准地聚焦于目标物体。

作者贡献说明：程远昌负责原文撰写、可视化、方法设计；齐飞负责审稿与编辑、指导监督、资金申请、正式分析及概念构思；陈佳辉负责可视化、方法设计、研究分析及正式分析；王晓天负责验证工作、资源协调及方法设计；赵志福负责方法设计及研究分析；刘坤负责审稿与编辑、验证工作、资金申请及正式分析。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：本研究部分得到了国家自然科学基金委员会项目62176201、62173124和62302373的支持，以及陕西省自然科学基础研究计划项目2025JC-QYCX-064、京津冀协同基础研究专项项目（项目编号F2024202102）和河北省重大基础研究计划项目（编号A2023202049）的资助。程远昌在中国西安电子科技大学人工智能学院获得人工智能专业学士学位，目前在该校攻读电子信息专业硕士学位，研究方向为人工智能。他的研究兴趣包括语义分割和参照图像分割。

程远昌|齐飞|陈佳辉|王晓天|赵志福|刘坤
中国陕西省西安市西凤路兴隆段266号，西安电子科技大学，邮编710126