目标锚定的渐进式视觉-语言融合用于遥感图像中的指代语义分割

《Information Fusion》：Target-Anchored Progressive Vision-Language Fusion for Referring Semantic Segmentation in Remote Sensing Images

　　

• •
  提出了一种目标锚定的渐进式视觉-语言融合框架。
• •
  循环语言更新使文本与多尺度遥感特征对齐。
• •
  目标词汇锚定缓解了跨模态融合过程中的语义漂移。
• •
  选择性状态空间解码减少了冗余的非目标响应。
• •
  实验结果表明在RefSegRS数据集上表现优异，在RRSIS-D数据集上具有竞争力。

引言

遥感图像的语义分割是实现智能解译的基础，它通过对地物覆盖进行逐像素分类，为资源管理、城市规划和灾害响应等应用提供关键的空间信息 [1]。传统方法主要利用单模态数据，使用单一传感器的特征（如光学、红外或合成孔径雷达）来完成分割任务 [2]。尽管取得了显著进展，单模态方法仍然受到单一数据源有限表征能力的根本制约，在复杂真实环境中的鲁棒性不足。为克服这些局限，多模态语义分割应运而生，它利用异构传感器的互补特性，如雷达的结构模式、光学图像的纹理线索、DSM的高程信息以及红外的热特征，从而提升分割精度和鲁棒性 [3], [4], [5], [6], [7]。然而，主流的多模态分割方法根据预定义的语义类别预测掩码，无法灵活地识别由用户提供的描述所指定的特定目标，尤其是当描述涉及空间关系或细微属性时（例如"左侧第三栋高楼"或"没有烟的烟囱"）[8]。这些限制促使了一种范式转变，即朝向指代图像分割，旨在弥合人类意图与自主遥感分析之间的鸿沟。

作为多模态遥感的高级方向，遥感图像指代语义分割（RRSIS）旨在为自然语言自由描述的目标生成精确的像素级掩码。该任务融合了遥感图像的视觉信息和基于语言的指令，实现了更加灵活和以人为本的遥感分析。为推动RRSIS研究，已提出了多个专用基准数据集，如RefSegRS [8]、RRSIS-D [9]和RRSIS-HR [10]，并引发了一系列代表性方法。尽管近年来取得了进展，RRSIS仍然面临三个相互关联的难题。首先，俯视场景包含极端的尺度变化、任意朝向、重复结构，以及仅占图像很小比例的目标。这些特性既要求精细的局部判别能力，又需要长程空间上下文信息。其次，指代表达结合了类别、属性和空间关系线索，而视觉特征则组织在多尺度空间层次上；这种表征失配可能导致目标语义在特征经过连续融合阶段时发生漂移。第三，重复的融合和解码可能保留由阴影、光谱相似性或邻近实例引入的背景响应，从而削弱边界恢复效果。因此，第一个建模挑战在于有效的跨模态语义交互和语言特征优化。现有框架大致分为两种范式，如图1(a)所示。第一种范式称为单阶段直接语言特征融合，仅提取一次语言特征并与视觉特征直接融合，缺乏渐进式交互和深度语义精炼 [11], [12], [13], [14], [15]。

这往往导致语言表达能力薄弱，不足以引导复杂的查询。第二种范式以双向对齐驱动交互为代表，采用跨模态对齐模块 [16], [17], [18] 来促进视觉-文本关联。然而，这些方法仍然存在指代模糊和语义漂移问题，特别是在面对复杂空间关系或属性相关描述时，主要原因是语言和视觉表征之间的适应性不足。第二个主要挑战是多模态融合和解码过程中冗余和非目标响应的累积。遥感图像通常包含阴影、光谱相似性、重复结构和邻近实例，这些与模态冗余相结合，会干扰精确分割。如图1(b)所示，大多数现有解码器缺乏显式的选择性响应重加权机制。基于CNN的解码器受限于局部感受野，可能保留局部背景响应；而基于Transformer的解码器尽管具备全局上下文建模能力，但往往缺乏特征选择性，导致对无关模式的过度强调 [19]。两者均无法有效保持语义区域的结构性完整性。

为解决上述挑战，我们提出了一种新颖的端到端框架，集成了多模态Mamba视觉编码器（M2VEncoder）和视觉-语义增强器（VSE），通过专用的目标核心词汇锚定机制（TCVAM）实现渐进式跨模态特征精炼和鲁棒的语义锚定。我们的方法进一步引入了选择性扫描融合解码器（SSFD），将选择性状态空间聚合 [20] 与通道和空间重加权相结合，以减少非目标响应并在掩码重建过程中融合多尺度特征。主要贡献总结如下：

• 1.
  我们提出了一种渐进式跨模态语义对齐和特征优化范式，通过集成M2VEncoder和TCVAM，克服了先前单阶段和双向对齐方法的不足，实现了渐进式语言增强和鲁棒的语义一致性。
• 2.
  我们引入了一种利用Transformer交叉注意力实现双向语义交互的VSE，以及一种基于Mamba的SSFD，通过重加权累积的非目标响应来支持一致的多尺度掩码重建。
• 3.
  我们通过集成这些模块开发了一个端到端的PVLMamba框架，并通过在公共RRSIS数据集上的全面消融实验和对比实验验证了其有效性。

本文结构如下：第2节提供相关工作综述。第3节介绍所提出的PVLMamba框架及其相关组件。实验结果和讨论分析在第4节中呈现。最后，第5节得出结论。

章节摘要

自然图像中的指代图像分割

指代图像分割（RIS）是一种代表性的视觉-语言信息融合任务，旨在通过深度整合语言和视觉模态，精确分割图像中由自然语言表达所描述的目标区域。早期方法 [21], [22] 主要采用CNN和LSTM来对齐跨模态语义信息，并通过定制的跨模态融合框架来缓解语言指令与视觉内容之间的不匹配问题。

方法

本节介绍所提出的PVLMamba框架的详细架构和核心组件。如图2所示，PVLMamba由三个主要模块组成：多模态Mamba视觉编码器（M2VEncoder）、视觉-语义增强器（VSE）和选择性扫描融合解码器（SSFD）。在视觉模态方面，M2VEncoder基于Mamba Vision [41]构建，将状态空间建模与基于注意力的细粒度对齐相结合，从遥感数据中提取上下文特征。

RefSegRS数据集 [8]

该数据集是遥感图像指代表达语义分割的早期基础性基准。它基于Skyscapes数据集构建，包含4,420个精心标注的图像-文本-掩码三元组，涵盖14个常见类别，如道路、建筑物和植被。每个物体实例进一步通过五个属性标签进行特征描述。数据集划分为2,172个样本用于训练，431个用于验证，1,817个用于测试。

结论

本文提出了PVLMamba，一种用于遥感图像指代语义分割的端到端框架。其核心设计是一个四阶段互逆过程：当前语言状态引导视觉融合，视觉上下文更新下一个语言状态，而固定的目标类别向量锚定所有更新。生成的多尺度特征通过具有通道和空间重加权的选择性状态空间解码器进行整合。在RefSegRS和RRSIS-D上的实验表明。

CRediT作者贡献声明

孙晓： 写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，软件，方法论，调查研究，形式化分析，数据管理，概念构思。 李嘉源： 写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，监督，软件，方法论，调查研究，形式化分析，数据管理。 王震： 写作 – 审阅与编辑，监督，软件，资源，项目管理，调查研究，经费获取，形式化。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

孙晓|李嘉源|王震|尤铸虹