摘要
遥感图像分割（RRSIS）是一种典型的多模态理解任务，它根据自由形式的自然语言描述从遥感图像中分割出目标对象。然而，遥感的复杂性特征，如杂乱的背景、大规模的变化、分散的小目标以及重复的纹理，会导致视觉定位不稳定，进一步引发空间定位的偏差，从而产生不准确的分割结果。现有方法通常在编码和解码阶段进行隐式的视觉-语言融合，将空间定位与掩膜细化过程结合在一起。这种紧密耦合的机制缺乏明确的结构约束，因此在处理复杂的遥感数据时容易出现跨模态歧义。为了解决这些问题，我们提出了一种结构一致且具有定位意识的阶段性推理框架（SGSRF），该框架遵循“先定位、后分割”的原则。该框架将推理过程分为三个逐步加强结构约束的阶段： 1. **跨模态一致性细化（CCR）**：通过基于CLIP的特征增强视觉与文本的结构对齐，为稳定的空间定位打下基础；结构一致性正则化（SCR）生成对齐良好的多模态表示和可靠的定位线索。 2. **具有定位意识的提示生成（GPG）**：将对齐后的表示转换为互补的稀疏和密集提示，为分割模型提供明确的定位指导。 3. **基于定位的分割（GMS）**：在提示和定位线索的共同指导下，利用Segment Anything Model（SAM）生成细粒度的掩膜预测，提高空间定位的稳定性和对背景干扰及尺度变化的鲁棒性。 在三个遥感基准数据集（RefSegRS、RRSIS-D和RISBench）上的广泛实验表明，SGSRF达到了业界领先的性能水平。所提出的阶段性推理框架将结构对齐、显式定位和基于提示的分割集成到一个统一的框架中，为实际地球观测应用中的RRSIS问题提供了实用且可靠的解决方案。
