面向遥感图像指代分割的上下文感知跨模态对齐与语义空间先验方法（RS-CARES）

《Journal of Imaging》：RS-CARES: Context-Aware Cross-Modal Alignment with Semantic Spatial Prior for Referring Remote Sensing Image Segmentation

　　

专业术语翻译的摘要 遥感指代图像分割面临关键挑战，包括目标任意旋转、尺度剧烈变化、杂乱复杂背景以及较大的视觉-语言语义鸿沟。现有主流分割模型采用固定感受野的主干网络、粗粒度的单向跨模态交互以及静态可学习对象查询，容易导致小目标漏检、边界分割模糊以及预测碎片化。本文提出一种面向遥感的上下文感知指代表达分割模型，以解决上述局限性。研究人员构建了基于InternImage和CLIP文本编码器的双流特征提取主干，并设计了一个语义先验定位图（SPLM）模块，用于生成空间热图以提供空间归纳偏置，从而提高小目标定位召回率。一个跨模态上下文聚合器（CCA）执行多尺度双向视觉-文本对齐，同时一种动态查询初始化策略和一个语言引导的Transformer解码器逐步改进目标定位和掩码细化。实验在两个标准RRSIS基准数据集RefSegRS和RRSIS-D上进行。在RefSegRS上，所提模型达到了70.43%的平均交并比（mIoU）和77.34%的整体交并比（oIoU），并在小型车辆、建筑物和细长道路标记上取得了显著提升。在更大规模的RRSIS-D数据集上，该模型实现了63.71%的mIoU和73.68%的oIoU。所提模型为在复杂遥感场景中由自然语言描述引导的精确多尺度目标分割提供了一种解决方案。

论文解读文章

一、研究背景与问题

遥感卫星与航空成像技术的快速发展使得获取的遥感影像数据量呈指数级增长。如何从海量遥感数据中高效、准确地提取用户指定的目标信息，已成为智能遥感图像解译中的基础性挑战。传统的基于预定义类别集的语义分割方法只能识别有限的固定类别，缺乏根据用户自然语言描述灵活定位和分割任意目标的能力。在此背景下，遥感图像指代分割任务应运而生，旨在通过自然语言查询来检索并分割特定目标。

然而，与自然图像分割相比，遥感图像分割面临更严峻的挑战。首先，遥感图像通常从俯视角度获取，目标呈现任意朝向和巨大的尺度差异；其次，遥感场景常包含复杂背景和密集分布的视觉相似目标；此外，自然语言查询常涉及模糊指代、复杂的空间关系和多重属性约束，进一步加大了视觉与文本模态之间的语义鸿沟。因此，如何在日益复杂的遥感场景下实现准确的跨模态语义对齐与精细目标分割，仍是提升模型性能的关键科学难题。

现有方法在直接应用于遥感场景时仍表现出明显局限：视觉特征提取层面，多数方法采用ResNet或Swin Transformer作为骨干网络，其固定感受野和轴对齐的局部注意力窗口难以适应遥感目标的几何形变和旋转变化；跨模态特征对齐阶段，当前方法通常采用粗粒度和部分单向的交互机制，未能在整个解码过程中持续提供语言引导；目标定位和查询初始化方面，传统Mask2Former依赖纯可学习的静态嵌入作为对象查询，缺乏对小型目标的空间引导，可能导致注意力分散和目标遗漏；边界分割精度方面，遥感目标常呈现复杂尖锐的几何结构，传统分割头因插值上采样导致特征退化，使目标边界附近的预测模糊不清；训练监督层面，传统仅依赖分类交叉熵损失、二值交叉熵损失和Dice损失的监督策略可能导致预测碎片化或边界泄漏，缺乏对局部像素一致性的显式约束。

二、研究内容与结论

为解决上述问题，研究人员提出了RS-CARES，一种面向遥感的上下文感知指代表达分割框架。该框架结合多尺度视觉骨干网络与冻结的CLIP语言表示，通过语义先验定位图提供表达式感知的空间先验用于动态查询初始化，利用跨模态上下文聚合器增强语言与多尺度视觉特征之间的语义交互，并通过语言引导的Transformer解码器逐步改进目标定位和掩码预测。这些模块被集成在一个统一的Mask2Former解码框架内。

实验在两个公开基准数据集RefSegRS和RRSIS-D上进行评估。在RefSegRS测试集上，该方法在所有五个Pr指标上均取得最优结果，mIoU达到70.43%，较FIANet提升2.66个百分点，尤其在Pr@0.8指标上显著提升10.10个百分点。在RRSIS-D测试集上，该方法取得最高mIoU（63.71%），较FIANet、RMSIN、LGCE和CrossVLT分别提升1.28、2.06、3.01和3.32个百分点。消融实验表明，移除跨模态上下文聚合器后mIoU下降最为显著（12.56个百分点），证实多尺度跨模态上下文聚合是性能提升的主要来源之一。

该研究的理论意义在于：系统性地解决了遥感指代分割中小目标定位难、跨模态语义对齐不足、边界分割模糊等关键问题。实践意义上，该方法为复杂遥感场景下由自然语言描述引导的精确多尺度目标分割提供了有效解决方案，可用于土地覆盖分析、城市规划、灾害监测等实际应用领域。

三、关键技术方法概述

研究人员采用了以下关键技术方法：

1. 1.
   双流特征提取骨干：采用InternImage作为视觉骨干提取层次化多尺度视觉特征，同时使用冻结的CLIP文本编码器获取词级和句子级语言表示。
2. 2.
   语义先验定位图：基于冻结的CLIP图像和文本特征，通过残差双向交叉注意力机制构建表达式相关的语义种子图，并经两个参数独立的残差定位器进行尺度特定的细化，生成空间热图以提供空间归纳偏置。
3. 3.
   跨模态上下文聚合器：对三个低分辨率视觉特征图依次应用双向注意力迁移和多尺度可变形自注意力编码器进行早期融合，随后引入语言引导的双向特征金字塔网络沿自上而下和自下而上路径融合多尺度视觉信息，并在每个融合节点持续更新语言表示。
4. 4.
   动态查询初始化策略：从两个高分辨率视觉记忆中，基于视觉-语言余弦相似度与标准化后的空间先验联合评分，经跨尺度配额分配和空间去重后选择候选位置，收集局部视觉向量并与句子级语义特征及全局视觉上下文向量拼接形成动态查询。
5. 5.
   语言引导Transformer掩码解码器：在每个解码层，先通过语言引导的全局上下文门控模块对当前尺度视觉特征进行通道调制和局部空间增强，再使对象查询同时与语言增强后的视觉特征和词级文本特征进行交叉注意力交互，经自注意力和前馈网络逐层更新。

四、研究结果

比较实验结果

在RefSegRS测试集上，所提方法在所有五个Pr指标上均取得最优结果，Pr@0.5、Pr@0.6、Pr@0.7、Pr@0.8和Pr@0.9分别为84.04%、77.77%、66.04%、40.29%和9.74%，mIoU达70.43%。在14个目标类别中，该方法在车辆、汽车、厢式货车、建筑、卡车、公交车、道路标记和自行车道等8个类别上取得最优结果。

在RRSIS-D测试集上，所提方法取得最高mIoU（63.71%），Pr@0.5达到73.48%。在棒球场、高尔夫球场、烟囱、桥梁、飞机和风车等类别上取得领先结果，其中棒球场和高尔夫球场的平均IoU分别达到83.37%和76.38%，较FIANet提升14.99和20.78个百分点。

定性结果

可视化结果显示，对于大面积连续目标（如铺砌道路），模型能完整聚合连续区域并保持良好边界一致性；对于离散小目标（如道路上行驶的车辆），模型能从复杂背景中成功筛选出与表达式相关的目标；对于复杂轮廓目标（如不透水面），预测结果成功覆盖主要硬化表面区域，但在狭窄分支和邻近草地裸地的边界处仍存在一定偏差。

消融研究

在RRSIS-D验证集上的消融实验表明，完整方法相比仅保留静态句子级语言条件查询的基线，mIoU和oIoU分别提升15.09和11.89个百分点。逐项移除实验显示，移除CCA后mIoU降至51.74%（降低12.56个百分点），移除SPLM、动态查询和解码器语言交互后mIoU分别降低5.76、4.44和5.84个百分点。在RefSegRS上的消融结果同样证实各模块的有效性。

五、讨论与结论

讨论部分总结：尽管所提方法在样本平均性能和类别判别方面表现优异，但oIoU低于FIANet（77.34% vs. 78.90%），Pr@0.9仅为9.74%，表明对于某些大尺度目标、细长结构和复杂轮廓目标仍存在区域覆盖不足和边界偏差问题。在RRSIS-D上，虽然mIoU高于FIANet，但oIoU低2.20个百分点，说明在大面积目标或高频类别的整体覆盖能力上仍有提升空间。未来可从高分辨率掩码预测、区域完整性约束和边界精细化等方面进行改进。

研究结论翻译：总体而言，所提出的RS-CARES成功完成了基于语言表达的各种尺度和形状目标的语义定位与区域分割。预测掩码在主体区域与真实标注展现出高度一致性。该现象与在RefSegRS数据集上获得的定量结果相符。模型在具有清晰结构的目标（如建筑、不透水面和车辆）上表现稳定，而在细长结构、低纹理区域和小尺度目标的边界刻画方面仍有进一步提升空间。