摘要
指向型遥感图像分割（RRSIS）旨在根据自然语言描述从遥感图像中识别出目标对象。该方法为在遥感场景中定位特定物体提供了灵活的手段，有助于推动智能地球观测应用的发展。尽管现有方法通过加强视觉与语言的对应关系取得了显著进展，但大多数方法仍将描述内容视为整体语言特征，并依赖以卷积为主的解码方式来预测掩码。这种处理方式容易将目标类别、物体间关系以及空间位置信息混为一谈，导致在复杂的遥感场景中难以区分目标对象与众多同类干扰物。为解决这一问题，我们提出了SRGFormer，这是一种用于RRSIS的图推理框架。具体而言，语义角色分解模块会将描述语句分解为目标、关系和位置等语义元素，从而为目标定位提供明确的语言依据。在分解后的关系语义引导下，语义关系图变换器会对融合后的多尺度视觉特征进行基于关系的图推理，实现空间分布中的候选目标之间的长距离依赖建模。此外，渐进式掩码优化模块会将持续注入分解后的语义信息到语义调节、查询初始化以及迭代掩码解码过程中，以此减少掩码生成过程中的语义衰减现象。大量实验表明，SRGFormer在RefSegRS数据集上的性能有了显著提升，mIoU值达到66.08%，oIoU值达到76.93%（分别比现有最佳成果高出3.96%和2.83%），同时Pr@0.7指标也提升了15.95%。在另一组RRSIS-D测试数据集上的实验进一步证明了该方法的通用性，SRGFormer的表现仍具有竞争力，mIoU值为65.87%，Pr@0.9值为24.61%。这些结果都表明，所提出的框架能够有效提升复杂遥感场景中的目标定位精度及细粒度掩码预测能力。
