遥感视觉定位(RSVG)旨在根据自然语言描述(Ding et al., 2024)定位遥感图像中的目标区域。与视觉问答(Bazi et al., 2024, Wang and Ghamisi, 2024, Siebert et al., 2022)和图像描述(Sumbul et al., 2021, Yang et al., 2024)等更为成熟的任务相比,RSVG 在遥感图像理解领域引起了越来越多的关注。尽管如此,RSVG 能够从大量遥感数据中准确高效地提取和解释目标信息的能力,凸显了其在军事情报分析、灾害响应、农业监控和环境监测等领域的应用前景(Zhao et al., 2024)。与自然图像相比,遥感图像的覆盖范围从米到千米不等,包含多种多样的地表覆盖类型,通常被称为专门术语,且大多是从天底(俯视)视角拍摄的,缺乏自然图像中常见的纹理线索(Liang et al., 2025)。遥感影像存在严重的视角变化和背景杂乱,这使跨模态定位变得复杂。因此,自然语言描述必须与遥感图像中的地表覆盖对象精确对应,这进一步放大了遥感场景中语言与视觉之间的语义鸿沟。
RSVG 首先由 Sun 等人(2022)提出,他们提出了 GeoVG 模型,以解决传统自然图像定位方法在捕捉大尺度场景和地理空间关系方面的局限性。GeoVG 展示了其在视觉定位方面的潜力;然而,由于其交互深度有限,它在背景杂乱的场景中表现不佳。Zhan 等人(2023)构建了 DIOR-RSVG 数据集,并提出了一种多粒度视觉语言融合(MGVLF)模块,以解决遥感影像中常见的大尺度场景和背景杂乱噪声挑战。但它依赖于浅层融合策略。Li 等人(2024b)开发了一个大规模基准数据集 OPT-RSVG,并引入了一种语言引导的渐进式视觉注意力(LPVA),以解决由于与相应文本输入交互不足而导致视觉特征提取过程中的注意力漂移问题。虽然 LPVA 在一定程度上缓解了视觉注意力漂移,但它没有显式建模语义依赖,这可能会影响其在噪声较大场景中的性能。Lan 等人(2024)提出了一种利用句子级文本特征作为查询的多尺度特征提取新策略。他们引入了一种多尺度跨模态对齐(MSCMA)模块,以增强视觉和文本模态之间的语义相关性。但它主要依赖于句子级特征,限制了对结构化语义信息的充分利用。
尽管 RSVG 取得了显著进展,但精确高效的跨模态对齐仍然是一个基本挑战。现有方法可能由于语义过滤不足而引入冗余的文本信息。此外,大多数方法依赖于单阶段交互策略,不足以捕捉语言与视觉表示之间的分层语义依赖。这个问题在具有长文本描述的高分辨率遥感影像中进一步加剧,其中难以有效建模长距离空间依赖和上下文关系。为此,我们提出了一种语义一致的分阶段跨模态交互视觉定位网络(SCAIVG)。该模型以跨模态对齐为核心,做出了以下关键贡献:
(1)我们提出了一种门控特征缩放模块,用于对文本语义进行先验过滤。通过引入可学习的门控机制,在源头层面抑制冗余或不相关的信息,为跨模态对齐提供更干净、更可靠的语义基础。
(2)我们设计了一种分阶段跨模态对齐框架,将对齐过程分解为两个连续阶段:空间约束语义细化和语义驱动空间锚定。这种分阶段设计保留了特定模态的结构信息,并有效减轻了迭代跨模态交互过程中的语义漂移。
(3)我们开发了一种多粒度语义模块,以捕捉互补的文本表示,包括 CLS 级别、全局句子级别和显著语义特征。这增强了模型处理复杂和模糊语言描述的能力。
在 VRSBench 数据集上的实验表明,所提出的方法在现有方法基础上实现了持续改进,验证了所提出设计的有效性。