面向光学遥感影像视觉定位的语义一致分阶段跨模态交互对齐网络

《Engineering Applications of Artificial Intelligence》:A semantic-consistent staged cross-modal interaction alignment network for visual grounding in optical remote sensing imagery

【字体: 大 中 小 】 时间:2026年09月01日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   摘要遥感视觉定位任务旨在根据自然语言描述准确定位遥感影像中的目标对象。该任务对于智能监控、军事行动和灾害管理等应用至关重要。然而,现有方法仍面临多重挑战。首先,文本特征通常包含冗余信息,从而引入噪声。此外,单阶段交互难以捕捉复杂的多级语义对应关系。为解决这些挑战,本文提出了一

  

摘要

遥感视觉定位任务旨在根据自然语言描述准确定位遥感影像中的目标对象。该任务对于智能监控、军事行动和灾害管理等应用至关重要。然而,现有方法仍面临多重挑战。首先,文本特征通常包含冗余信息,从而引入噪声。此外,单阶段交互难以捕捉复杂的多级语义对应关系。为解决这些挑战,本文提出了一种语义一致的分阶段跨模态交互视觉定位网络,以增强视觉 - 语言对齐。该网络包含:一个重构文本语义并过滤冗余信息的门控特征缩放模块;一个实现渐进式交互和对齐的分阶段跨模态对齐机制;以及一个用于提取多级文本表示、增强语义理解的多粒度语义模块。实验结果表明,该方法达到了 66.50 的平均交并比,持续优于其他对比模型。所提出的方法可应用于高分辨率遥感影像以进行准确的目标定位,为智能监控提供了实用价值。

引言

遥感视觉定位(RSVG)旨在根据自然语言描述(Ding et al., 2024)定位遥感图像中的目标区域。与视觉问答(Bazi et al., 2024, Wang and Ghamisi, 2024, Siebert et al., 2022)和图像描述(Sumbul et al., 2021, Yang et al., 2024)等更为成熟的任务相比,RSVG 在遥感图像理解领域引起了越来越多的关注。尽管如此,RSVG 能够从大量遥感数据中准确高效地提取和解释目标信息的能力,凸显了其在军事情报分析、灾害响应、农业监控和环境监测等领域的应用前景(Zhao et al., 2024)。与自然图像相比,遥感图像的覆盖范围从米到千米不等,包含多种多样的地表覆盖类型,通常被称为专门术语,且大多是从天底(俯视)视角拍摄的,缺乏自然图像中常见的纹理线索(Liang et al., 2025)。遥感影像存在严重的视角变化和背景杂乱,这使跨模态定位变得复杂。因此,自然语言描述必须与遥感图像中的地表覆盖对象精确对应,这进一步放大了遥感场景中语言与视觉之间的语义鸿沟。
RSVG 首先由 Sun 等人(2022)提出,他们提出了 GeoVG 模型,以解决传统自然图像定位方法在捕捉大尺度场景和地理空间关系方面的局限性。GeoVG 展示了其在视觉定位方面的潜力;然而,由于其交互深度有限,它在背景杂乱的场景中表现不佳。Zhan 等人(2023)构建了 DIOR-RSVG 数据集,并提出了一种多粒度视觉语言融合(MGVLF)模块,以解决遥感影像中常见的大尺度场景和背景杂乱噪声挑战。但它依赖于浅层融合策略。Li 等人(2024b)开发了一个大规模基准数据集 OPT-RSVG,并引入了一种语言引导的渐进式视觉注意力(LPVA),以解决由于与相应文本输入交互不足而导致视觉特征提取过程中的注意力漂移问题。虽然 LPVA 在一定程度上缓解了视觉注意力漂移,但它没有显式建模语义依赖,这可能会影响其在噪声较大场景中的性能。Lan 等人(2024)提出了一种利用句子级文本特征作为查询的多尺度特征提取新策略。他们引入了一种多尺度跨模态对齐(MSCMA)模块,以增强视觉和文本模态之间的语义相关性。但它主要依赖于句子级特征,限制了对结构化语义信息的充分利用。
尽管 RSVG 取得了显著进展,但精确高效的跨模态对齐仍然是一个基本挑战。现有方法可能由于语义过滤不足而引入冗余的文本信息。此外,大多数方法依赖于单阶段交互策略,不足以捕捉语言与视觉表示之间的分层语义依赖。这个问题在具有长文本描述的高分辨率遥感影像中进一步加剧,其中难以有效建模长距离空间依赖和上下文关系。为此,我们提出了一种语义一致的分阶段跨模态交互视觉定位网络(SCAIVG)。该模型以跨模态对齐为核心,做出了以下关键贡献:
(1)我们提出了一种门控特征缩放模块,用于对文本语义进行先验过滤。通过引入可学习的门控机制,在源头层面抑制冗余或不相关的信息,为跨模态对齐提供更干净、更可靠的语义基础。
(2)我们设计了一种分阶段跨模态对齐框架,将对齐过程分解为两个连续阶段:空间约束语义细化和语义驱动空间锚定。这种分阶段设计保留了特定模态的结构信息,并有效减轻了迭代跨模态交互过程中的语义漂移。
(3)我们开发了一种多粒度语义模块,以捕捉互补的文本表示,包括 CLS 级别、全局句子级别和显著语义特征。这增强了模型处理复杂和模糊语言描述的能力。
在 VRSBench 数据集上的实验表明,所提出的方法在现有方法基础上实现了持续改进,验证了所提出设计的有效性。

章节片段

相关工作

在本节中,我们全面回顾了现有的关于视觉定位的研究。通常,视觉定位方法可以分为三种主要类型:两阶段方法、单阶段方法和基于 Transformer 的方法。

模型整体框架

SCAIVG 的架构如图 1 所示,给定一张遥感图像及其对应的语言描述,它们分别被输入到视觉和文本分支中进行特征提取。
在视觉分支中,我们采用 ResNet 作为视觉主干。文本描述首先由预训练的 BERT 编码器处理,以提取其上下文语义表示。随后,我们引入一个门控特征缩放模块来重构和细化初始文本

数据来源

实验使用了 VRSBench 数据集(Li et al., 2024a)。该数据集由 DOTA-v2 和 DIOR 构建而成,包含经过人工验证的高质量注释,如图 4 所示。它总共包含 29,614 张遥感图像,每张图像的分辨率为 512 × 512 像素。在 VRSBench 中,每张图像由分析师注释 1 到 5 个不同的对象,每个对象都伴有相应的指代表达。这些表达明确描述了

对比实验

本研究选择 VGTR(Du et al., 2022)、CLIP-VG(Xiao et al., 2024b)、VLTVG(Yang et al., 2022)、LQVG(Lan et al., 2024)、MiniGPT-v2(Chen et al., 2023)、LLaVA-1.5(Liu et al., 2024)和 GeoChat(Kuckreja et al., 2023)作为对比模型,并定量评估它们相对于所提出的 SCAIVG 模型的性能。其中,MiniGPT-v2、LLaVA-1.5 和 GeoChat 的结果来源于其原始数据论文和官方基准报告。由于这些基础模型

结论

本文提出了一种语义一致的分阶段跨模态交互视觉定位网络(SCAIVG)。该方法引入了一种门控特征缩放模块,以重构文本特征并有效抑制冗余信息;一种分阶段跨模态对齐模块,以实现分阶段双向语义对齐并增强多级语义映射;以及一种多粒度语义模块,以缓解建模长距离依赖的挑战。实验结果

CRediT 作者贡献声明

张旭:撰写 – 初稿,可视化,方法论,数据整理。李良志:监督,资金获取。韩玲:监督,资金获取。

利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文报告的工作。

致谢

本研究得到了基于多源异构时空数据融合的黄土高原智能滑坡识别研究(国家自然科学基金,项目编号42171348)的支持,得到了 中央高校基本科研业务费,长安大学(项目编号300102355201)和不依赖显著特征的遥感图像语义映射与匹配研究(国家自然科学基金 ,
张旭 | 李良志 | 韩玲
中国,西安市,长安大学地质工程与测量学院,710064
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号