面向遥感图文检索的显式空间定位与任务自适应平衡
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Explicit spatial localization and task-adaptive balancing for remote sensing image-text retrieval
【字体:
大
中
小
】
时间:2026年08月29日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9
编辑推荐:
## 摘要
跨模态图文检索是遥感(RS)领域的一项基础技术,能够实现大规模地球观测数据的智能挖掘与语义解译。现有方法大多作为全局匹配器运行,将整幅图像及其对应文本投影到共享的全局嵌入空间中以计算相似度。然而,这些方法仅能实现宏观层面的对齐,无法识别特定文本概念的空间定位,从
## 摘要
跨模态图文检索是遥感(RS)领域的一项基础技术,能够实现大规模地球观测数据的智能挖掘与语义解译。现有方法大多作为全局匹配器运行,将整幅图像及其对应文本投影到共享的全局嵌入空间中以计算相似度。然而,这些方法仅能实现宏观层面的对齐,无法识别特定文本概念的空间定位,从而限制了检索模型的进一步提升。为克服这一局限,本文提出了一种新颖的协同学习范式SLB-Net,该范式显式地引入细粒度视觉定位以提升遥感跨模态检索的精度与可解释性。SLB-Net引入了三个新颖模块:最优传输引导的查询选择(OTQS)、线索恢复的空间锚定(SACR)以及任务自适应平衡的跨模态检索(CRTB)。OTQS模块应用具有严格边际约束的最小化代价传输方案来提取精确的空间查询,防止关键区域主导匹配并实现对微小物体的识别。SACR模块采用轻量级跨模态解码器从文本描述中生成显式定位的边界框,为后续对齐提供必要的几何先验。CRTB模块通过互补平衡结构,整合自底向上的空间协同与自顶向下的语义过滤,解决宏观检索与微观定位之间的特征冲突。我们在两个遥感图文检索基准数据集上评估了SLB-Net。除原始标签外,我们还在基准数据集中扩展了额外的区域-文本标注。在这些数据集上的大量实验表明,SLB-Net在整体检索性能上显著优于近期最先进的方法(如EAPA和SWPE),在RSITMD数据集上平均召回率绝对提升1.67%,同时为跨模态匹配提供了透明、细粒度的空间证据。源代码地址:https://github.com/miaomiao101811-ui/SLB-Net/tree/main
## 引言
地球观测数据的指数级增长大幅增强了对地球系统的分析与解译能力。多源数据的融合为遥感(RS)信息处理中异构数据模态的智能交互与高效对齐带来了挑战。在此背景下,遥感图文检索(RSITR)是弥合视觉表征与自然语言表征之间语义鸿沟的关键技术。该方法能够实现对大规模遥感图像库的智能管理,并广泛应用于国家级工程应用,如灾害应急响应与城市动态监测(Lobry et al., 2020, Wang et al., 2025b, Ji et al., 2025)。
RSITR旨在在复杂视觉信号与自然语言之间建立精确的语义映射。然而,遥感图像固有的特征,如复杂背景和密集分布的物体,往往阻碍了传统跨模态对齐范式的直接应用。早期专门方法主要关注多尺度特征提取、显著区域增强和检索效率方面的进步(Zheng et al., 2023b, Liu et al., 2025a, Ji et al., 2024, Liu et al., 2025c, Sun et al., 2021)。此外,为应对遥感图像多视角的挑战,部分研究引入了多视角特征增强和跨模态渐进式视角匹配机制(Su et al., 2025, Zheng et al., 2025b)。近年来,视觉-语言模型(VLMs),如CLIP(Radford et al., 2021)和ALIGN(Jia et al., 2021),的快速发展显著改变了通用视觉任务的技术基础。得益于VLMs的强泛化能力,近期研究日益聚焦于以最小的计算开销将自然领域的预训练模型适配到专门的遥感场景(Yang et al., 2025b, Wan et al., 2025, Ning et al., 2025, Sun et al., 2025)。
RSITR的主要挑战是实现视觉与文本表征之间的鲁棒对齐。从根本上说,遥感图像通常具有密集的视觉背景和复杂的空间拓扑结构,而文本序列传达离散且抽象的语义,导致异构表征之间存在显著差距。近期方法通过采用具有局部-全局多粒度的协同对齐架构来应对这一挑战。这些方法利用跨模态注意力机制(Li et al., 2025b, Chen et al., 2025c, Sha et al., 2025, Tang et al., 2023, Chen et al., 2024)促进稠密特征交互,并采用门控策略平衡全局场景与局部物体细节,从而产生高保真的联合表征。为了实现更高阶的结构对齐,部分研究(Wang et al., 2025a, Regan and Khodayar, 2023)利用图卷积网络(GCNs)将遥感目标及其空间关系建模为视觉语义图,随后在图空间中与文本的句法树结构进行同构匹配。此外,大量研究(Xu et al., 2025, Zhao et al., 2025, Chen et al., 2024, Chen et al., 2025c)强调度量学习约束以维持语义一致性并增加特征流形中的类间间隔,从而提高异构特征对齐的效率与精度。
遥感跨模态对齐的一个根本挑战在于有效建模其独特的视觉特征,尤其是极端的尺度变化、稀疏的物体分布和复杂的空间上下文,如图1(上)所示。给定查询文本,大多数当前方法将整幅图像和文本投影到全局嵌入空间中以计算跨模态相似度(Zhang et al., 2023b, Yang et al., 2024, Ji et al., 2024),该过程如图1(红色面板)所示。当面对遥感数据固有的严重尺度变化和密集背景时,这种全局特征聚合机制迫使网络将高度异构的空间元素压缩为单一向量。结果,细微但关键的目标线索,如稀疏分布的车辆或小型游泳池,往往被主导性的背景噪声和无关的空间上下文所掩盖。因此,仅依赖全局对齐对于遥感分析所需的精度是不够的,这凸显了需要一种能够利用局部空间几何来在复杂上下文中精确定位关键目标的范式。
为克服这一局限,我们从人类视觉认知过程中汲取灵感。在导航复杂场景时,人类视觉系统主动定位判别性实体,而非整体感知场景。视觉定位任务(Liu et al., 2024b, Hu et al., Hu et al., 2025)将文本概念显式地锚定到特定的空间边界框,这与人类视觉认知中观察到的选择性注意力机制密切相关。利用视觉定位支持跨模态检索,我们的方法提供两大主要优势。其一,建立了微观锚定到宏观对齐的协同范式,将细粒度几何先验整合到全局表征中以促进精确定位、支持细微线索恢复并提升跨模态度量学习性能;其二,增强了功能层面的可解释性,通过在检索结果中显式地识别边界框,模型揭示了其空间推理过程,为匹配决策提供了透明证据。
基于这些洞见,本工作提出了一种新颖的联合学习框架SLB-Net,该框架利用细粒度视觉定位来提升RSITR的性能与可解释性。为支持该方法,我们在检索基准数据集中扩展了额外的区域-文本标注。该框架首先利用预训练的双编码器提取层次化的跨模态表征。随后,引入三个新颖模块:最优传输引导的查询选择(OTQS)、线索恢复的空间锚定(SACR)以及任务自适应平衡的跨模态检索(CRTB)。OTQS模块利用最优传输进行精确的空间查询提取,采用具有严格边际约束的最小化代价传输方案。该方法内在地促进稀疏性并限制任何单一主导区域的匹配能力,迫使网络关注遥感图像中的不显眼物体。基于这些鲁棒的查询,SACR模块作为主动桥梁,将检索范式从整体全局压缩转变为显式空间推理。通过捕捉细粒度空间细节和局部化边界框,SACR模块为检索和功能可解释性提供必要的几何先验,从而建立微观锚定到宏观对齐机制。CRTB模块通过互补的双向路径解决宏观检索与微观定位之间的固有特征冲突。自底向上的空间协同使模型能够识别高度同质遥感场景中的细微目标线索,而自顶向下的语义过滤则利用文本语义作为探针减少密集背景中常见的冗余几何噪声。最终,SLB-Net通过联合优化跨模态对比损失和几何回归损失进行端到端训练。如图1(绿色面板)所示,通过生成本地化边界框作为显式几何先验,SLB-Net确保了高精度对齐和可解释的定位检索。
我们的主要贡献如下:
- 我们提出了一种新颖的协同学习范式SLB-Net,该范式显式地利用视觉定位作为主动桥梁,将检索从整体全局压缩转变为显式空间推理。通过捕捉细粒度空间细节作为几何先验,该方法显著提高了精度和功能层面的可解释性。
- 我们设计了OTQS模块,通过将最优传输重新用于精确的空间查询提取,采用具有严格边际约束的最小化代价传输方案,防止主导区域掩盖不显眼的小物体。
- 我们开发了CRTB模块,实现了两种互补的平衡策略来解决宏观检索与微观定位之间的固有特征冲突。
- 我们在检索基准数据集中扩展了额外的区域-文本标注,以评估和支持细粒度视觉定位与跨模态检索之间的协同学习。
## 遥感中的图文检索
深度学习技术的快速演进推动了跨模态检索范式取得了前所未有的突破。然而,遥感图像的独特特征,包括复杂背景、密集物体分布和冗余信息,往往阻碍了通用检索范式的有效性。为此,研究人员开发了专门的方法来应对这些领域特定挑战。例如,多尺度特征提取……
## 问题定义
设 $\mathcal{D} = \{(v_n, t_n)\}_{n=1}^N$ 表示由 $N$ 个遥感图文锚点对组成的数据库,$\mathcal{I} = \{v_n\}_{n=1}^N$ 和 $\mathcal{T} = \{t_n\}_{n=1}^N$ 分别表示图像空间和文本空间。跨模态检索的主要目标是,对于给定的查询图像 $v_q$(或查询文本 $t_q$),从数据库中查找对应的文本 $t$(或图像 $v$)。为实现这一目标,学习两个模态特定的编码器 $f_v$ 和 $f_t$,将输入图像和文本映射到统一的 $d$ 维嵌入空间。
## 图文检索数据集
我们在两个RSITR任务基准数据集上进行了对比实验:RSICD和RSITMD。RSICD(遥感图像描述数据集)(Lu et al., 2017)包含10,921张卫星图像,分辨率至少为224 × 224像素。RSITMD(遥感图文匹配数据集)(Yuan et al., 2022a)包含4743张高分辨率图像,每张图像的典型分辨率为256 × 256像素。所有图像均标注有5个参考句子。
## 视觉定位数据集扩展
我们实现了……
## 结论
本文提出了SLB-Net用于RSITR任务,该模型显式地整合了细粒度视觉定位以增强检索精度和可解释性。OTQS模块采用具有严格边际约束的最小化代价传输方案提取精确的空间查询,防止关键区域主导并实现对小物体的识别。基于鲁棒的查询,SACR模块生成显式定位的边界框以提供几何先验。
## CRediT作者贡献声明
Chengyu Zheng:撰写——原稿、可视化、验证、软件、方法学、调查研究、形式化分析。Hanzhang Lu:撰写——审阅与编辑、可视化、验证、软件、方法学、形式化分析。Qianyu Shang:数据管理。Yong Gao:撰写——审阅与编辑、监督、经费获取。Jie Nie:撰写——审阅与编辑、监督、经费获取、概念化。Shan Du:撰写——审阅与编辑、监督、资源、经费
## 利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所述工作的报告。
## 致谢
本工作得到中国国家自然科学基金(U23A20320和62422608)、加拿大自然科学与工程研究理事会(GR023170)以及加拿大创新基金(GR024473)的资助。
Chengyu Zheng | Hanzhang Lu | Qianyu Shang | Yong Gao | Jie Nie | Shan Du
加拿大英属哥伦比亚大学(奥卡纳根校区)计算机科学、数学、物理学与统计学系,基洛纳,V1V 1V7,BC,加拿大