从不足到充足：用于遥感图像-文本检索的层次语义对齐技术

《Expert Systems with Applications》：From Insufficient to Sufficient: Hierarchical Semantic Alignment for Remote Sensing Image-Text Retrieval

遥感图像-文本检索中，现有方法因全局匹配忽略局部语义或细粒度对齐忽视上下文导致跨模态对齐不足。本文构建SHSA框架，通过文本语义增强模块(TSE)提升上下文表达，结合全局对比学习(GCM)建立稳定语义边界，并利用信息驱动的方法(SFA)筛选关键视觉-文本对齐，在RSICD和RSITMD数据集上验证其优于现有方法的检索精度、鲁棒性和语义可解释性。

　　

元仕|马文涛|陈少凡|刘璐|史国龙|姚忠阳|刘伟|顾立川

安徽农业大学人工智能学院，中国安徽省合肥市230036

摘要

遥感图像-文本检索（RSITR）的目标是在遥感（RS）视觉信息与其文本注释之间建立双向的语义关联。然而，大多数现有方法存在跨模态对齐不足的问题，它们要么进行全局级匹配而忽略了局部语义，要么专注于细粒度对齐而忽视了上下文依赖性。这种限制导致不同模态之间的语义对应关系不完整且不一致。为此，我们提出了一种创新框架——充分层次语义对齐（SHSA），通过逐步整合全局和局部语义来实现全面的跨模态理解。具体来说，SHSA包括三个关键模块：（1）文本语义增强器（TSE），通过掩码语言建模目标来细化句子嵌入，以增强上下文的完整性；（2）全局跨模态匹配（GCM）模块，使用对比学习机制在联合嵌入空间中进行区分性全局对齐；（3）选择性细粒度对齐（SFA）模块，通过基于词义的（TWS）损失函数自适应地识别有信息的视觉-文本对。在两个广泛使用的标准数据集RSICD和RSITMD上进行的全面评估表明，SHSA在多个指标上均优于现有最佳方法（SoTA），验证了其在复杂遥感场景中的检索准确性、鲁棒性和语义可解释性的优越性。我们的源代码可在以下链接获取：https://github.com/hocker-sy/SHSA

引言

作为典型的跨模态检索任务，遥感图像-文本检索（RSITR）的目的是基于共同含义将遥感视觉信息与其相关描述关联起来，从而实现双向检索（Yang等人，2024a；Yuan等人，2022b）。它在农田监测、资源管理、灾情评估和城市发展等领域的应用越来越受到关注（Chi等人，2016；Li、Ma和Zhang，2021；Wang、Ma和Zhang，2023）。有效的RSITR方法可以支持更高效的地球观测（EO）分析（Ma等人，2015；Vivone，2023；Xiao等人，2023）。然而，由于模态的固有异质性和语义粒度的差异，有效的跨模态对齐仍然是一个挑战（Chen、Du、Zi、Xiong和Lu，2024a；Ji、Meng、Zhang、Pang和Li，2023）。

现有的RSITR方法通常可以分为粗粒度对齐范式和细粒度对齐范式（图1）。粗粒度方法通常将整个图像及其配对描述嵌入到一个共享的潜在空间中，并优化它们之间的全局相似性（Abdullah等人，2020；Zhang等人，2023a）。这些方法计算效率高，适用于大规模检索，但无法捕捉到精细视觉实体与文本短语之间的详细对应关系，因此在包含多个对象或复杂空间关系的场景中性能会下降。相比之下，细粒度方法通过利用对象检测、分割或注意力机制提取的局部特征来建立明确的区域-单词对应关系（Ji等人，2023；Yuan、Zhan和Xiong，2023；Yuan等人，2022a）。这些方法增强了详细的语义理解，但通常伴随着更高的计算成本。为了解决这些限制，最近的研究尝试将全局上下文线索与局部细粒度语义相结合，以实现更全面的跨模态理解（Sun、Zhao、Liu和Kaup，2024；Wang等人，2022；Yuan等人，2022b）。尽管在融合高级全局语义与区分性局部关系方面取得了进展，但精确的跨模态语义对应关系仍受到两个核心问题的限制。

（1）次优的全局-局部融合。尽管最近的研究试图将全局嵌入与局部区域-单词交互结合起来，但融合往往是以松散或延迟的方式进行。结果，全局线索可能占主导地位并抑制了区分性局部细节，或者当对象较小或视觉上模糊时，局部特征可能会引入噪声。这导致不同模态之间的语义对齐不一致或不完整，表明简单混合全局和局部信息并不能完全解决语义差距。

（2）文本表示不足。遥感字幕通常包含具有不同详细程度的领域特定描述、冗余修饰词和空间介词，这些可能会掩盖检索所需的关键语义线索。另一方面，仅使用监督目标训练的文本编码器往往无法捕捉隐含的上下文依赖性或恢复不完整的语义。

鉴于这些困难，我们设计了一个创新框架——充分层次语义对齐（SHSA），用于RSITR任务，以缓解不同模态之间的语义差异。在这里，“充分”一词是用于任务导向的意义，指的是一种足以支持准确遥感图像-文本检索的对齐方式，它通过同时捕捉全局语义一致性和区分性局部对应关系来实现，而不是指理论上完整或最优的对齐。术语“层次化”表示跨模态对齐在多个语义层面上进行，包括全局表示匹配和选择性细粒度token交互，而不是依赖于单阶段对齐范式。

具体来说，SHSA由三个关键模块组成：（1）文本语义增强器（TSE）：为了解决文本表示不足的问题，TSE通过掩码语言建模（MLM）目标来细化句子嵌入。这鼓励网络恢复被掩码的单词并捕捉长距离依赖关系，从而在复杂的遥感场景中增强文本语义的上下文完整性和鲁棒性。（2）全局跨模态匹配（GCM）：在全局层面，GCM通过对比目标在共同的嵌入子空间中对视觉和文本特征进行粗粒度对齐。该模块通过缩小匹配对之间的距离并分离不匹配的对来增强语义区分性，从而建立稳定的语义边界。（3）选择性细粒度对齐（SFA）：为了增强区分性局部交互，SFA引入了一种信息驱动的token选择方法，从全局表示中自适应地提取最显著的视觉-文本token。然后使用这些选定的token来构建细粒度的区域-单词对应关系。此外，还采用了基于词义的（TWS）损失函数来指导这一过程。

本工作的主要贡献可以总结如下：

我们提出了一个新颖的充分层次语义对齐（SHSA）框架，它结合了全局语义匹配和token级对齐，将高级上下文语义与详细的区域-单词对应关系结合起来，以实现更全面的跨模态理解。

我们设计了两个关键模块GCM和SFA，并由文本语义增强器（TSE）补充。GCM通过学习匹配和未匹配的图像-文本对之间的区分性边界来细化全局语义，而SFA通过信息驱动的token选择构建层次化的局部对齐机制。TSE通过重构被掩码的token并增强上下文依赖性来进一步增强文本的完整性。

在两个公共基准数据集RSICD和RSITMD上的广泛实验表明，SHSA在多个评估指标上始终优于现有的最佳方法（SoTA）。

本工作的其余部分安排如下：第2节专门用于回顾相关先前的工作。第3节详细介绍了我们开发的方法。第4节和第5节分别介绍了实验设置和结果分析。最后，第6节总结了本工作并提出了后续研究的方向。

相关工作

相关工作

在本节中，我们首先讨论了RSCITR领域的演变，然后简要回顾了视觉-语言预训练（VLP）模型的相关研究。最后，我们将讨论视觉-文本语义对齐的相关工作。

方法

如图2所示，SHSA框架的组织和设计在本节中进行了详细说明，展示了如何在全局和选择性细粒度层面上进行层次化对齐，从而为遥感图像-文本检索提供有效的语义充分性。

基准数据集

我们的方法在I2T和T2I检索任务上进行了评估，使用了两个流行的遥感数据集RSICD（Lu等人，2017）和RSITMD（Yuan等人，2022a），其中给定的文本/图像查询用于从相应数据库中检索最相关的图像/文本。

RSICD数据集包含10,921张遥感图像，所有图像都统一缩放到224 × 224像素，尽管原始分辨率各不相同。每张图像都有五个人工注释的字幕，但只有724张图像有五个独特的描述。

实验结果与分析

我们在两个广泛使用的跨模态RSITR基准数据集上进行了全面的实验，以验证我们提出的方法的性能。评估基于五个核心研究问题（RQs），具体如下：

RQ1：我们的方法是否优于现有最佳方法（SoTA）？

RQ2：所有组件是否都有效且必不可少？

RQ3：从定性可视化中可以获得哪些见解？

RQ4：损失函数超参数应该如何配置

结论

本文提出的方法是一个SHSA框架，它包含了一个文本语义增强机制，并引入了两个关键模块：GCM和SFA。这些组件从全局和局部角度共同增强了视觉和文本模态之间的对应关系，从而提高了统一向量空间的可区分性和结构一致性。在RSICD和RSITMD数据集上的全面评估表明，SHSA始终优于现有的最佳方法

CRediT作者贡献声明

元仕：撰写——原始草稿，概念化，软件，方法论。马文涛：撰写——审阅与编辑。陈少凡：数据管理，撰写——原始草稿。刘璐：可视化，调查。史国龙：资源，验证。姚忠阳：软件，验证。刘伟：撰写——审阅与编辑。顾立川：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。