由于卫星成像技术的飞速发展,遥感图像检索(RSIR)在过去几年中成为了一个重要的研究领域(Mikriukov, Ravanbakhsh, & Demir (2022))。RSIR方法用于从档案中搜索和获取遥感图像,给定一个查询图像作为参考(Sumbul, Kang, & Demir (2021))。传统的图像检索算法(Chatzis, Doulamis, & Varvarigou (2007); Rui, Huang, Ortega, & Mehrotra (1998); Sidiropoulos, Vrochidis, & Kompatsiaris (2011))可能不适合RSIR,因为这些方法主要关注颜色、图案和纹理等表面特征,而遥感图像需要更深入的特征理解(Sudha & Aji (2019); Zhou, Guan, Li, Shao, & Delavar (2023))。因此,需要基于神经网络的算法来帮助有效搜索和检索遥感图像。RSIR的另一个重要方面是图像获取的模态。在传统的RSIR设置中,查询图像和图像档案(称为图库)属于同一模态,即它们是用相同的传感器捕获的。这种检索机制称为单模态RSIR(U-RSIR)。尽管已经提出了多种U-RSIR算法,但这种设置的一个主要缺点是它们很难反映现实世界的情况(Sun et al. (2021))。
在灾害管理和地理定位等遥感应用中,需要全面了解地面实际情况,单张遥感图像可能无法始终覆盖场景的所有方面。例如,光学图像容易受到恶劣天气条件的影响,夜间无法使用(Xiong, Xiong, Zhang, Cui, & Gu (2020c))。因此,需要使用多种不同的传感器(如光学、红外(IR)、合成孔径雷达(SAR)、全色(PAN)等)来捕获区域,从而形成不同模态的图像。这些传感器捕获的图像具有不同的特性,如空间分辨率和通道数量。在这种情况下,单模态RSIR方法无法发挥作用,因为它们是针对单一模态进行训练的。因此,研究转向了跨模态RSIR(C-RSIR)(Dubey (2021); Li, Ma, & Zhang (2021)),图1展示了一个示例)。
C-RSIR方法(Li, Zhang, Huang, & Ma (2018); Sun et al. (2023))能够处理来自不同来源和时间的图像,即可以高效检索共注册图像(相同地理位置,不同时间)和非共注册图像(不同地理位置和时间)。尽管这些方法能够处理现实世界场景,但仍存在两个主要挑战。首先是多模态数据分布和统计特性的差异(Li et al. (2018))。这可以归因于获取图像的来源不同。为了解决这个问题,需要建立模间关系(Zhang, Li, & Mei (2023a)),以帮助跨模态图像识别。第二个挑战是每种模态中特征解释的差异,也称为异质性差异(Zhu, Wang, Hu, Su, & Fu (2024))。由于相同的数据在不同模态中可能有不同的解释,因此需要一个共同的基准来对齐所有模态(Lv, Xiong, Zhang, & Cui (2021))。
鉴于上述挑战,我们提出了一种基于对比学习和原型对齐的新型跨模态RS图像检索算法X-CLPA。其图像编码器擅长从图像中提取显著细节。训练目标旨在建模模间关系和实现有效的跨模态对齐。此外,我们还关注确保不同模态之间的样本有足够的区分度。图像编码器包含一个混合版本的ResNet特征提取器,具有较小的内核尺寸、额外的平均池化层和最终的上下文感知池化层,以提取细粒度细节并建立强健的像素间关系。我们还引入了一种新颖的目标函数组合——跨模态对比损失和跨模态原型对齐损失——这些函数有助于在不同模态中有效区分样本类别,并将模态对齐到共享的特征空间。所提出的X-CLPA模型在三个数据集上进行了广泛实验,涵盖了四种不同的模态组合,以验证其有效性。贡献总结如下:
- 1. 本文提出了一个端到端的C-RSIR框架,通过使用对比学习和原型对齐的概念来克服关系建模和跨模态对齐的挑战,从而实现有效的跨模态遥感图像检索。
- 据我们所知,这是第一项在三种不同数据集上验证了四种不同模态组合(RGB, MS, RGB, SAR, MS, PAN)的C-RSIR技术的研究。
- 使用了一种目标函数组合来训练模型:跨模态对比损失和跨模态原型对齐损失,有效提高了模态间的类别区分度,从而提高了检索率。
- X-CLPA在DSRSID数据集上的mAP值为98.69%,在EuroSAT数据集(RGB, MS)上为95.96%,在TUM数据集上为99.31%,表现出优于现有方法的性能。