X-CLPA:一种基于对比学习和原型对齐的跨模态遥感图像检索方法

《Expert Systems with Applications》:X-CLPA: A Contrastive Learning and Prototypical Alignment-based Crossmodal Remote Sensing Image Retrieval

【字体: 大 中 小 】 时间:2026年01月10日 来源:Expert Systems with Applications 7.5

编辑推荐:

  遥感多模态图像检索算法研究提出基于对比学习和原型对齐的X-CLPA方法,通过混合ResNet模块和上下文感知池化处理异构数据,解决统计特性差异和异质性鸿沟问题,在三个数据集上mAP分别达98.69%、95.96%和99.31%。

  
Aparna H|Biplab Banerjee|Avik Hati
机构:印度泰米尔纳德邦蒂鲁奇拉帕利国立技术学院电子与通信工程系

摘要

随着多模态卫星数据的不断增加以及遥感(RS)场景分析中对多角度需求的需求增长,跨模态信息检索变得至关重要。这些技术在灾害管理和土地利用制图中非常有用,因为它们可以从不同的时间段和地理位置检索信息。然而,跨模态图像检索也面临着自身的挑战,如统计特性的变化和异质性差异。本文提出了一种基于对比学习和原型对齐(X-CLPA)的新型跨模态图像检索算法,旨在克服上述挑战,并能够从光学、多光谱(MS)、合成孔径雷达(SAR)和全色(PAN)等多种模态中检索图像。该算法的核心网络是一个混合ResNet模块,可以捕获显著特征,并通过基于注意力的上下文感知池化来识别像素间的关系。本文使用了一种新颖的目标函数组合——跨模态对比损失(用于在不同模态中区分类别)和跨模态原型对齐损失(用于将不同模态对齐到共同的特征空间)。该算法在EuroSAT、DSRSID和TUM数据集上进行了测试,在DSRSID数据集上的mAP值为98.69%,在EuroSAT数据集(RGB、MS)上为95.96%,在TUM数据集上为99.31%。通过大量实验进一步验证了该模型的有效性,结果表明X-CLPA具有优越的整体性能。

引言

由于卫星成像技术的飞速发展,遥感图像检索(RSIR)在过去几年中成为了一个重要的研究领域(Mikriukov, Ravanbakhsh, & Demir (2022))。RSIR方法用于从档案中搜索和获取遥感图像,给定一个查询图像作为参考(Sumbul, Kang, & Demir (2021))。传统的图像检索算法(Chatzis, Doulamis, & Varvarigou (2007); Rui, Huang, Ortega, & Mehrotra (1998); Sidiropoulos, Vrochidis, & Kompatsiaris (2011))可能不适合RSIR,因为这些方法主要关注颜色、图案和纹理等表面特征,而遥感图像需要更深入的特征理解(Sudha & Aji (2019); Zhou, Guan, Li, Shao, & Delavar (2023))。因此,需要基于神经网络的算法来帮助有效搜索和检索遥感图像。RSIR的另一个重要方面是图像获取的模态。在传统的RSIR设置中,查询图像和图像档案(称为图库)属于同一模态,即它们是用相同的传感器捕获的。这种检索机制称为单模态RSIR(U-RSIR)。尽管已经提出了多种U-RSIR算法,但这种设置的一个主要缺点是它们很难反映现实世界的情况(Sun et al. (2021))。
在灾害管理和地理定位等遥感应用中,需要全面了解地面实际情况,单张遥感图像可能无法始终覆盖场景的所有方面。例如,光学图像容易受到恶劣天气条件的影响,夜间无法使用(Xiong, Xiong, Zhang, Cui, & Gu (2020c))。因此,需要使用多种不同的传感器(如光学、红外(IR)、合成孔径雷达(SAR)、全色(PAN)等)来捕获区域,从而形成不同模态的图像。这些传感器捕获的图像具有不同的特性,如空间分辨率和通道数量。在这种情况下,单模态RSIR方法无法发挥作用,因为它们是针对单一模态进行训练的。因此,研究转向了跨模态RSIR(C-RSIR)(Dubey (2021); Li, Ma, & Zhang (2021)),图1展示了一个示例)。
C-RSIR方法(Li, Zhang, Huang, & Ma (2018); Sun et al. (2023))能够处理来自不同来源和时间的图像,即可以高效检索共注册图像(相同地理位置,不同时间)和非共注册图像(不同地理位置和时间)。尽管这些方法能够处理现实世界场景,但仍存在两个主要挑战。首先是多模态数据分布和统计特性的差异(Li et al. (2018))。这可以归因于获取图像的来源不同。为了解决这个问题,需要建立模间关系(Zhang, Li, & Mei (2023a)),以帮助跨模态图像识别。第二个挑战是每种模态中特征解释的差异,也称为异质性差异(Zhu, Wang, Hu, Su, & Fu (2024))。由于相同的数据在不同模态中可能有不同的解释,因此需要一个共同的基准来对齐所有模态(Lv, Xiong, Zhang, & Cui (2021))。
鉴于上述挑战,我们提出了一种基于对比学习和原型对齐的新型跨模态RS图像检索算法X-CLPA。其图像编码器擅长从图像中提取显著细节。训练目标旨在建模模间关系和实现有效的跨模态对齐。此外,我们还关注确保不同模态之间的样本有足够的区分度。图像编码器包含一个混合版本的ResNet特征提取器,具有较小的内核尺寸、额外的平均池化层和最终的上下文感知池化层,以提取细粒度细节并建立强健的像素间关系。我们还引入了一种新颖的目标函数组合——跨模态对比损失和跨模态原型对齐损失——这些函数有助于在不同模态中有效区分样本类别,并将模态对齐到共享的特征空间。所提出的X-CLPA模型在三个数据集上进行了广泛实验,涵盖了四种不同的模态组合,以验证其有效性。贡献总结如下:
  • 1. 本文提出了一个端到端的C-RSIR框架,通过使用对比学习和原型对齐的概念来克服关系建模和跨模态对齐的挑战,从而实现有效的跨模态遥感图像检索。
  • 据我们所知,这是第一项在三种不同数据集上验证了四种不同模态组合(RGB, MS, RGB, SAR, MS, PAN)的C-RSIR技术的研究。
  • 使用了一种目标函数组合来训练模型:跨模态对比损失和跨模态原型对齐损失,有效提高了模态间的类别区分度,从而提高了检索率。
  • X-CLPA在DSRSID数据集上的mAP值为98.69%,在EuroSAT数据集(RGB, MS)上为95.96%,在TUM数据集上为99.31%,表现出优于现有方法的性能。

相关文献

本节讨论了与单模态和跨模态RSIR相关的现有文献,以及对比学习概念在RSIR中的应用。

方法论

本节描述了所提出的X-CLPA方法的网络架构和功能,以及跨模态对比和跨模态原型对齐目标函数。设计了一个适用于多种模态对的端到端图像检索模型,其架构在第3.1节中介绍,目标函数在第3.2节中说明。

实验结果

为了验证所提出的X-CLPA模型的有效性,进行了多项实验,并验证了相应的结果。

结论

本文提出了一种名为X-CLPA的C-RSIR算法,它使用混合ResNet作为骨干网络,并结合上下文感知池化来提取图像的显著特征,以及一种新颖的跨模态对比损失(LXCL)和跨模态原型对齐损失(LXPA)来提高遥感数据的检索性能。在DSRSID数据集中,X-CLPA在MS-PAN和PAN-MS检索任务上的mAP值分别为98.92%和98.69%。MS-PAN检索的mAP值提高了约1%。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号