深度语义-注意力代理哈希技术结合粗到细的表示方法，用于多标签遥感图像检索

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Deep Semantic-Attention Proxy Hashing With Coarse-to-Fine Representation for Multi-Label Remote Sensing Image Retrieval

　　

摘要：

深度哈希技术因其快速检索和低成本而在遥感图像检索中得到广泛应用。然而，现有的多标签检索方法面临两个主要挑战：首先，输入样本像素通常包含不相关的背景信息，这会降低语义特征的表示质量；其次，传统的视觉变换器模型直接采用细粒度特征提取，这会产生冗长的序列并显著增加计算成本。为了解决这些问题，提出了一种名为Deep Semantic-attention Proxy Hashing（DSaPH）的框架，用于多标签遥感图像检索。具体而言，为了实现图像的动态特征提取，该框架提出了一个包含粗分割和细分割两个阶段的粗到细表示模块，通过关键区域检测在粗粒度分割中识别与对象相关的区域，并结合特征重用机制聚合原始图像的全局特征。为了排除背景干扰并专注于对象信息，Object-Focus Loss通过Grad-CAM突出对象信息，并生成融合了对象信息的图像哈希码。此外，引入了与类别相关的代理学习机制，利用代理哈希码来监督对象融合哈希码的语义表示，并将代理哈希码和对象融合哈希码嵌入到一个统一的汉明空间中，以捕捉相邻多标签数据之间的汉明相似性。在三个基准数据集上的广泛实验评估表明，我们提出的DSaPH框架在多标签遥感图像检索中表现出优异的性能。我们的DSaPH框架代码可在以下链接公开获取：https://github.com/QinLab-WFU/DSaPH.git。