基于语义词典引导与标签依赖建模的多标签遥感图像哈希检索方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Semantic-Dictionary Guided Hashing With Label Dependency Modeling for Multi-Label Remote Sensing Image Retrieval

本文针对多标签遥感图像检索中标签语义依赖建模不足、特征提取效率低及大规模数据集扩展性差等问题，提出了一种新颖的哈希检索框架。该方法通过自监督MLP网络构建结构化语义词典以显式捕获标签间关联，并集成空间感知增强模块的轻量级FasterNet主干网络实现局部与全局特征的动态平衡。研究设计了语义词典引导的联合损失函数，在保证哈希码紧凑性和离散性的同时，实现了图像表征与语义词典的对齐。在UCMD、AID和MLRSNet三个多标签数据集上的验证表明，该方法能有效检索具有多样复杂标签组合的图像，为大规模遥感图像高精度检索提供了实用解决方案。

　　

随着遥感技术的飞速发展，海量遥感图像的有效管理与检索已成为亟待解决的关键挑战。面对复杂的遥感场景，传统的单标签标注方式难以精确描述包含多种地物目标的图像内容，而多标签标注则能提供更丰富的场景表征信息。然而，现有方法在应对多标签遥感图像检索任务时，普遍面临三大核心难题：对标签间语义依赖关系的建模不足，导致语义信息利用不充分；复杂场景下的特征提取效率低下，难以平衡计算开销与特征表达能力；以及面对大规模数据集时的扩展性差，限制了实际应用部署的可行性。

针对这些挑战，发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上的研究论文提出了一种创新的解决方案——语义词典引导的哈希检索方法。该方法的核心思想是将结构化的语义知识直接融入优化过程，通过三个协同工作的核心组件实现高效精准的多标签检索：首先，设计标签依赖建模模块，构建语义词典以显式捕获标签间的高阶相关性；其次，在轻量级FasterNet主干网络中集成空间感知增强模块，动态平衡局部细节与全局上下文特征表示；最后，构建语义词典引导的联合损失函数，确保图像表征与语义空间的对齐，同时优化哈希码的紧凑性和离散性。

研究人员采用了几项关键技术方法：基于自监督MLP网络的标签语义依赖建模技术，将多标签信息映射到汉明空间；融合空间感知增强模块的FasterNet特征提取器，通过部分卷积和点卷积的混合架构提升效率；以及结合非对称损失、分类损失和量化损失的联合优化策略。实验使用了UCMD、AID和MLRSNet三个多标签遥感数据集，其中MLRSNet包含109,161张图像和60个类别，最能体现真实世界的复杂性。

Label Dependency Modeling

通过自监督MLP网络学习从原始标签向量到语义感知哈希空间的映射。该模块将离散的多标签信息转换为连续的语义嵌入，建立标签间的语义连接，为哈希学习提供丰富的监督信号。具体而言，网络采用双隐藏层结构，通过ReLU激活函数进行非线性变换，最后使用tanh函数将输出约束到{-1,1}区间，生成固定长度的二进制哈希码。

Spatial-Aware Feature Extraction

为解决多标签遥感图像中多尺度地物目标引起的特征混叠问题，研究在FasterNet backbone中引入了空间感知增强模块。该模块采用双分支结构：一个分支使用点卷积进行通道压缩和特征增强，另一个分支采用深度自适应卷积生成位置特定的正则化参数，通过元素级乘法融合两个分支的输出，形成增强后的特征表示。

Semantic-Dictionary Guided Hashing

该方法构建了类别级哈希中心语义词典，通过非对称学习策略引导图像哈希码生成。词典包含训练集中所有独特多标签组合的哈希表示，通过计算标签到词典的相似度，为图像对提供比例化的约束，使共享更多标签的图像对获得更高的奖励，显式增强语义对齐。

实验结果验证

在三个多标签遥感数据集上的实验结果表明，该方法在16位、32位和64位哈希码长度下均取得了最优的检索性能。在MLRSNet数据集上，64位哈希码的mAP达到0.9336，显著优于对比方法。消融实验进一步证实了各模块的贡献：空间感知增强模块通过平衡局部和全局特征表示，提升了特征表达能力；语义词典引导模块通过引入结构化语义监督，显著增强了哈希码的判别性。

研究的创新性主要体现在三个方面：提出了结构化语义词典的概念，突破了传统方法仅考虑成对标签相似度的局限性；设计了空间感知增强模块，在保持计算效率的同时显著提升了特征丰富性；开发了语义驱动的联合损失函数，通过非对称优化策略实现了语义对齐和哈希码质量的协同提升。

该研究的重要意义在于为大规模多标签遥感图像检索提供了切实可行的技术路径。通过将结构化语义知识直接融入哈希学习过程，方法在保持高检索效率的同时，显著提升了复杂场景下的检索精度。未来研究方向包括探索多模态协同检索，构建异质模态的统一嵌入空间，以及通过自适应对抗训练增强模型对云遮挡、季节变化和标注噪声的鲁棒性，推动遥感图像检索技术向更智能、更实用的方向发展。