COSMO：基于专家天气预报的对比卫星图像嵌入技术

《IEEE Access》：COSMO: Contrastive Satellite Image Embedding Techniques Reflecting Expert Weather Bulletins

　　

摘要：

对地球静止气象卫星图像进行相似性搜索是分析大气状况的基本工具。然而，如果直接使用在自然图像数据集上预训练的视觉编码器，相似性计算就会在它们所生成的嵌入空间中进行；这样一来，得到的表示结果更侧重于视觉外观和特定数据集的语义，而非专家分析所强调的气象相似性。为了解决视觉相似性与气象相似性之间的差异，我们提出了COSMO，这是一种对比学习框架，它利用气象预报文本作为弱文本监督来重新塑造卫星图像的嵌入。COSMO保持图像编码器和文本编码器不变，而是学习轻量级的投影头，通过多正样本对比损失将图像与气象预报在共享的嵌入空间中对齐，同时通过辅助重建项来确保投影后的图像嵌入能够保留原始视觉特征的结构。我们使用了由COMS地球静止图像以及韩国气象厅提供的经过严格预处理的气象预报文本构建的时间对齐语料库，对所学嵌入在检索任务上的表现进行了评估，这些任务包括基于气象预报语义相似性的图像到图像搜索和图像到文本搜索。在这些检索任务中，COSMO的表现始终优于纯视觉基线方法以及非对比学习方法，而对所学嵌入空间的分析进一步表明，基于气象预报的对比学习使得卫星图像嵌入更符合气象相似性的特征。