GSCC：用于遥感图像变化标注的图结构关系量化方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：GSCC: Graph-Structural Relationship Quantification for Remote Sensing Image Change Captioning

　　

摘要：

遥感图像变化标注（RSICC）对于从双时相图像中解读地球表面动态至关重要。目前的方法主要集中在分离双时相图像中的变化区域，这对于弥合多模态数据之间的语义差距以及生成准确的标注非常关键。这些方法通常分为两类：一类依赖于特征减法，另一类使用辅助掩码。然而，通过特征减法得到的结果无法区分真正的变化区域，并且容易受到噪声的影响；而来自标注标签或预训练模型的辅助掩码则会增加额外的标注工作和计算成本。在这项工作中，我们提出了GSCC这一新颖的RSICC框架，该框架包含变化特征过滤模块（CFFM）和特征融合模块（FUM）。CFFM引入了一个差异向量来量化双时相表示之间的图结构关系变化，使得模型能够在无需外部监督的情况下选择性地增强显著的变化。FUM整合了多阶段特征，丰富了语义信息，从而实现了更准确的标注生成。在LEVIR-CC数据集上的大量实验表明，GSCC的性能优于现有的最先进方法，在语义对齐和鲁棒性方面都有所提升。代码可在以下链接获取：https://github.com/RiHY99/GSCC。