用于遥感图像变化标注的频率-空间语义解耦方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Frequency-Spatial Semantic Decoupling for Remote Sensing Image Change Captioning

　　

摘要：

本文提出了一种频域-空间语义解耦网络（D3-Net：双域语义解耦），用于遥感图像变化标题生成，旨在通过显式的频域-空间特征解耦有效地建模双时相图像之间的语义差异。具体而言，D3-Net将图像表示分解为频域和空间域，以增强对变化的特征学习能力。频域处理（FDP）模块将特征转换为傅里叶域，以捕捉全局结构变化和大规模变化语义；而空间域处理（SDP）模块则通过密集的残差卷积专注于局部结构细节和细粒度纹理。来自两个域的互补表示通过基于交叉注意力的差异建模机制得到进一步优化。此外，多尺度双域融合（MSDF）模块在整合多尺度变化特征的同时抑制无关视觉干扰，从而增强变化描述生成中的语义一致性。在LEVIR-CC和Dubai-CC数据集上进行的广泛实验表明，D3-Net取得了最先进的性能。在LEVIR-CC数据集上，该模型在BLEU-4指标上达到65.68%，在METEOR指标上达到40.74%，在ROUGE-L指标上达到75.82%，在CIDEr指标上达到140.52%，相比领先的竞争方法在CIDEr指标上提高了3.96%，在S*m指标上提高了1.45%。此外，可视化分析表明，D3-Net能够准确捕捉真实的变化区域，同时有效抑制伪变化，即使在复杂的环境条件下也能保持高描述准确性。