SHFGAN：结合生成对抗网络的SAR图像谐波融合技术

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：SHFGAN: SARImage Harmonization Fusion with Generative Adversarial Network

　　

摘要：

尽管在使用生成模型合成和模拟合成孔径雷达（SAR）图像方面已经取得了显著进展，但由于SAR图像的独特性质，目标特征的随机生成以及合成过程中目标的“消失”问题仍然是主要挑战。为了解决这些问题，并确保目标区域与背景的和谐融合，本文提出了一种名为SHFGAN（SAR图像和谐融合生成对抗网络）的生成模型。该模型基于多约束生成对抗网络（GAN）框架构建，其生成器采用了ViT（视觉Transformer）模型。通过引入注意力机制来增强特征间的交互，并整合语义嵌入模块以强制执行外部语义约束，该模型有效地解决了不自然的目标-背景融合问题以及目标特征的随机生成问题。此外，还采用了多任务鉴别器设计，包括真实性鉴别器和掩码分割鉴别器，分别用于约束生成图像及其语义分割结果的真实性。通过对抗训练和多约束损失函数，减轻了目标“消失”的问题。在SARDet-100K、SSDD和AIR-SARship数据集上的定量和定性实验证明了，SHFGAN在SAR目标区域与背景融合任务中表现出色，性能优于常见的生成模型，达到了业界领先水平。