基于GAN的PAN到RGB图像转换技术，利用高分七号立体影像生成真彩色3D纹理

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：GAN-Based PAN-to-RGB Image Translation for True-Color 3D Texture Generation Using GaoFen-7 Stereo Imagery

　　

摘要：

基于卫星立体图像的三维模型重建技术已广泛应用于城市测绘和环境模拟等领域。然而，由于资源限制，通常只有一颗卫星同时配备高分辨率全色传感器和多光谱传感器，而另一颗则仅配备全色传感器，如高分七号卫星所示。因此，利用这类数据重建的三维模型无法实现具有真实颜色纹理的全面覆盖。这一限制严重影响了这些模型在高级应用中的实用性，包括逼真的三维可视化与语义分割。所以，将全色图像转换为RGB图像的方法对于生成真实颜色的三维纹理至关重要。本文提出了一种基于GAN的全色转RGB模型，旨在为从卫星立体数据生成真实颜色三维纹理建立新的框架。该模型利用多尺度特征和对称亮度颜色解码器，解决了传统算法中存在的颜色饱和度低、精度不足及失真等问题。通过结合卷积神经网络进行局部特征建模以及变换器进行全局特征建模，该方法能够学习亮度与颜色的映射关系，从而在CIELAB空间中生成高分辨率、高保真度的RGB图像。我们在高分七号卫星数据上进行了实验验证，结果表明所提出的算法有效解决了颜色饱和度低、精度不足及失真等问题，在FID等关键指标上取得了显著提升。ΔCFΔCF。此外，这项研究也是首次成功利用高分七号卫星数据生成城市规模的真实颜色三维纹理，建筑立面方面的视觉效果有了显著提升。