基于寒旱区缺失遥感数据的双分支时空融合生成对抗网络

《Science of Remote Sensing》：Addressing the Challenge of Missing Remote Sensing Data in Cold and High-Altitude Regions: A Dual-branch Spatiotemporal Fusion GAN Based on Incomplete Images

　　

针对冷高海拔地区缺失遥感数据的挑战：一种基于不完整图像的双分支时空融合生成对抗网络（Dual-branch Spatiotemporal Fusion GAN Based on Incomplete Images） 摘要 冷高海拔地区通常指青藏高原、安第斯山脉和阿尔卑斯山脉等高海拔、严寒且自然环境恶劣的区域。这些区域不仅是影响全球物质循环和能量平衡的"气候调节器"，也是跨国生态保护、基础设施安全和地缘政治稳定的关键地带。然而，由于极端环境、复杂地形和有限的可达性，传统地面监测站面临分布稀疏、维护成本高和数据不连续等困难。遥感凭借其大范围、高频次和长期监测的优势，已成为研究这些区域不可或缺的工具。尽管高空间分辨率影像（1–5米）能够精确刻画地表物体的空间结构和微观特征，但在冷高海拔地区获取此类数据面临三重限制：单一传感器难以同时实现高空间细节和高重访频率；云、雾和季节性积雪频繁遮挡导致数据可用性显著降低；冰雪的高反照率常导致图像饱和与眩光。这些限制导致高分辨率遥感数据碎片化和利用率低下。为缓解这一数据缺口，遥感时空融合技术应运而生。研究人员提出了一种基于不完整图像的双分支时空融合生成对抗网络（DSTF-GAN），旨在重建冷高海拔地区的高分辨率影像。DSTF-GAN的核心创新在于从根本上超越"完整参考"范式，利用高分辨率影像中可观测的有效空间特征，结合多时相粗分辨率序列的动态演化趋势。为实现缺失区域的高精度重建，研究人员引入了三个创新组件：(1) 提出双分支编码架构，在不完整数据条件下实现时空特征的协同融合；(2) 设计专门针对冷高海拔地区高异质性场景的复合损失函数；(3) 集成轻量级伪影去除模块，提升映射精度和视觉保真度。实验结果表明，DSTF-GAN在不同缺失率下均保持稳健性能，并具备跨不同空间分辨率尺度的泛化能力。此外，研究人员还提出了一种针对复杂地理特征的评估指标——冰与地形纹理保真度（Ice and Terrain Texture Fidelity, ITTF）。

基于不完整图像的冷高海拔地区遥感时空融合研究解读

一、研究背景与问题

冷高海拔地区（如青藏高原、安第斯山脉和阿尔卑斯山脉）是全球物质循环和能量平衡的关键调控区域，对跨国生态保护、基础设施安全和地缘政治稳定具有不可替代的战略价值。精准、连续的地表动态监测对于理解环境演化和保障基础设施运维至关重要。然而，受限于极端环境、复杂地形和有限的通达性，传统地面监测站分布稀疏、维护成本高昂且数据不连续。遥感技术凭借大范围、高频次和长期监测的优势成为研究这些区域的核心工具，尤其是精细分辨率影像（1–5米空间分辨率）能够精确表征地表物体的空间结构和微观特征。

然而，冷高海拔地区高分辨率遥感数据的获取面临三重技术瓶颈：第一，受卫星系统硬件设计和成本限制，单一传感器难以同时兼顾高空间细节和高重访频率，导致卫星可能错过短暂晴空窗口；第二，冷高海拔地区频繁的云雾和季节性积雪覆盖显著降低了获取数据的可用性和有效性；第三，冰雪的高反照率常导致图像饱和与眩光，掩盖地表物体的精细纹理细节。这三重约束导致高分辨率遥感数据碎片化和利用率低下，严重阻碍了冷高海拔地区的精细地表识别、精准监测和灾害预警研究。

为弥补这一数据缺口，遥感时空融合技术应运而生，旨在通过混合高时间低空间分辨率数据与低时间高空间分辨率观测，生成兼具高空间和高时间分辨率的合成影像。现有主流方法（如MLFF-GAN、GAN-STFM、SwinSTFM、STFDiff和ECPW-STFN）在生成精细纹理方面表现出色，但应用于冷高海拔地区时面临三个关键局限：过度依赖无缺失信息的完整高分辨率参考影像（这在持续云雨覆盖条件下难以获取）；对高空间异质性和快速物候变化区域的建模不足，导致融合影像中出现光谱偏差和边缘模糊；对抗训练的不稳定性在高对比度区域（如冰川边界）常引发伪影。

二、研究内容与结论

针对上述挑战，研究人员提出了基于不完整图像的双分支时空融合生成对抗网络（DSTF-GAN）。该模型在四个关键方面与现有最优方法根本不同：输入假设上接受不完整高分辨率影像作为有效输入；时间建模上采用多时相粗分辨率时间序列配合ConvLSTM和时间注意力机制捕捉物候演化；特征融合上通过双分支架构克服不完整影像固有的时空特征分离；缺失区域重建上显式建模从有效区域加时间演化到无效区域的映射关系。实验以中国西藏为研究区，选取高分辨率高分二号（GF-2）影像和多时相哨兵二号（Sentinel-2）影像分别作为不完整高分辨率影像和粗分辨率时间序列，涵盖羌塘裸地、西部冰川集中区和东南部高山峡谷植被区三种典型地貌。实验设置了1/3、1/2和2/3三种缺失率模拟不同云覆盖程度。研究得出以下重要结论：DSTF-GAN在所有缺失率场景下的六项评价指标上均优于五种最优方法；模型在低缺失率下能清晰恢复建筑边缘和河道纹理，在高缺失率下能有效抑制山地阴影干扰并稳定重建孤立居民点；模型在3倍和5倍尺度差异的数据集上同样表现优异，验证了其跨空间分辨率尺度的泛化能力。

三、关键技术方法

研究人员采用了三项核心技术方法。第一，双分支编码架构（S-T分支）：空间分支通过残差下采样块从不完整高分辨率影像的有效区域提取多层次空间特征；时间分支采用卷积长短期记忆网络（ConvLSTM）和时间注意力机制对多时相粗分辨率时间序列进行时序编码，捕捉物候演化趋势。第二，复合损失函数：包含结构损失（采用多尺度结构相似性指数MS-SSIM）、特征损失（联合平均绝对误差L1和均方误差L2）、光谱损失（光谱角度映射器SAM损失）和生成对抗网络损失（采用最小二乘生成对抗网络LSGAN），四者加权组合以实现对结构完整性、像素级精度和光谱保真度的均衡约束。第三，轻量级伪影去除模块（AR模块）：由20个Converse Block组成，采用深度可分离卷积算子，在不显著增加计算开销的前提下消除结构噪声和伪影，同时保留真实的空间细节和光谱特性。

四、研究结果

4.1 对比实验结果

定量比较显示，在数据集Ⅰ的三个测试集上，DSTF-GAN在所有六项指标（均方根误差RMSE、峰值信噪比PSNR、结构相似性指数SSIM、光谱角度映射器SAM、相对全局无维综合误差ERGAS、冰与地形纹理保真度ITTF）上均取得最优数值。例如，在中等缺失率测试集B上，DSTF-GAN的RMSE为0.0544（对比最优基线MLFF-GAN的0.0676），SSIM为0.8834（对比0.8407），ITTF为0.9262（对比0.9123）。视觉比较进一步证实：在低缺失率场景中，DSTF-GAN恢复了最自然的河岸过渡带，蓝色线性建筑群的边缘最锐利平滑；在高缺失率场景中，DSTF-GAN在山脊线和阴影过渡区的色调一致性最高，孤立居民点的恢复清晰且无明显邻域像素扩散。

4.2 消融实验结果

消融实验系统评估了S-T分支、复合损失函数（Loss）和伪影去除模块（AR）的各自贡献。从基线模型出发逐步添加各组件，完整模型在所有指标上达到最优。单独引入S-T分支使SSIM从0.6517提升至0.7815，RMSE从0.1026降至0.0625；进一步加入Loss后SSIM提升至0.8262，RMSE降至0.0588；最终加入AR模块后SSIM达到0.8834，RMSE降至0.0544。视觉上，S-T分支显著改善了地物空间形态和轮廓清晰度，Loss函数使特征边缘变得尖锐分明，AR模块进一步优化细节使其与真实影像最为一致。

4.3 泛化能力验证

在数据集Ⅱ（3倍尺度差异）和数据集Ⅲ（5倍尺度差异）上的补充实验表明，DSTF-GAN在不同空间分辨率和传感器组合下均保持优异的融合性能，验证了模型具有良好的跨尺度泛化能力。

五、总结与讨论

讨论部分指出，DSTF-GAN通过双分支架构、复合损失函数和伪影去除模块的协同作用，有效解决了冷高海拔地区高分辨率遥感数据缺失带来的三大核心挑战：对完整参考影像的依赖、高异质性区域的光谱偏差和边缘模糊、对抗训练的伪影问题。模型的核心优势在于将不完整高分辨率影像的有效空间特征与多时相粗分辨率序列的时间演化信息相结合，实现了缺失区域的高精度重建。实验证明，即使在高达2/3的缺失率下，模型仍能维持可接受的融合质量，这得益于时间注意力机制在空间信息严重不足时自适应地均衡分配多时相权重，使模型更多地依赖演化信息进行联合推断。此外，模型在跨尺度实验中表现出的泛化能力表明其适用于不同传感器组合和空间分辨率场景，拓展了在实际应用中应对多样化数据源的可能性。