超越合成场景:基于弱监督的超分辨率技术,用于处理时空错位的遥感图像
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Beyond synthetic scenarios: Weakly-supervised super-resolution for spatiotemporally misaligned remote sensing images
【字体:
大
中
小
】
时间:2026年01月07日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
郭全毅|刘瑞|房阳天|高毅|陈军|田欣
武汉大学电子信息学院,武汉,430072,湖北,中国
摘要
基于深度学习的遥感图像超分辨率技术对于提高地球观测数据的空间分辨率至关重要。由于缺乏高分辨率和低分辨率遥感图像的完美对齐对,大多数现有的监督学习和自监督方法依赖于合成退化模型或内
郭全毅|刘瑞|房阳天|高毅|陈军|田欣
武汉大学电子信息学院,武汉,430072,湖北,中国
摘要
基于深度学习的遥感图像超分辨率技术对于提高地球观测数据的空间分辨率至关重要。由于缺乏高分辨率和低分辨率遥感图像的完美对齐对,大多数现有的监督学习和自监督方法依赖于合成退化模型或内部结构一致性来生成训练数据。因此,这些方法存在合成数据集与真实数据集之间的领域差异,这限制了它们模拟真实退化的能力,并降低了其在真实场景中的性能。为了克服这一挑战,我们提出了STANet,一种针对时空错位遥感图像的弱监督超分辨率方法。具体而言,STANet直接利用同一区域由多颗卫星以不同分辨率捕获的图像作为数据集,以提高真实遥感图像的超分辨率性能。然而,这种方法也引入了与时空错位相关的新挑战。为了解决这个问题,我们设计了一个时空对齐模块,该模块包括尺度对齐模块(SAM)和时间对齐模块(TAM)。SAM使用仿射变换在像素级别和全局级别上对齐空间特征,而TAM应用基于窗口的注意力来调整图像内容的权重,从而减轻时间错位对结果的误导性影响。此外,我们还设计了一个基于对比学习的风格编码器和一个基于变分推理的结构编码器,以指导SAM和TAM进行特征对齐并提高适应性。最后,经过上采样后的对齐特征输出通过加权融合模块与纹理传输模块的高频增强输出融合,生成超分辨率图像。在基于AID和RSSR25的合成数据集、高分一号(GaoFen-1)卫星捕获的真实数据集以及Landsat-8数据集的跨卫星实验中的广泛实验表明,STANet优于其他最先进的方法。
引言
由于其能够从地球表面捕获丰富的信息,遥感图像已被广泛应用于生态监测(Willis, 2015)、灾害减缓(Wang et al., 2025a)、城市规划(Wang et al., 2025b)、矿产勘探(Mohammadimanesh et al., 2025)和军事侦察(Hudson and Hudson, 1975)等多个领域。然而,由于传感器技术的限制和设备升级的高成本,地球观测卫星的空间分辨率可能无法满足需求(Yang et al., 2019)。为了解决这个问题,遥感图像超分辨率技术应运而生,这是一种有效且经济的解决方案,旨在从低分辨率(LR)图像重建高分辨率(HR)图像。
近几十年来,超分辨率技术取得了显著进展(Yue et al., 2016),可以分为完全监督方法和无监督或半监督方法。大多数完全监督方法基于合成退化策略,如下采样、加性噪声注入和光学模糊,以模拟现实世界场景中遇到的退化过程。例如,Zhang et al.(2019)将超分辨率建模为退化模型反演和超分辨率恢复的联合优化问题,可以处理任意未知的模糊核。通过在一维频率域中对模糊核进行建模,这种超分辨率算法能够适应复杂和异构的真实退化过程。Wang et al.(2021b)在训练过程中采用了混合退化模型,以模拟真实图像中存在的各种复杂退化,包括模糊、噪声和JPEG压缩,从而提高了模型在实际场景中的泛化和鲁棒性。尽管这些方法试图通过手工制作的或学习的退化模型来模拟真实世界的退化,但它们往往无法完全捕捉到真实遥感场景的复杂性(Chen et al., 2022a)。因此,在这种假设下训练的模型通常难以很好地泛化到真实的遥感图像。
另一方面,一些方法采用无监督或半监督方法进行遥感图像超分辨率。无监督方法如DGDML-SR(Cheng et al., 2020)利用深度引导的自相似性,将远离镜头的块视为低分辨率样本,将靠近镜头的块视为高分辨率样本,从而可以从单张图像构建训练对。Yuan et al.(2018)引入了一个嵌套循环一致性框架,从低质量图像到高质量图像学习映射,而无需配对的真实数据。然而,这些方法要求数据集中有强烈的纹理相似性,因此不太适合复杂的遥感图像。Emad et al.(2021)使用了双GAN分别关注细节恢复和全局结构恢复,从而提高图像质量。尽管这些方法显示出有希望的泛化能力,但它们仍然严重依赖于合成退化模型或复杂的训练策略。这些局限性激发了探索替代方法的动力。
总之,尽管现有方法在近年来在图像超分辨率方面取得了相当大的进展,但由于以下原因,它们在城市真实场景中的性能仍然有限:(1)监督方法使用模拟的退化模型构建训练数据集,从而导致合成数据集与真实数据集之间的领域差异。这种由退化模拟带来的领域差异将给模型的泛化能力带来重大挑战,因为在合成数据集上训练的模型通常难以在真实世界的遥感图像上表现良好。(2)当前的半监督和自监督方法依赖于具有强内部相似性的数据集或预定义的退化假设,这限制了它们在实际遥感场景中的适应性。此外,它们对复杂训练策略的依赖进一步阻碍了它们的实际应用性。
为了解决上述问题,我们提出了一种针对时空错位遥感图像的弱监督超分辨率方法,命名为STANet。为了提高实际场景中的遥感图像超分辨率性能,STANet采用了一种新策略,在训练过程中充分利用同一区域由多颗卫星以不同分辨率捕获的图像。具体来说,我们将部分时空对齐的遥感图像视为弱对齐图像,将它们视为来自不同分辨率卫星的自然配对数据集。此外,我们还在这个数据集中添加了一小部分模拟对,以丰富数据的多样性。然而,如图1所示,弱对齐图像存在时空错位问题。特别是,空间错位是由于成像角度的不同造成的,而时间错位是由于不同的采集时间导致的,导致图像内容不一致。这些错位可能会阻碍模型训练或误导超分辨率重建过程。为了解决这些问题,我们专门设计了时空对齐模块,包括尺度对齐模块(SAM)和时间对齐模块(TAM)。SAM使用仿射变换在像素级别和全局级别对齐空间特征,并结合提出的扰动混合操作来提高对空间扰动的鲁棒性。TAM使用基于窗口的注意力机制为不同区域分配重建权重,允许对关键区域进行自适应关注,同时减少内容不一致性造成的干扰。此外,我们还设计了基于对比学习的风格编码器和基于变分推理的结构编码器,以指导SAM和TAM进行特征对齐并提高适应性。为了避免重建的图像过于平滑,我们设计了一个纹理传输模块(TTM),通过在三个尺度上执行梯度引导的强化来增强图像纹理细节,以强调高频信息。最后,对齐和纹理增强的图像在上采样后通过加权融合模块(WFM)融合,生成超分辨率输出。
我们的贡献可以归纳为三个方面:
- 我们提出了一种基于弱监督的时空错位遥感图像超分辨率网络STANet,它直接利用时空弱对齐的高分辨率遥感图像作为监督,从低分辨率输入重建高分辨率图像。
- 我们设计了基于仿射变换的SAM和基于注意力机制的TAM。这些模块补偿了多源观测中的跨尺度几何失真和内容差异,使网络能够有效地在空间和时间维度上对齐特征,并在复杂的错位情况下恢复细粒度纹理。
- 引入了一种双分支编码器结构,结合了基于对比学习的风格编码器和基于变分推理的结构编码器。该设计共同捕获风格模式和结构一致性,以指导SAM和TAM对齐特征并提高网络的适应性。
研究的其余部分组织如下。第2节总结了相关工作。第3节介绍了所提出的方法。然后,第4节展示了实验结果。最后,第5节得出了结论。
**现实世界图像超分辨率**
现实世界图像超分辨率作为超分辨率的一个重要子领域,旨在开发具有实际应用性的超分辨率方法。大多数现有方法是完全监督的。基于图像对的方法侧重于构建更接近现实世界条件的数据集,因此提出了RealSR(Cai et al., 2019)、City100(Chen et al., 2019)和DRealSR(Wei et al., 2020)等数据集。另一方面,基于退化建模的方法...
**总体结构**
图2展示了我们提出的STANet的总体架构。我们的网络由两个主要分支和两个编码器组成。两个编码器用于从输入图像中提取风格和结构特征,这些特征被输入网络以指导重建。TTM分支旨在从输入图像中传输纹理和边缘细节。另一个分支包括融合模块(Fusion Block)、SAM和TAM,专注于特征融合和时空对齐。SAM和TAM共同...
**数据集**
我们使用RSSR25数据集(Yan et al., 2025)和航拍图像数据集(AID)(Xia et al., 2017)进行合成实验,并使用高分一号(GF-1)和高分二号(GF-2)卫星捕获的真实图像进行真实实验。
我们主要采用全色图像超分辨率,因为全色波段的固有空间分辨率远高于多光谱波段,能够恢复更丰富的结构细节和更精细的空间信息。
**结论**
本文提出了一种针对时空错位遥感图像的弱监督超分辨率网络STANet,它引入了一种新颖的数据集构建方法。STANet由一个时空对齐分支和一个纹理传输分支组成,利用时空错位的遥感图像对作为监督。为此,时空对齐分支设计了两个专用模块:SAM和TAM,这些模块由一个风格编码器指导。
**作者贡献声明**
郭全毅:撰写——原始草稿、可视化、验证、方法论、调查。
刘瑞:撰写——原始草稿、方法论、调查、形式分析。
房阳天:验证、调查、形式分析。
高毅:方法论、调查、调查。
陈军:方法论、调查、调查、形式分析。
田欣:撰写——审稿与编辑、监督、方法论、调查、资金获取。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
**致谢**
本研究得到了国家自然科学基金(62471338)的资助。本文中的数值计算是在武汉大学超级计算中心的超级计算系统上完成的。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号