综述：遥感中的多图像超分辨率技术：人工智能方法与挑战的综述

《Acta Astronautica》：Multi-image super-resolution in remote sensing: A review of artificial intelligence techniques and challenges

本文系统综述了遥感领域多图像超分辨率（MISR）技术，涵盖其分类、方法（如GAN、Transformer和扩散模型）、数据集与评估指标，并探讨其对农业监测、灾害预警等下游任务的影响及未来研究方向。

　　

伊万·鲁宾（Ivan Rubin）| 斯韦特兰娜·伊拉里奥诺娃（Svetlana Illarionova）| 尼基塔·别利亚科夫（Nikita Belyakov）| 德米特里·维尼琴科（Dmitrii Vinichenko）| 德米特里·沙德林（Dmitrii Shadrin）| 德米特里·雷德科（Dmitrii Redko）| 埃戈尔·谢夫佐夫（Egor Shevtsov）| 马克西姆·沃林斯基（Maxim Volynsky）| 阿尔伯特·埃菲莫夫（Albert Efimov）| 奥列格·谢尔吉延科（Oleg Sergiyenko）| 叶夫根尼·伯尔纳耶夫（Evgeny Burnaev）

俄罗斯莫斯科斯科尔科沃科学技术学院（Skolkovo Institute of Science and Technology），邮编121205

摘要

近年来，遥感技术的发展在许多以前需要耗费大量时间和劳动力的任务上取得了显著进展。快速监测和精确分析是企业和研究人员追求的关键目标，这推动了地理空间监测领域的进步。在这一领域，人工智能（AI）技术成为解决卫星载荷限制和各种信号失真问题的重要工具。AI算法可以通过去噪、去模糊和细节增强等方式人工改善图像质量。图像增强中的一个流行计算机视觉任务是图像超分辨率（Image Super-Resolution，SR），该技术从低分辨率图像中重建细节，生成相当于高空间分辨率的输出。这类方法的目标是识别原始图像中无法直接识别的对象和结构。在遥感和通用计算机视觉中，最常见的方法是单图像超分辨率（Single-Image Super-Resolution，SISR）。相比之下，多图像超分辨率（Multi-Image Super-Resolution，MISR）——利用来自不同日期或观测点的多张图像——的研究还不够深入。MISR算法旨在同时捕捉时间和空间上的关键特征。尽管MISR技术具有潜力，但其方法论、局限性以及在遥感领域的实际效果在文献中尚未得到充分研究。因此，本综述旨在深入分析MISR技术，包括生成对抗网络（Generative Adversarial Networks，GANs）、视觉变换器（Visual Transformers）和基于扩散的模型在遥感数据中的应用。本文提出了一个分类体系，并讨论了该领域当前的主要局限性和未来发展方向，特别关注卫星成像、有效的评估指标以及下游任务。

引言

遥感已成为环境监测不可或缺的工具，能够快速准确地分析地球表面。它的应用范围广泛，从变化检测到生物多样性评估，为环境过程和人类活动的影响提供了宝贵的见解[1]、[2]。然而，这些应用的效果从根本上取决于数据的核心属性：空间分辨率、时间分辨率和光谱分辨率。与通用图像不同，遥感数据需要根据具体任务选择这些分辨率属性，以有效提取相关特征。例如，光谱分辨率对于植被和生态监测至关重要，因为它可以揭示肉眼无法看到的植物健康状况[3]。时间分辨率对于跟踪自然灾害等动态过程至关重要，而高空间分辨率通常用于识别小对象和区分结构细节以便人类解读[4]、[5]、[6]。

尽管高空间分辨率很重要，但它经常受到物理和技术限制的制约。卫星载荷限制、轨道高度和传感器光学特性直接限制了可实现的地面分辨率，导致地面采样距离（Ground Sample Distance，GSD）为几米——这对于许多详细监测任务来说是不够的。此外，大气条件会降低图像质量，引入模糊和噪声。虽然GSD定义了单个像素所代表的区域，但实际区分相邻对象的能力由地面分辨距离（Ground Resolved Distance，GRD）决定。对于下游分析任务而言，区分单个对象及其边界至关重要，这就需要先进的图像增强技术来实现更高的有效分辨率[7]。

提高空间分辨率的传统方法，如混合增强（Pansharpening），是将高分辨率的全色图像与低分辨率的多光谱数据合并，创建高分辨率的彩色合成图像[8]。虽然这种方法有效，但其效果受到全色波段可用性和质量的限制。近年来，人工智能（AI），特别是深度学习（Deep Learning），作为一种强大的替代方案应运而生。基于AI的超分辨率（SR）技术可以从低分辨率输入中重建高分辨率图像，提供了超越传统方法限制的灵活解决方案。其中，单图像超分辨率（SISR）已被广泛研究[9]。然而，更有前景但研究较少的是多图像超分辨率（MISR），它利用同一场景的多张略有不同的视图（例如，来自不同日期或角度）来重建一张更详细的图像。

根据输入数据的类型，MISR方法可以分为：多时相（Multi-Temporal），使用在不同时间捕获的观测数据；多角度（Multi-View），整合来自不同视角的数据；以及突发SR（Burst SR），处理在最小时间间隔内捕获的短图像序列。每种方法都面临不同的挑战，包括光照变化、大气条件、场景动态和传感器噪声等因素，这些都会使重建过程复杂化。

使MISR区别于SISR的关键技术组件包括：

• •
  亚像素对齐（Sub-pixel Alignment）：精确地对齐输入的低分辨率（LR）图像，以补偿几何差异，通常通过先进的光流或仿射估计技术实现。
• •
  时间/视角补偿（Temporal/View Compensation）：建模并校正由大气条件、光照变化或捕获之间的轻微场景变化引起的差异。
• •
  特征融合（Feature Fusion）：战略性地结合所有输入图像中的互补细节，以重建任何单个LR图像中缺失或损坏的高频信息。
• •
  实际系统限制（Practical System Constraints）：除了算法挑战外，MISR在卫星系统中的实际部署还必须考虑通信带宽限制。下行链路限制造成了一个根本性的权衡：传输全部原始LR图像进行地面处理通常是不可行的。这促使研究人员探索计算优先于通信的范式，例如在卫星上执行关键预处理（例如轻量级对齐），或使用任务感知压缩来仅保留对后续SR重建最有价值的信息。

深度神经网络的最新进展显著改进了这些阶段，使得端到端的MISR架构能够在统一的学习框架内共同处理对齐、补偿和融合。

近年来，许多综述论文研究了遥感中的SR问题，通常称为遥感图像超分辨率[10]、[11]、[12]、[13]。然而，专门针对遥感背景下的MISR的综述明显不足，而且关于MISR的综合性综述也很少。现有的MISR综述在表1中进行了总结，并根据几个标准进行了分析，包括深度学习算法的覆盖范围、对遥感领域的关注程度、论文的开放获取情况，以及综述是否讨论了MISR方法对分割、识别及相关应用等下游任务的影响。

本综述重点关注遥感背景下的MISR问题及其特定挑战。它讨论了MISR背后的主要原理以及处理多时相和多视角卫星数据的特殊性。文章概述了最常用的MISR数据集，并探讨了为此任务开发的关键神经网络架构，解释了它们的主要设计思想和差异。特别关注了在这一领域表现出良好效果的最新生成式和数据驱动方法。此外，综述还强调了MISR如何改进精准农业、森林管理、自然灾害监测和城市规划等不同领域的下游应用。最后，它概述了现有方法的当前局限性，并讨论了未来研究的可能方向，包括模型设计、数据利用和在更广泛的遥感工作流程中的集成。

多图像超分辨率的卫星数据集

MISR研究的进展依赖于提供在时间和几何上对齐的图像序列的数据集。有效训练SR模型还需要可靠的高分辨率（HR）参考数据。因此，本文的分析重点关注包含准确匹配的LR和HR图像对或序列的数据集。

通过欧洲航天局（ESA）的Kelvins竞赛发布的PROBA-V SR数据集[17]，提供了来自全球74个地区的图像序列。

经典方法

早期关于多帧图像重建的研究表明，通过结合对齐和恢复技术可以从多次观测中恢复高分辨率图像[29]。基于这一原理，开发了迭代反投影（Iterative Back-Projection，IBP）方法，该方法将低分辨率帧对齐到共同网格上，并通过迭代优化来提高重建质量[30]。后续研究将这些概念扩展到视频序列，使用了运动估计等技术。

超分辨率评估指标

在遥感中，低分辨率和高分辨率图像通常来自不同的传感器，并且往往在不同时间和不同的光照和云条件下获取。这种跨传感器和时间的不匹配使得质量评估特别具有挑战性，因为重建图像与参考图像之间的差异不仅可能来自SR算法，还可能来自自然变化、大气效应和传感器特性。因此，评估指标必须

下游任务

遥感中的下游任务是指以应用为导向的目标，如基础设施测绘、农业监测、森林覆盖评估或环境变化检测。这些任务依赖于中间的计算机视觉操作，如对象检测、分割和分类，以从卫星数据中提取有意义的地理空间信息。因此，了解图像SR和MISR如何影响这些下游应用尤为重要

讨论

前面的章节系统地概述了遥感中MISR的发展历程，从经典基础到GAN和扩散模型等前沿范式。这一轨迹展示了该领域在算法创新方面的丰富性，显示出显著潜力，可以缓解轨道成像系统的基本空间分辨率限制。然而，从在精心策划的数据集上达到顶尖性能到在实际应用中的可靠效用之间的过渡

结论

遥感是一项关键技术，促进了众多科学和应用领域的进步。然而，其有效性往往受到卫星传感器载荷固有限制的制约，这可能会影响数据质量。SR技术已成为缓解这些挑战和提升遥感数据实用性的重要工具。虽然SISR已经成熟，但MISR在遥感领域仍然是一个研究较少的范式。

CRediT作者贡献声明

伊万·鲁宾（Ivan Rubin）：撰写——审稿与编辑，撰写——初稿。斯韦特兰娜·伊拉里奥诺娃（Svetlana Illarionova）：撰写——审稿与编辑，撰写——初稿，指导。尼基塔·别利亚科夫（Nikita Belyakov）：撰写——审稿与编辑，撰写——初稿。德米特里·维尼琴科（Dmitrii Vinichenko）：撰写——审稿与编辑，撰写——初稿。德米特里·沙德林（Dmitrii Shadrin）：撰写——审稿与编辑，撰写——初稿。德米特里·雷德科（Dmitrii Redko）：撰写——审稿与编辑，撰写——初稿。埃戈尔·谢夫佐夫（Egor Shevtsov）：撰写——审稿与编辑，撰写——

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本项工作得到了俄罗斯联邦经济发展部提供的AI领域研究中心研究基金的支持，依据《协议编号000000C313925P4F0002以及与斯科尔科沃科技学院（Skoltech）签订的协议编号139-10-2025-033。