基于视觉条件的提示方法在一体化遥感图像恢复中的应用

《Signal Processing: Image Communication》：Visual-conditioned prompting for all-in-one remote sensing image restoration

　　•一种全局视觉描述符通过特征调制来调整自适应提示。•提示-特征交互将不同解码器阶段的条件化提示融合在一起。•首次在航空和地面天空图像上进行的全能恢复基准测试。•恢复提高了下游场景分类和云量估计的准确性。

引言
航空和天空成像在科学、工业和环境应用中变得越来越重要。预计到2032年，全球航空成像市场的规模将达到25亿美元[1]。同时，云层显著影响太阳辐射和可再生能源的生成[2]，而地面天空成像仪提供了高分辨率的云观测数据，这对大气监测和太阳预报至关重要[3]。这些发展凸显了航空和天空成像在农业[4]、[5]、环境监测[6]、[7]和城市规划[8] [9]等应用中的日益重要性（见图1）。
在环境建模系统中，感知数据的质量会显著影响下游数据驱动分析和决策的可靠性[15]。遥感观测经常受到雾霾、模糊、噪声、低信噪比和大气湍流的影响，这些因素会降低后续分析任务的效率[16]。恶劣的环境条件如图雾、大雨、反射和光照不足会通过引入噪声和不稳定观测数据，显著降低下游图像分析系统的可靠性[17]。同样， 在风暴和能见度低的情况下运行的环境传感系统可能会经历图像质量的显著下降，使得自动化场景解释和监测任务变得更加复杂[18]。因此，像野火追踪、空气质量评估、海洋监测和太阳辐射预测这样的应用需要能够在具有挑战性的传感器条件下保持图像保真度的强大恢复技术[19]、[20]。
尽管航空和天空成像系统具有广泛的适用性，但它们仍然非常容易受到视觉退化的影晌。在现实世界的成像流程中，噪声、模糊、雾霾、压缩伪影、光照变化和环境干扰可能会扭曲视觉信息并降低下游性能[21]、[22]、[23]。在环境成像系统中也观察到了类似的退化相关挑战，其中雾霾、反射、雨滴和光照伪影会负面影响分割精度和监测可靠性[17]、[24]。其中，模糊、噪声和雾霾尤其普遍且具有挑战性。运动模糊可能是由于无人机不稳定引起的，而地面天空图像通常受到风引起的运动和快速变化的云动态的影响。此外，在低光照条件下，传感器噪声和大气雾霾会显著降低航空和天空成像场景中的可见度和对比度[25]、[26]。
随着深度学习的进步，图像恢复已从手工制作的先验模型转向数据驱动的方法，这些方法能够更有效地恢复退化的图像。这类任务通常被表述为图像到图像的转换，即将退化的输入转换为恢复后的输出。可以使用一系列不断发展的图像质量评估（IQA）方法来评估恢复后的图像质量，包括基于参考的、盲目的、感知的和特定于内容的方法[27]、[28]、[29]、[30]、[31]、[32]、[33]、[34]、[35]。由于我们的实验中有配对的清晰参考图像，我们遵循既定的图像恢复实践，使用PSNR和SSIM来评估恢复质量[10]、[13]、[14]。如表1所述，现有的全能恢复方法大致可以分为两类：一类依赖于推理时的显式退化指导，例如任务嵌入查询（TGPNet [10]）或退化分类器（Adaptive Restoration Pipeline [11]）；另一类直接从退化图像进行恢复，而不需要任何这样的信号（PromptIR [13]、Ada4DIR-t [14]和我们的方法）。这种区分反映了测试时可用的信息的不同，而不是方法质量的排名，我们采用这种区分来范围我们的实验比较。这解决了针对遥感领域定制的多退化恢复框架探索不足的问题。大多数以往的工作都专注于单一退化任务，如去雾[36]、[37]、[38]、去噪[39]、去模糊[40]、[41]、[42]、去雨[43]、去阴影[44]、低光照增强[45]、水下增强[46]和超分辨率[47]，通常使用特定于任务的恢复模型。
为了更好地反映实际情况，已经提出了多退化方法来在统一框架内处理多种预定义的退化[11]、[48]。最近，像PromptIR [13]这样的全能恢复框架和任务引导的提示方法尝试使用单一网络来恢复多种退化。然而，许多现有方法仍然依赖于显式的退化指导、辅助分类器或特定于退化的任务嵌入，当退化重叠或在空间上变化时，这会增加模型的复杂性并限制其泛化能力。
最近，全能恢复框架作为盲图像增强领域的有希望的方向出现[49]。这些方法旨在使用单一的统一网络来恢复受到多种退化影响的图像，而无需显式的退化标签。单个模型可以同时处理多种类型的退化（通常是三到五种）[50]、[51]、[52]、[53]。基于提示的方法，如PromptIR [13]，通过可学习的提示引入了对退化的感知，并展示了在多种退化类型中的强大泛化能力。其他最近的全能方法探索了替代的退化自适应恢复机制，包括自适应频率增强、受变压器启发的卷积设计、基于池化的特征聚合以及频率挖掘和调制[54]、[55]、[56]、[57]。然而，这些方法主要在自然图像上进行了验证。一些最近的研究探索了遥感恢复[10]、[11]、[14]，但这些研究主要限于航空领域。
为了克服这一限制，我们提出了VCP-IR，一个用于全能遥感图像恢复的视觉条件化提示框架。与依赖特定于退化的模型、辅助分类器或手动设计的提示的传统方法不同，VCP-IR使用轻量级的卷积描述符网络从退化输入中提取全局视觉描述符，从而实现无需显式退化标签或先验任务选择的自适应恢复。该框架从输入中提取全局视觉描述符，并将其提供给所提出的VCP模块，在那里使用描述符条件化的特征调制、残差细化和卷积投影来生成轻量级提示。这些提示被注入多个解码器阶段，而提示-特征交互模块在重建过程中促进了提示和恢复特征之间的更深层次集成。因此，所提出的框架提供了一种能够处理航空和天空成像场景中多种退化条件的统一恢复策略。

本工作的关键贡献总结如下：
•我们提出了VCP-IR，一个用于全能遥感图像恢复的视觉条件化提示框架，它可以在单一统一模型中处理包括模糊、噪声和雾霾在内的多种退化类型，而无需事先知道输入中存在的退化类型。
•我们引入了一个视觉条件化提示（VCP）模块，该模块利用全局视觉描述符通过描述符条件化的特征调制和残差细化来生成自适应提示特征。
•我们在航空和天空成像数据集上评估了所提出的框架，证明了该模型在两个不同的遥感领域中的有效性。
•我们评估了所提出框架对下游环境监测任务的影响，包括航空场景分类和云量估计，结果显示VCP-IR可以恢复因退化而损失的部分性能。

尽管现有的全能恢复方法采用显式的退化指导或基于提示的条件化（表1），但它们通常依赖于特定于退化的监督、辅助分类器，或者主要针对自然图像设计。相反，VCP-IR直接从全局视觉描述符中学习图像条件化提示，从而实现无需显式退化标签或特定于任务的分支的自适应恢复。据我们所知，这项工作也是首次在地面天空图像上评估全能恢复的，将统一恢复的范围扩展到了航空遥感之外，并展示了其在两个互补的遥感领域中的适用性。

问题表述
给定一个退化的输入图像I∈RH×W×3，目标是一个映射函数f(?)，它能够重建一个清晰的图像J?=f(I)，其中退化类型是未知的，可能涉及模糊、噪声或雾霾。与特定于退化的方法不同，该模型在没有任何显式退化标签的全能设置中进行训练，要求它能够自适应地推断和纠正输入中的各种失真。

整体流程
所提出的框架遵循一个分层的编码器-解码器架构。

数据集和退化合成
据我们所知，目前还没有针对全能遥感图像恢复任务的既定基准。因此，我们使用两种不同的遥感图像域构建了合成恢复数据集。我们首先在UC Merced土地利用数据集上进行实验，这是一个在遥感中广泛使用的航空图像基准，以评估结构化航空图像上的恢复性能。为了进一步分析所提出框架在航空领域之外的表现。

视觉条件化恢复的有效性
结果表明，VCP-IR在多种遥感退化条件下提供了有效的全能恢复。在UC Merced航空图像数据集和Avro天空图像数据集中，所提出的框架在两个数据集上都取得了有竞争力的恢复性能，并在不同的退化条件下保持了良好的平衡。VCP-IR在模糊、噪声和雾霾恢复方面表现出强烈的性能。

结论
在这项工作中，我们提出了VCP-IR，一个用于在未知退化条件下进行全能遥感图像恢复的视觉条件化提示框架。通过在基于Transformer的编码器-解码器中集成全局视觉描述符和描述符条件化提示特征，该框架使用单一统一模型恢复了模糊、噪声和雾霾的图像，而无需退化标签或辅助分类器。

在航空和天空成像数据集上的实验结果
CRedI

作者贡献声明
Ifran Rahman Nijhum：撰写——审阅与编辑、撰写——原始草案、软件、方法论、数据策划、概念化。
Md Yearat Hossain：撰写——审阅与编辑、验证、方法论。
Md Shihab Reza：撰写——审阅与编辑、调查、数据策划。
Md Mahbub Hasan Rakib：撰写——审阅与编辑、验证。
Soumyabrata Dev：撰写——审阅与编辑、监督、资金获取、概念化。

软件和数据可用性
•软件名称：VCP-IR
•开发者：Ifran Rahman Nijhum、Md Yearat Hossain、Md Shihab Reza、Md Mahbub Hasan Rakib和Soumyabrata Dev
•首次可用年份：2026年
•编程语言：Python
•软件框架：PyTorch
•操作系统：推荐使用Linux、macOS和Windows
•硬件要求：用于训练和评估的NVIDIA GPU
•软件仓库：https://github.com/ifran-rahman/VCP-IR
•软件许可证：MIT许可证
•文档：安装、训练、评估和使用说明

在手册准备过程中使用生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了ChatGPT（OpenAI）来协助语言润色和文本组织。所有生成的内容都经过了作者的仔细审查、编辑和验证，以确保其与科学内容的准确性和一致性。作者对手册的最终内容负全责。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

Ifran Rahman Nijhum | Md Yearat Hossain | Md Shihab Reza | Md Mahbub Hasan Rakib | Soumyabrata Dev