HAPR-net：基于无监督对比学习的雾感知渐进式恢复网络用于遥感图像去雾

《Infrared Physics & Technology》：HAPR-net: haze-aware progressive restoration network via unsupervised contrastive learning for remote sensing image dehazing

　　摘要大气中的雾霾和气溶胶引起的散射会显著降低光学遥感成像质量。现有的基于深度学习的去雾方法通常依赖配对的雾天/清晰图像进行监督训练，难以有效处理非均匀雾霾和复杂大气条件引起的空间退化变化。为此，我们提出HAPR-Net，一种基于无监督对比学习和雾感知渐进恢复的遥感图像去雾网络。HAPR-Net在真实的非配对雾天/清晰遥感图像上进行训练。通过联合利用对抗学习和对比学习，它保持了输入图像与恢复图像之间的场景内容一致性，并在特征和分布层面将生成结果引导至真实清晰图像域。同时，我们进一步构建了一个双分支渐进生成器，包括清晰基估计网络（CBE-Net）、多级雾感知引导网络（MHAG-Net）和渐进引导迭代算法。CBE-Net生成保留场景结构和基本纹理信息的基去雾图像。MHAG-Net利用暗通道先验作为辅助引导来预测多阶段雾感知权重图，并采用渐进引导迭代算法来引导去雾过程，对基去雾结果进行分阶段、空间自适应校正，从而增强模型在非均匀雾霾和复杂真实大气退化下的恢复能力。在真实Sentinel-2遥感数据上的实验结果表明，HAPR-Net无需配对训练样本即可实现真实遥感图像的有效去雾，并对不同雾霾条件和场景展现出良好的适应性。引言由于大气中雾霾和气溶胶等悬浮颗粒的存在，光学遥感卫星在地球观测过程中不可避免地遭受大气散射效应[1]，导致获取的图像出现对比度降低、色彩偏移和纹理细节模糊等退化现象。这种雾霾遥感图像不仅降低了地表信息的可读性，也削弱了下游视觉任务[2]、[3]、[4]（如土地覆盖分类和目标检测）的性能。因此，从受雾霾污染的观测图像中恢复清晰、真实的地表信息具有重要的研究意义。在过去几年中，研究人员提出了众多方法。传统方法[5]、[6]、[7]通常基于手工设计的先验和大气散射模型（ASM）[8]进行图像恢复。这类方法能在一定程度上提高图像的整体对比度和可见性，但其性能依赖于固定先验和人工调整参数，难以满足大规模遥感影像自动处理的需求。相比之下，基于深度学习的方法具有更强的自适应能力。其中，一些方法采用端到端方式直接预测清晰图像，但往往在物理可解释性方面存在局限。另一些方法将神经网络与ASM结合，通过估计透射图、大气光等中间物理变量来重建清晰图像。尽管现有基于深度学习的方法在合成数据集上取得了良好的去雾性能，但在复杂真实遥感成像条件下仍面临两大挑战。一方面，真实遥感成像通常具有大气辐射传输路径长、空间覆盖范围广的特点，而复杂的气溶胶组成及其空间分布使得实际退化过程比单散射模型假设的更复杂。虽然多次散射影响遥感中的辐射传输[9]，但真实退化也受雾霾密度、其空间分布及其他大气条件的影响。因此，本研究不试图显式建模多次散射，而是聚焦于复杂真实大气条件下空间变化退化所导致的不完全去雾、细节丢失和不稳定色彩恢复问题。另一方面，现有方法通常依赖大量配对的雾天/清晰图像进行监督训练。然而，在实际遥感应用中，受卫星重访周期、成像角度、太阳高度角以及大气条件动态变化等因素的制约，很难获得严格配对的雾天/清晰遥感图像。此外，遥感图像数据量巨大且场景类型复杂，人工构建高质量配对数据集的成本相对较高。因此，大多数现有方法使用合成雾天数据集进行训练。然而，人工合成的雾霾与真实大气退化之间存在一定域差距，这削弱了模型在真实场景中的泛化能力。针对上述问题，我们提出HAPR-Net，一种用于非配对训练数据下真实遥感图像去雾的雾感知渐进恢复网络。为解决获取真实配对雾天/清晰遥感去雾数据集的困难，HAPR-Net采用使用非配对数据的多约束协同训练策略。具体而言，使用对比学习来保持输入雾天图像与恢复结果之间的地物结构和空间内容一致性，并在特征空间中引导恢复图像更接近清晰图像域、更远离雾天图像域。对抗学习进一步减小恢复图像与真实清晰图像之间的分布差异，从而提高生成结果的自然性和真实性。为解决复杂大气条件下空间非均匀退化引起的恢复不稳定问题，我们开发了雾感知渐进恢复策略。通过对不同空间区域实施自适应多阶段校正，增强模型对复杂空间退化的适应性。具体来说，HAPR-Net采用双分支渐进生成器设计，包括清晰基估计网络（CBE-Net）、多级雾感知引导网络（MHAG-Net）和渐进引导迭代算法。CBE-Net用于生成保留场景结构和纹理信息的基去雾图像，为后续渐进恢复提供初始输入。MHAG-Net利用透射图作为雾霾分布的先验引导，自适应预测多个恢复阶段的雾感知权重图，以表征不同空间位置在不同阶段所需的校正强度。在此基础上，我们进一步提出基于渐进引导的迭代算法。在各级雾感知权重图的引导下，该算法对上一阶段的结果进行像素级、分阶段的连续调制和校正，使校正强度随空间位置和阶段自适应变化。与单步直接预测清晰图像的策略相比，这种渐进恢复策略将复杂的去雾映射分解为多个由空间退化信息引导的渐进校正过程，从而增强模型对复杂空间退化区域的适应性。本文的主要贡献如下：1) 本文提出了一种用于非配对遥感图像去雾的雾感知渐进恢复框架HAPR-Net。HAPR-Net将去雾过程分解为基恢复、空间雾霾退化感知和多阶段渐进校正三个协同过程，使模型能够根据不同空间区域的退化程度进行自适应恢复。2) 我们设计了双分支渐进生成器和渐进引导恢复机制。具体而言，清晰基估计网络（CBE-Net）用于生成基去雾图像。多级雾感知引导网络（MHAG-Net）用于预测对应多个恢复阶段的雾感知权重图。在此基础上，提出的渐进引导迭代算法利用多阶段雾感知权重对基去雾图像进行分阶段、像素级的调制和校正，从而增强模型对非均匀雾霾和复杂空间退化的自适应恢复能力。3) 我们构建了适用于真实非配对遥感图像去雾的多约束协同学习策略。在不需要严格配对雾天/清晰样本的情况下，所提策略结合对比学习、对抗学习和恒等映射约束，在内容保持、域分布对齐和视觉稳定性方面协同优化生成器，从而为所提雾感知渐进恢复框架提供稳定的非配对训练机制。本文的其余部分组织如下。第2节回顾相关工作。第3节介绍HAPR-Net及其实现细节。第4节给出实验结果与分析。第5节总结全文。章节片段相关工作作为图像预处理的关键步骤，图像去雾近年来已广泛应用于遥感领域。目前，遥感图像去雾技术正逐渐从基于先验的物理模型转向数据驱动的网络模型。根据使用的训练数据类型，现有方法可大致分为监督和无监督两类。本节对这两类相关研究进行简要回顾。提出的方法本节详细阐述所提出的遥感图像去雾网络HAPR-Net。HAPR-Net将对比学习、对抗训练和雾感知渐进恢复机制集成到一个统一框架中，从而实现无监督遥感图像去雾。网络框架、双分支渐进生成器和无监督学习策略将在以下小节中详细描述。实验在本节中，我们详细描述实验设置，包括用于训练和测试的数据集、所选评估指标和对比方法。我们通过在真实数据集上的实验来评估HAPR-Net的整体性能。此外，还进行了消融实验以分析HAPR-Net中每个关键模块的有效性。结论为解决真实遥感图像中难以获取配对雾天/清晰样本以及在非均匀雾霾和复杂大气条件下去雾效果不理想的问题，本文提出了一种基于无监督对比学习和雾感知渐进恢复的遥感图像去雾网络，称为HAPR-Net。所提方法在真实非配对雾天/清晰遥感图像上训练，实现了内容的联合优化CRediT作者贡献声明Sen Wang：撰写——初稿，方法论。Ming Zhao：撰写——审阅与编辑。Xining Yu：调查。Jingwen Su：验证。Fangfei Gu：可视化。利益冲突声明作者声明，他们不知道可能影响本文所报告工作的已知竞争经济利益或个人关系。Sen Wang|Ming Zhao|Xining Yu|Jingwen Su|Fangfei Gu大连海事大学信息科学技术学院，大连 116026，中国