雾有多种形态：多领域雾风格迁移技术用于多种类型的雾去除

《Pattern Recognition》：Haze Has Many Faces: Multi-Domain Haze Style Transfer for Diverse Haze Removal

本文提出两阶段弱监督去雾框架MDST-Dehaze，第一阶段通过傅里叶域先验指导跨域雾风格迁移生成高质量伪雾数据，增强领域内外的多样性；第二阶段采用共享解码器潜在空间引导去雾，结合知识蒸馏和对比学习优化表示，实验表明在多领域真实数据集上表现最优。

　　

Cunchuan Huang|Shuai Li|Xiang Chen|Jianlei Liu|Dengwang Li

摘要

现实世界中的雾霾通常表现出多域现象，例如在夜间不同光照条件下出现的非均匀雾霾和有色雾霾。然而，现有的无监督和弱监督图像去雾方法忽略了雾霾特性在不同域之间的差异，这限制了它们在处理复杂和异质雾霾条件时的性能。为了解决这一挑战，我们提出了一种新颖的两阶段弱监督图像去雾框架，称为MDST-Dehaze，该框架能够准确捕捉并转移特定域的雾霾分布，从而实现针对不同雾霾域的有针对性的去雾。第一阶段在傅里叶先验的指导下进行多域雾霾风格迁移（MDST），生成高质量的伪雾霾图像，有效丰富了域间和域内的雾霾多样性。第二阶段是解码器共享的潜在引导去雾阶段，采用教师-学生模型，其中教师和学生共享同一个解码器。它利用知识蒸馏和对比学习来指导学生编码器在潜在空间中学习无雾霾的潜在特征表示，完成去雾学习任务，然后预训练的共享解码器根据这些学习到的表示重构去雾后的图像。该框架充分利用了空间域和频率域的信息来增强雾霾的生成和去除效果。广泛的实验表明，我们的方法在多个多域和真实世界数据集上的去雾性能表现出色。代码可在https://github.com/CunchuanHuang/MDST-Dehaze获取。

引言

图像去雾已成为许多计算机视觉任务的关键预处理步骤[1]。近年来，基于学习的监督去雾方法[2]、[3]取得了显著进展。然而，这些方法存在两个主要局限性：（1）它们严重依赖于成对训练数据，导致泛化能力较差；（2）在现实场景中获取同一场景的成对雾霾和清晰图像本质上很困难，从而限制了它们的实际应用性。因此，人们越来越关注无监督和弱监督图像去雾技术。

一些代表性方法[4]、[5]、[6]、[7]试图构建伪成对训练数据来训练去雾模型。然而，我们观察到这些方法往往难以处理现实世界雾霾的多域特性，即由于密度、颜色和光照等因素的变化而导致的雾霾条件多样性。例如，HTFA-Net[6]使用基于物理的模型合成雾霾，仅限于生成均匀分布的白色雾霾，无法模拟夜间环境中的多个光源或有色雾霾等更复杂的现象。其他方法如CycleDehaze[4]、DA[5]和USID-Net[7]将雾霾域视为隐变量，在训练过程中缺乏对雾霾类型的显式控制。这使得生成具有代表性的多域伪样本变得复杂。实际上，在现实世界中，雾霾的存在形式面临多域问题，例如受路灯或车灯影响的非均匀雾霾或有色雾霾（例如黄色或蓝紫色雾霾）。这些复杂场景使用简单的统计特征对齐或基于先验的雾霾合成策略难以有效建模。由于这些建模限制，典型的无监督去雾方法在这些多域雾霾条件下的泛化能力往往有限，如图1所示。相比之下，风格迁移方法[8]可以捕捉图像风格和内容的解耦表示，从而更有效地建模多样化的雾霾场景，如非均匀雾霾或有色雾霾，从而生成更具代表性和多样性的伪成对样本，而无需成对数据，并为无监督去雾模型提供更高质量的训练数据。

基于上述观察，我们提出了一种两阶段弱监督图像去雾框架，称为MDST-Dehaze。第一阶段，即多域雾霾风格迁移阶段，旨在跨不同域转移雾霾风格，为每种类型的雾霾生成具有代表性的雾霾图像。为了提高生成雾霾图像的结构保真度，我们通过设计傅里叶先验引导的跳跃连接（FPSC）模块和相位身份损失（PI-loss）引入了傅里叶域先验。这些组件共同利用空间域和频率域的信息来生成适合训练去雾网络的高质量雾霾图像。此外，我们建立了一个雾霾生成质量评估系统，以客观评估合成雾霾图像的真实感和保真度。第二阶段，即解码器共享的潜在引导去雾阶段，结合了知识蒸馏[9]和对比学习来明确指导潜在特征的表示能力。此外，它整合了空间域和频率域的互补优势[10]，并对不同雾霾域进行独立的去雾学习。

我们的贡献总结如下：

•

我们提出了一种新颖的两阶段弱监督图像去雾框架，其中第二阶段利用第一阶段生成的伪对数据在多个雾霾域进行去雾。

•

我们提出了一个专为去雾任务定制的多域雾霾风格迁移网络，该网络在不同域之间转移雾霾风格，并在同一域内生成多样化的伪样本，以增强域内多样性。

•

我们提出了一个带有共享解码器的潜在引导去雾网络。编码器在潜在空间中学习无雾霾的表示，然后通过共享解码器解码成清晰图像。

•

广泛的实验表明，所提出的方法在涵盖多种多域和真实世界数据集的去雾任务上取得了最先进的性能。

部分摘录

单图像去雾

早期的单图像去雾方法[11]主要依赖于从大量真实世界雾霾和清晰图像的统计特征中提取先验知识来估计大气散射模型的物理参数，从而实现去雾。然而，这些基于先验的方法对复杂场景的适应性有限，且只能应用于特定环境。随着深度学习的快速发展和大规模数据集的出现

方法论

在本节中，我们首先在第3.1节介绍MDST-Dehaze的总体架构。然后，第3.2节和第3.3节分别详细描述了第一阶段和第二阶段的核心模块和关键创新。最后，第3.4节制定了用于训练两阶段网络的损失函数。

实验

本节对所提出的框架进行了全面评估。第4.1节描述了实验设置。第4.2节和第4.3节分别进行了去雾和雾霾合成的比较实验。第4.4节对关键组件进行了消融研究。第4.5节探讨了教师-学生潜在空间对齐问题。最后，第4.6节报告了详细的模型效率分析。

结论

在这项工作中，我们提出了MDST-Dehaze，一种用于真实世界多域图像去雾的两阶段弱监督框架。尽管微调预训练模型可以降低计算成本，但在泛化未见过的雾霾风格方面收益有限。因此，我们放弃了微调的方法，通过跨域雾霾风格迁移来构建成对数据，然后训练特定域的去雾模型，从而从源头上解决问题。

CRediT作者贡献声明

Cunchuan Huang：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，研究，数据管理，概念化。Shuai Li：撰写 – 审稿与编辑，资源管理，项目协调，形式分析。Xiang Chen：撰写 – 审稿与编辑，方法论，形式分析，概念化。Jianlei Liu：撰写 – 审稿与编辑，监督，资源管理，方法论，资金获取。Dengwang Li：撰写 – 审稿与编辑，监督，

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（项目编号62272256和62202250）和山东省自然科学基金（项目编号ZR2024MF025）的支持。