《Pattern Recognition》：PRDiff-Dehaze: Toward non-homogeneous Haze image restoration via progressive refinement diffusion
编辑推荐：
非均匀雾霾图像去雾方法PRDiff-Dehaze采用渐进式细化扩散框架，通过动态深度可分离卷积组生成初始去雾图，结合U型噪声估计网络实现多尺度特征提取和噪声预测，有效恢复细节并提升视觉质量，在多个基准测试中表现最优。
王英波|曲强|何坤|刘同飞|杜晓刚|雷涛|刘大奇|Asoke K. Nandi
中国陕西科技大学电子信息与人工智能学院与人工智能联合实验室，西安710021
摘要
大气雾霾通常会引起三种主要的退化效应：图像模糊、对比度降低和能见度受损，这些效应会显著降低先进视觉系统的性能。现有的图像去雾方法主要依赖于均匀雾霾的假设，在应用于具有非均匀雾霾分布的现实世界场景时效果有限。为了解决这一挑战，我们提出了PRDiff-Dehaze，这是一种通过渐进式细化扩散进行非均匀雾霾图像恢复的方法。我们的方法分为两个连续阶段：首先通过条件生成网络去除雾霾，然后通过反向扩散采样进行渐进式细化。具体来说，我们设计了一个条件生成网络，其中包含一个动态深度卷积组，用于执行空间特征提取并估计自适应融合因子，从而为扩散过程提供精确的指导。此外，我们引入了一个基于视觉-状态空间混合尺度扩张卷积块的U形噪声估计网络，该网络能够在反向采样过程中实现多尺度退化特征提取和准确的噪声估计。广泛的实验表明，PRDiff-Dehaze在恢复被非均匀雾霾退化的图像方面显著优于现有方法。在三个公开可用的基准测试中，我们的方法取得了与当前图像恢复方法相比的最先进结果，从而提高了高级视觉任务的可靠性。我们的代码将在以下链接发布：
https://github.com/Nangilima/PRDiff-Dehaze引言
在不断变化的气候条件下，频繁出现的雾霾现象已成为重要的环境干扰因素，严重影响社会运作[1]。在雾霾环境中，大气颗粒物会散射和吸收光线，严重降低视觉传感器捕获的图像质量。这种退化会损害特征表示，并影响计算机视觉任务，包括安全监控[2]、自主导航和无人机跟踪。因此，保留细节的雾霾去除已成为计算成像中的一个关键焦点。当前的方法主要依赖于人工合成的雾霾数据集或假设均匀雾霾分布的模型来进行算法开发[3]，[4]。然而，现实世界中的雾霾表现出由不同散射介质浓度、不规则颗粒分布和场景深度引起的空间异质性。这种非均匀条件会导致空间上不一致的退化，可能造成严重的信息损失。因此，高质量地恢复非均匀雾霾图像仍然是一个重大挑战。
现有的雾霾去除技术大致分为三类：图像增强方法、基于物理的恢复方法和基于学习的解决方案。基于图像增强的去雾方法，如直方图均衡化[5]、小波变换增强[6]和Retinex启发式方法[7]，通过调整对比度和亮度等属性来提高可见度，而不依赖于物理模型。虽然这些方法对视觉改善有效，但往往无法恢复丢失的结构细节。基于物理的方法使用大气散射模型和暗通道先验[8]来反转退化过程。然而，这些技术依赖于准确的参数估计，这通常计算成本高昂且容易出错。相反，深度学习作为一种强大的替代方案出现，利用CNN、视觉变换器和生成模型从雾霾图像学习到清晰图像的非线性映射，有效克服了传统方法的局限性。
基于CNN的方法分层提取特征，以学习从雾霾图像到清晰图像的非线性映射。浅层捕获边缘和纹理等局部细节，而深层模型则模拟全局结构以重建高频信息，在细节保留和推理速度方面具有优势[9]。基于变换器的方法利用全局自注意力机制来模拟整个图像的雾霾分布，建立长距离依赖性，确保在复杂场景中的鲁棒性[10]。相反，生成模型利用数据驱动的能力隐式学习雾霾分布，提高了恢复的保真度，成为高质量去雾的主流方法[11]。
生成去雾模型主要包括GANs[12]、VAEs[13]、基于流的模型[14]和扩散模型[15]。GANs通过对抗性训练将雾霾输入映射到清晰输出，利用多级损失函数来保持结构一致性和照片真实性[16]，[17]。VAEs将图像编码到概率潜在空间中，通过结合物理先验或外部监督生成无雾霾图像[18]，[19]。基于流的模型利用可逆变换进行精确的密度估计和高质量恢复[20]。最近，去噪扩散概率模型（DDPMs）因其稳定性和卓越的生成能力而受到关注。通过模拟物理扩散过程，DDPMs从高斯分布中迭代去除噪声，从而重建高质量样本[21]，[22]。尽管在受控环境中取得了成功，但这些方法在现实世界的非均匀雾霾中面临挑战。GANs经常由于对抗性竞争而出现训练不稳定和模式崩溃，导致细节丢失[23]。VAEs由于KL散度项的平均偏差和无法模拟局部雾霾密度变化而产生模糊的结果。相比之下，扩散模型在感知质量上表现出色，能够生成具有精细细节的逼真图像。
总之，现有的基于扩散模型的图像去雾方法通常直接将退化图像输入扩散模型，从而未能充分利用其生成潜力。为了提高复杂场景中非均匀雾霾退化的恢复质量，我们提出了PRDiff-Dehaze，这是一种通过渐进式细化扩散进行非均匀雾霾图像恢复的方法。我们的方法在反向采样过程中通过利用初始恢复图像作为条件指导，逐步引导噪声预测网络，从而逐渐从噪声输入中恢复原始场景，如图1所示。具体来说，首先，雾霾图像通过基于动态深度卷积组（DDCG）的U形条件生成网络进行处理，以产生初始去雾估计。然后，该估计与原始雾霾图像动态融合，得到考虑空间变化雾霾的初始恢复图像。在前向扩散过程中，初始恢复图像作为条件信号，同时向清晰参考图像逐步添加高斯噪声，得到遵循标准高斯正态分布的噪声图像。在随后的反向采样阶段，使用相同的初始恢复图像作为指导条件。基于视觉-状态空间混合尺度扩张卷积块（VSMDCB）的U形噪声估计网络预测每个去噪步骤中需要去除的噪声。通过嵌入这种条件信息，模型能够适应不同雾霾浓度区域的特征，并逐步消除雾霾引起的伪影。实验结果表明，我们的方法在定性和定量评估中始终优于最先进的方法。总体而言，本工作的主要贡献如下：
- 1.
我们提出了PRDiff-Dehaze，这是一种用于非均匀雾霾图像恢复的渐进式细化扩散框架，解决了现有单图像去雾方法在异质大气退化（例如，非均匀和密集雾霾）下的局限性。与仅基于退化图像的条件扩散模型不同，PRDiff-Dehaze采用两阶段条件扩散模型架构，并在每个反向扩散步骤中集成由CGNet生成的粗略恢复先验，从而实现更准确和保留结构的细化。
- 2.
为了生成可靠的条件信号，我们设计了基于动态深度卷积组（DDCG）的U形条件生成网络（CGNet）。CGNet生成一个粗略的去雾图像，该图像与退化输入通过动态融合模块融合，产生增强特征的指导图像。这些图像作为细化扩散空间的自适应条件，从而减轻反向采样期间由于不准确先验引起的误差传播。
- 3.
我们引入了一个基于视觉-状态空间混合尺度扩张卷积块（VSMDCB）的U形噪声估计网络，用于在反向采样期间进行准确的噪声估计。VSMDCB结合多尺度扩张卷积进行分层特征提取，并使用视觉状态空间模块（VSSM）采用多方向混合扫描策略来模拟长距离空间依赖性，从而提高非均匀雾霾分布中的特征一致性和细节恢复。
本文的其余部分组织如下。第2节回顾了相关工作。第3节详细描述了提出的PRDiff-Dehaze。第4节进行了实验。第5节是讨论和未来工作。最后，第6节总结了本研究。
部分内容片段
使用生成模型的雾霾图像恢复
近年来，深度学习通过数据驱动的方法显著提高了图像去雾性能。生成方法如GANs、VAEs、基于流的模型和扩散模型已成为该领域的研究方向。Yu等人[24]提出了一种基于生成对抗网络（FD-GAN）的单图像去雾方法。他们设计的融合判别器结合了高频和低频信息作为先验约束，从而增强了
PRDiff-Dehaze的架构
整体网络架构如图2所示，包括条件生成组件和扩散采样组件。在条件生成阶段，首先通过CGNet处理退化图像，以获得扩散模型的条件约束
这些先验约束在非均匀雾霾下增强了场景细节特征，确保了被不同雾霾浓度遮挡的特征之间的一致性，从而指导条件扩散模型
实验设置
训练和测试数据集。在这个实验中，使用了三个现实世界的非均匀雾霾图像数据集来评估PRDiff-Dehaze的有效性。NTIRE18-20/23挑战数据集被合并并去重，形成了一个新的数据集NH-HAZE，其中包含170对非均匀雾霾图像，分辨率分别为6000 × 4000、1600 × 1200以及各种不规则的高分辨率。其中，157对用于训练，13对用于测试。LMHaze [40]
讨论和未来工作
本文研究了扩散模型的指导条件，考虑了来自CGNet的中间特征、深度信息和文本语义。最终，我们采用从初始恢复图像中得出的结构先验作为基础指导条件，设计了一个用于非均匀雾霾去除的渐进式框架。尽管所提出的方法在大多数非均匀雾霾样本上取得了视觉上合理的结果和强大的定量性能，但在
结论
为了解决当前基于条件扩散的去雾方法中常见的细节恢复不足、全局清晰度不足和块状伪影问题，这些方法直接使用退化图像作为指导条件，本文提出了PRDiff-Dehaze，这是一种通过渐进式细化扩散进行非均匀雾霾图像恢复的方法。PRDiff-Dehaze利用基于DDCG的U形CGNet去除退化图像表面的雾霾，并生成初始恢复图像
CRediT作者贡献声明
王英波：撰写 – 审稿与编辑，撰写 – 原始草稿，验证，方法论，调查，概念化。曲强：撰写 – 原始草稿，可视化，软件，调查。何坤：软件，方法论，调查。刘同飞：撰写 – 审稿与编辑，资源，方法论。杜晓刚：撰写 – 审稿与编辑，资源，方法论。雷涛：撰写 – 审稿与编辑，监督，资源，方法论，概念化。刘大奇：撰写 – 审稿与
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
这项工作部分得到了国家自然科学基金（项目编号：62201334和62271296）的支持，部分得到了陕西重点研发计划（项目编号：2024GX-YBXM-121）的支持，部分得到了陕西省创新能力支持计划项目（项目编号：2025RS-CXTD-012）的支持，部分得到了陕西省自然科学基础研究计划（项目编号：2025JC-YBQN-800）的支持，部分得到了西安青年科技创新领军人才计划的支持
