PD-DDPM：基于先验信息的单图像去雾扩散模型

《Image and Vision Computing》：PD-DDPM: Prior-driven diffusion model for single image dehazing

单图像去雾方法提出基于扩散概率模型（DDPM）融合全局暗通道先验与局部差分卷积模块，结合斐波那契数列噪声添加策略减少采样步骤，显著提升去雾效率与细节恢复能力，实验验证在合成与真实数据集上表现优异。

　　

孙浩钦|徐金东|龚嘉欣|王一杰

中国山东省烟台市烟台大学计算机与控制工程学院，邮编264005

摘要

雾霾会显著降低图像的视觉质量，尤其是在大气条件密集的情况下，导致可感知的结构和语义信息大量丢失。这种退化会对基于视觉的系统在自动驾驶导航和智能监控等关键应用中的性能产生负面影响。因此，单图像去雾被认为是一个具有挑战性的逆问题，其目标是从模糊的观测中恢复清晰的图像。尽管现有的去雾方法已经取得了显著进展，但雾霾相关特征与无关图像内容的混合往往会导致颜色和细节的失真，从而限制了恢复的准确性。近年来，去噪扩散概率模型（DDPM）在图像生成和恢复任务中表现出色。然而，这些方法在单图像去雾方面的有效性仍受到无关图像内容和采样过程中时间冗余的限制。为了解决这些问题，我们提出了一种基于扩散模型的去雾方法，该方法通过差分卷积有效地结合了局部和全局先验信息。此外，还利用DDPM的生成能力来增强图像的纹理和细节。为了减少扩散过程中的时间冗余，引入了一种基于斐波那契序列的噪声添加策略，显著优化了采样时间并提高了整体计算效率。实验验证表明，所提出的方法所需的时间仅为线性噪声添加方法的1/5到1/6。此外，该网络在合成和真实去雾数据集上都取得了优异的性能。

引言

雾霾的存在是一种常见的大气现象，通常会导致捕获图像的对比度降低、颜色失真或变暗，从而影响视觉质量。这种退化会损害视觉感知，并影响基于视觉的系统在汽车导航和智能监控等应用中的性能。单图像去雾的目标是将模糊的图像恢复到无雾状态。然而，在重建过程中，可能会引入无关噪声或无法完全去除雾霾信息，导致残留伪影和细节丢失。这些问题会负面影响去雾效果和重建图像的质量。近年来，已经开发出了一系列创新方法和技术，如基于先验知识的方法和深度学习方法，从而在该领域取得了显著进展。基于先验的方法，如暗通道先验（DCP）[1]和颜色衰减先验（CAP）[2]，依赖于外部先验来估计雾霾浓度，通过确定大气散射模型的参数。尽管这些方法在特定场景下表现良好，但它们往往无法捕捉复杂和变化多样的现实世界条件下雾霾图像的固有特征，导致性能大幅下降。

随着深度学习的发展，基于CNN的去雾方法[3]、[4]、[5]、[6]、[7]已经从依赖大气散射模型（ASM）[8]、[9]（其中包含传输图和大气光等先验知识）的方法演变为从模糊图像直接学习到清晰图像的方法[10]、[11]、[12]、[13]。尽管取得了显著进展，但在恢复的图像中仍可能丢失内容和颜色失真。此外，不同区域的雾霾浓度差异给标准卷积操作带来了挑战，使得难以在每个像素处准确捕捉与雾霾相关的特征。在没有明确先验指导的情况下，卷积模块可能难以有效建模复杂的解空间。

最近，去噪扩散概率模型（DDPM）因其强大的图像生成能力而受到了广泛关注。它在无条件[14]、[15]和条件[16]、[17]设置中都表现出了良好的性能。然而，采样过程中的时间步长冗余导致计算成本较高，使其在实际图像恢复任务中效率低下。因此，需要进一步研究更高效的采样策略。

在本文中，我们提出了一种专为复杂场景中的单图像去雾设计的神经网络。将来自暗通道的全局先验信息以及通过差分卷积获得的像素级差异整合到卷积模块中，以指导特征提取，从而捕捉模糊图像和清晰图像之间的相关性。通过将去雾过程表述为使用DDPM的条件生成任务，进一步将先验知识嵌入其中。该模型不是学习直接的像素到像素映射，而是通过自举机制捕捉无雾图像的分布，从而在密集雾霾等具有挑战性的场景中实现更好的性能。为了减少采样过程中的时间冗余，引入了基于斐波那契序列的噪声添加策略，显著优化了采样时间并提高了整体计算效率。

总结如下：

• •
  我们提出了差分增强卷积模块（DECM）、通道增强空间注意力模块（CESAM）和特征融合模块（FFM）。DECM将差分卷积集成到标准卷积中，以增强表示能力和泛化能力，而CESAM生成增强的特征图，以便在FFM中进行有效分析和融合。
• •
  基于斐波那契序列的噪声添加方法显著减少了时间步长数量。这种方法有效降低了计算成本和推理时间，从而提高了整体效率。
• •
  先验驱动的DDPM去雾网络（PD-DDPM）结合了DECM、CESAM、FFM和基于斐波那契序列的噪声添加方法。该网络和方法的有效性已在多个数据集上得到了验证。

相关工作

相关研究

对于单图像去雾，现有方法大致可以分为基于先验的方法和基于深度学习的方法。基于先验的方法依赖于从模糊图像和清晰图像之间的差异中获得的先验知识来指导恢复过程。相比之下，深度学习方法通过学习从模糊图像到清晰图像像素的映射来实现去雾，无论是直接还是间接地，使用学习到的函数来转换无雾图像。

基于先验的方法被认为是较早出现的

扩散模型

DDPM [14]包括两个关键阶段：一个向前扩散过程，向图像中添加噪声；一个反向去噪过程，去除噪声。条件DDPM [16]将退化图像作为条件纳入模型。在条件输入的指导下，恢复图像的数据分布被调整得接近条件数据分布，从而减少了随机采样噪声引起的内容差异。接下来，我们将简要介绍

整体架构

如图1所示，所提出的方法将先验暗通道算法与DDPM结合用于图像去雾。先验驱动的DDPM去雾网络（PD-DDPM）包括两个阶段来处理模糊输入图像

数据集和指标

数据集。我们的网络在合成和真实数据集上进行了评估。对于合成数据，使用了RESIDE数据集[38]，其中包含ITS、OTS、SOTS、RTS和HSTS等子集。ITS包含1399张图像，每张图像产生10张模糊图像。训练使用大约2000张ITS图像和2000张OTS图像。SOTS分为SOTS室内和SOTS室外，以测试ITS和OTS模型。Haze4K数据集[39]包含3000张训练图像和1000张测试图像，其中1500张用于

结论

在本文中，我们提出了一种基于先验的去噪扩散概率模型（PD-DDPM）用于单图像去雾。首先，通过差分卷积和像素级卷积将内容和纹理信息整合到标准卷积中，设计了差分增强卷积模块（DECM），实现了更好的表示能力和泛化能力。在此基础上，进一步开发了通道增强空间注意力模块（CESAM）以生成具有区分能力的

CRediT作者贡献声明

孙浩钦：撰写——原始草稿、可视化、方法论、研究、形式分析、概念化。徐金东：撰写——审阅与编辑、方法论、形式分析、数据整理、概念化。龚嘉欣：撰写——审阅与编辑、可视化、研究、形式分析。王一杰：撰写——审阅与编辑、方法论、研究、形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本研究部分得到了烟台市科技创新发展计划基础研究重点项目（项目编号：2024JCYJ037和2024JCYJ038）的支持。