《Knowledge-Based Systems》：An Accuracy–Efficiency Balanced Dehazing Method via Dual Priors and Haze Condition Classification
编辑推荐：
本文提出一种基于双重先验的去雾模型，通过 haze级别分类动态调整网络复杂度，平衡去雾精度与计算效率。模型融合暗通道先验（DCP）和颜色衰减先验（CAP），构建轻量级分类器（LHCC）和多分支网络（MCDNet），采用联合训练机制优化分类准确、去雾效果及效率。实验表明，该方法在保持高清晰度和色彩保真的同时显著提升效率，并支持扩展至更多 haze级别。
Jing Chi | Yanbing Wang | Bingyi You | Shiwei Wu
山东财经大学计算与人工智能学院，中国山东省济南市，250014
摘要
现有的图像去雾方法在准确性和效率之间存在权衡：高性能模型通常依赖于复杂的网络架构，而简单模型则往往牺牲去雾质量。为了解决这一限制，我们提出了一种新的去雾方法，该方法通过利用暗通道先验（DCP）和颜色衰减先验（CAP）来平衡准确性和效率，从而在保持高质量去雾的同时提高计算效率。首先，我们通过分析DCP、CAP与图像中不同雾度水平之间的关系，建立了一个新的雾度条件分类标准。基于这一分析，我们制定了一个结合DCP和CAP的雾度条件系数，用于有效分类雾天图像。其次，我们提出了一个基于雾度条件分类和双重先验约束的准确性-效率平衡去雾框架。该框架包括一个轻量级的雾度条件分类器（LHCC）和一个多分支去雾网络（MCDNet）。LHCC利用双重先验将图像分类为轻度、中度或重度雾天，而MCDNet则通过对应于分类雾度级别的专用分支处理图像。第三，我们将新的DCP和CAP损失函数整合到MCDNet中，以进一步提高去雾性能。最后，我们提出了一种雾度条件分类损失和联合训练机制，以共同优化分类准确性、去雾性能和计算效率，从而在性能和效率之间实现更好的平衡。实验结果表明，所提出的模型在保持高计算效率的同时显著提高了图像清晰度和色彩保真度。此外，模块化的分支架构和可扩展的雾度条件分类损失提供了出色的可扩展性，使模型能够轻松适应四种或更多种雾度条件。
引言
图像去雾仍然是计算机视觉和图像处理中的一个挑战性问题。其主要目标是从被大气雾或雾霾污染的图像中恢复清晰、细节丰富的图像，从而提高视觉质量并支持各种计算机视觉应用[1]、[2]、[3]、[4]、[5]、[6]。传统的去雾方法通常基于物理模型，利用大气光散射原理和雾天图像的统计特性来估计和去除雾霾。这些方法依赖于先验假设来估计关键参数，如传输图和大气光。典型的例子包括暗通道先验（DCP）[7]、颜色衰减先验（CAP）[8]、雾线先验[9]和颜色线先验[10]。然而，它们对固定先验的依赖限制了它们处理多样雾度和光照条件的能力，导致在复杂自然场景中的泛化能力和性能下降。
随着深度学习的快速发展，数据驱动的去雾模型因其强大的特征提取和表示能力而表现出显著的效果。这些方法要么估计物理模型的参数，要么直接从雾天图像学习到无雾图像的端到端映射。例如，AOD-Net [11]和FFA-Net [12]通过端到端训练恢复清晰图像。然而，许多这些模型难以捕捉长距离像素依赖性，通常包含大量参数，并且往往严重依赖于特定的训练数据集，这限制了它们对多样雾度条件的适应性。
最近，基于Transformer的架构[13]因能够通过自注意力机制建模长距离依赖性而在图像去雾领域受到越来越多的关注。如Uformer [14]和Dehamer [15]这样的模型将Transformer与卷积神经网络（CNN）结合，实现了高精度的去雾。尽管它们的性能令人印象深刻，但这些模型通常涉及大量的参数和较高的计算复杂性，使其不太适合实时应用或资源受限设备的部署。
总之，许多基于深度学习的去雾方法的一个关键限制是它们对所有图像采用单一的、统一的策略，而不考虑雾度条件的差异。这种一刀切的方法忽视了雾度密度、空间分布和光照的变化，往往导致细节保留和色彩保真度的结果不佳。此外，对更高准确性的追求推动了越来越复杂的网络结构的发展，这不可避免地降低了计算效率。因此，在去雾准确性和计算效率之间实现平衡仍然是一个关键且未解决的挑战。
为了解决这些挑战，我们提出了一种基于雾度条件分类和双重先验约束的新图像去雾模型。我们的方法利用两个内在的图像先验——DCP和CAP——来建立一个新的雾度条件分类标准。该模型自动识别图像中的雾度级别，并将其引导到几个具有不同架构和计算复杂性的专门网络分支之一。这种自适应策略不仅在多种雾度条件下提高了去雾性能，还在准确性和计算效率之间实现了动态平衡。图1展示了所提出方法对不同雾度级别图像的去雾效果。本文的主要贡献总结如下：
•我们研究了两个内在先验——DCP和CAP——与图像中雾度条件之间的关系。通过结合这些双重先验，我们为雾度条件分类建立了可靠的基础，并为训练去雾模型提供了必要的约束，形成了平衡准确性和效率的基础。
•我们提出了一种基于双重先验的新雾度条件分类标准，并开发了一个雾度条件系数，使得雾天图像的分类更加准确和可靠。
•我们设计了一个去雾模型，包括一个轻量级的雾度条件分类器（LHCC）和一个多分支去雾网络（MCDNet）。图像根据分类的雾度级别被路由到最合适的分支，从而在保持高质量去雾的同时最大化计算效率。此外，我们提出了一种雾度条件分类损失和联合训练机制，以共同优化分类质量、去雾性能和计算效率。
•我们开发了一种新的双重先验损失函数，其中包含了新的DCP和CAP损失，显著提高了所提出的多分支网络的去雾准确性。
基于先验的去雾方法
基于先验的去雾方法通常利用物理模型来模拟雾天图像的形成过程。He等人[7]提出了DCP来估计传输图和大气光以去除雾霾。Zhu等人[8]引入了CAP，通过在HSV颜色空间中建立场景深度、亮度和饱和度之间的线性关系来估计传输图。Berman等人[9]提出了雾线先验，它利用雾天图像中的颜色簇来恢复
双重先验
在图像去雾领域，特别是在基于学习的方法中，结合物理基础的先验知识在恢复清晰无伪影的图像中起着关键作用。这些先验来自自然场景的统计特性，为神经网络提供了强大的约束，引导它们朝着更符合物理规律的解决方案空间发展。本节正式介绍并实证验证了构成理论基础的两个内在先验
使用双重先验进行雾度条件分类
现实世界的雾天图像在雾度密度、空间分布和光照方面存在很大差异。对所有图像应用单一的、统一的网络存在根本性的妥协：高度复杂的网络计算成本高昂，可能会过度处理轻度雾化的图像，而简单的网络则缺乏有效恢复重度雾天图像的能力。这一挑战激发了一种分类驱动的方法，其中采用了专门的策略
准确性-效率平衡的去雾模型
基于雾度自适应处理和双重先验约束的原则，我们提出了一种新的准确性-效率平衡的去雾模型。该架构旨在首先根据图像的内在属性对雾天图像进行分类，然后部署具有适当复杂度级别的网络分支，从而在保持计算效率的同时实现高质量的恢复。如图5所示，该模型由两个主要部分组成：LHCC和MCDNet。
实验验证
为了实证评估所提出模型的有效性、效率和设计合理性，我们进行了一系列全面的实验。评估包括与最先进去雾方法的比较以及深入的消融研究，以评估每个新组件的贡献。
模型可扩展性的分析和验证
所提出模型的一个关键优势是其模块化设计，为适应更广泛的雾度分类和图像去雾任务提供了出色的可扩展性。本节分析了模型的可扩展性，并提供了一个实证演示，将其视为一个灵活且通用的框架。对于雾度条件分类的扩展，可以通过增加数量将LHCC从三个类别轻松扩展到四个、五个或更多类别
结论
本文提出了一种新的去雾模型，该模型通过基于双重物理先验的雾度条件分类策略有效地平衡了恢复准确性和计算效率。该模型利用雾天图像的内在属性，特别是DCP和CAP，以及去雾质量和计算效率，自动准确地分类雾度严重程度。根据这种分类，图像由三个专门的去雾分支之一进行处理
CRediT作者贡献声明
Jing Chi：概念化、资金获取、方法论、项目管理、监督、撰写——审稿与编辑。Yanbing Wang：调查、验证、可视化。Bingyi You：软件、撰写——初稿。Shiwei Wu：数据整理、资源。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本项工作得到了山东省重点研发项目（2024TSGC0118）的支持。
