在浓雾条件下,严重的能见度降低可能导致自动驾驶车辆误判远处的障碍物或交通标志,对安全关键的感知系统构成重大风险。受这些实际挑战的启发,图像去雾对于在恶劣天气下恢复可靠的场景理解变得至关重要。这种视觉退化通常由经典的大气散射模型(ASM)(Mccartney, 1976)来建模:其中 I(x) 和 J(x) 分别表示雾天和清晰的图像,A 表示全局大气光,t(x) 是传输图。此外,传输图 t(x) 的建模如下:其中 β 是描述大气散射的系数,d(x) 表示场景深度。因此,深度信息是表征雾分布和图像退化的核心物理因素。
早期的去雾方法利用统计先验来估计方程(1)中的未知参数,然后从雾天图像中恢复清晰图像,例如DCP(He, Sun, & Tang, 2010)和饱和度线(Ling, Chen, Tan, Jin, & Chen, 2023)。然而,手工制作的先验在复杂场景中的泛化能力有限。当结构复杂性增加或先验假设被违反时,它们通常会导致伪影和颜色失真。
随着深度卷积神经网络(CNN)在计算机视觉中的突破,研究人员广泛探索了它们在单图像去雾任务中的潜力(Ling, Wang, Chen, Gu, Jin, Zheng, 2025, Liu, Song, Zhang, Liu, Qin, Yang, Gao, 2026)。早期的工作如DehazeNet(Cai, Xu, Jia, Qing, & Tao, 2016)使用端到端回归网络直接预测传输图,取代了传统的基于先验的方法。AOD-Net(Li, Peng, Wang, Xu, & Feng, 2017)将大气散射模型参数化为可学习的形式,通过联合估计多个物理量来提高恢复效果。DEA-Net(Chen, He, & Lu, 2024)引入了并行差分卷积模块,显著增强了提取细节的能力,与传统的卷积结构相比,在恢复的图像中实现了更好的纹理和轮廓保持。同时,一系列CNN架构改进在特征提取(Cui, Ren, Cao, & Knoll, 2023)和多尺度融合(Shen, Ding, Zhang, Zhao, & Jiang, 2025)方面进一步优化了去雾性能。然而,卷积操作的局部感受野限制了它们模拟全局雾分布的能力,特别是在密集或非均匀条件下。结果,CNN难以捕捉大范围的亮度衰减模式。这通常导致全局亮度恢复不足,并在结构上留下残余雾。
为了解决这一限制,最近提出的Mamba架构(Gu & Dao, 2023)采用了一种线性复杂度的全局扫描机制,有效地捕捉特征空间中的长距离依赖性。它通过在特征提取过程中进行跨区域交互来模拟空间雾分布(Sun, Liu, Wang, Zhang, & Wei, 2025),从而在复杂的雾梯度下实现更一致的恢复。此外,Mamba避免了基于Transformer的结构(Chen, Yan, Xu, & Li, 2025)在信息传播过程中的高计算成本,因此在高分辨率去雾任务中展示了更好的计算效率和可扩展性。然而,由于其表示细节的能力有限,恢复的图像在纹理和边缘区域经常会出现信息缺失或伪影,进一步挑战了全局一致性的恢复。
幸运的是,相关研究表明雾密度与场景深度紧密相关(Wang, Pan, Lin, Dong, Wang, Wu, 2024, Yang, Zhang, 2022)。高精度的深度估计为去雾提供了一个物理上可解释的全局先验。同时,去雾后的图像,由于纹理和对比度的改善,可以进一步增强深度估计。然而,现有方法在深度和去雾的协同优化方面仍存在不足。大多数方法依赖于离线深度预测或耦合较弱的多任务结构,未能充分利用两者之间的双向增强潜力。此外,常见的多任务均衡优化策略(Zhang, Zhou, & Li, 2024)由于目标冲突,往往导致次优解。例如,去雾过程旨在锐化边缘,而深度估计则倾向于平滑某些区域。因此,在保持物理一致性和纹理细节的同时,实现深度估计和去雾网络之间的高效协同优化仍然是当前研究的关键挑战。
在这项工作中,我们提出了一个基于双级优化的深度引导去雾框架。在这个框架中,上层优化去雾网络,利用下层提供的最佳深度作为物理先验进行指导。另一方面,下层优化深度估计网络,重点关注去雾结果中的挑战区域,从而提高深度预测的准确性和鲁棒性。对于去雾子网络,我们提出了一个局部-全局双分支结构:在具有纹理感知能力的局部分支中,我们设计了频率增强模块(FEB),通过差异感知调制增强高频细节并抑制伪影。在全局分支中,我们引入了Mamba结构来有效模拟全局雾分布。此外,我们通过分组处理和通道混合平衡了性能和计算效率。此外,深度估计特征作为物理先验嵌入到去雾主干网络中,从而在复杂场景中实现更高的视觉质量和物理一致性。如图1所示,我们的双级优化策略可以有效防止单任务优化中常见的陷入局部最优的问题。
•我们提出了一个基于双级优化的深度引导去雾框架。在这个框架中,去雾和深度估计通过双向反馈共同制定:深度先验确保物理一致性,而恢复的无雾图像提高了深度的鲁棒性。
•我们设计了一个双分支CNN-Mamba架构。局部分支恢复细粒度纹理和结构,而全局分支采用线性复杂度建模来捕捉长距离雾,实现局部细节和全局一致性的联合增强。
•在具有纹理感知能力的局部分支中,我们结合了一种差异感知频率增强机制,该机制在频率域中操作。这种机制自适应地调整幅度和相位成分,从而增强高频细节并抑制冗余伪影。
本文的其余部分组织如下。第2节回顾了图像去雾和双级优化的相关工作。第3节详细介绍了所提出的方法,包括双级学习策略和去雾网络的设计。第4节提供了全面的实验结果和深入讨论。最后,第5节总结了本文的贡献并指出了未来研究的方向。