基于双水平优化的深度引导图像去雾技术

《Expert Systems with Applications》:Depth-Guided Image Dehazing Based on Bi-level Optimization

【字体: 大 中 小 】 时间:2026年01月14日 来源:Expert Systems with Applications 7.5

编辑推荐:

  图像去雾与深度估计的双向优化框架结合Mamba结构和频率增强模块,提升复杂场景下去雾质量与物理一致性

  
Jiajie Jing|Yan Yang|Haobo Liang|Junyu Li
机构:兰州交通大学电子与信息工程学院 地址:兰州交通大学,兰州市,邮编730000,甘肃省,中国

摘要

图像去雾旨在恢复因大气散射和吸收而变模糊的场景图像。这种退化过程与场景深度密切相关。然而,大多数现有方法要么依赖于离线深度估计,要么使用耦合较弱的多任务结构,这限制了去雾和深度估计之间的双向增强潜力。为了克服这一限制,我们提出了一个基于双级优化的深度引导图像去雾框架(BI-DGID)。该框架通过两个层次的协同建模实现了双向增强。上层去雾网络利用深度先验来提高物理一致性。同时,下层深度网络专注于去雾后的残差区域,以提高预测精度。在去雾子网络中,我们设计了一个结合局部和全局特征的双分支结构。具有纹理感知能力的局部分支集成了频率增强模块(FEB),它通过差异感知调制策略增强关键频率成分并抑制伪影。基于Mamba结构的全局分支能够有效捕捉长距离的雾分布模式。在合成和真实世界数据集上的广泛实验表明,BI-DGID在去雾质量上优于现有方法。该框架在视觉质量和客观指标方面都取得了显著改进,突显了深度先验在提高去雾性能中的关键作用。

引言

在浓雾条件下,严重的能见度降低可能导致自动驾驶车辆误判远处的障碍物或交通标志,对安全关键的感知系统构成重大风险。受这些实际挑战的启发,图像去雾对于在恶劣天气下恢复可靠的场景理解变得至关重要。这种视觉退化通常由经典的大气散射模型(ASM)(Mccartney, 1976)来建模:I(x)=J(x)t(x)+A(1?t(x)其中 I(x) 和 J(x) 分别表示雾天和清晰的图像,A 表示全局大气光,t(x) 是传输图。此外,传输图 t(x) 的建模如下:t(x=e?β(x其中 β 是描述大气散射的系数,d(x) 表示场景深度。因此,深度信息是表征雾分布和图像退化的核心物理因素。
早期的去雾方法利用统计先验来估计方程(1)中的未知参数,然后从雾天图像中恢复清晰图像,例如DCP(He, Sun, & Tang, 2010)和饱和度线(Ling, Chen, Tan, Jin, & Chen, 2023)。然而,手工制作的先验在复杂场景中的泛化能力有限。当结构复杂性增加或先验假设被违反时,它们通常会导致伪影和颜色失真。
随着深度卷积神经网络(CNN)在计算机视觉中的突破,研究人员广泛探索了它们在单图像去雾任务中的潜力(Ling, Wang, Chen, Gu, Jin, Zheng, 2025, Liu, Song, Zhang, Liu, Qin, Yang, Gao, 2026)。早期的工作如DehazeNet(Cai, Xu, Jia, Qing, & Tao, 2016)使用端到端回归网络直接预测传输图,取代了传统的基于先验的方法。AOD-Net(Li, Peng, Wang, Xu, & Feng, 2017)将大气散射模型参数化为可学习的形式,通过联合估计多个物理量来提高恢复效果。DEA-Net(Chen, He, & Lu, 2024)引入了并行差分卷积模块,显著增强了提取细节的能力,与传统的卷积结构相比,在恢复的图像中实现了更好的纹理和轮廓保持。同时,一系列CNN架构改进在特征提取(Cui, Ren, Cao, & Knoll, 2023)和多尺度融合(Shen, Ding, Zhang, Zhao, & Jiang, 2025)方面进一步优化了去雾性能。然而,卷积操作的局部感受野限制了它们模拟全局雾分布的能力,特别是在密集或非均匀条件下。结果,CNN难以捕捉大范围的亮度衰减模式。这通常导致全局亮度恢复不足,并在结构上留下残余雾。
为了解决这一限制,最近提出的Mamba架构(Gu & Dao, 2023)采用了一种线性复杂度的全局扫描机制,有效地捕捉特征空间中的长距离依赖性。它通过在特征提取过程中进行跨区域交互来模拟空间雾分布(Sun, Liu, Wang, Zhang, & Wei, 2025),从而在复杂的雾梯度下实现更一致的恢复。此外,Mamba避免了基于Transformer的结构(Chen, Yan, Xu, & Li, 2025)在信息传播过程中的高计算成本,因此在高分辨率去雾任务中展示了更好的计算效率和可扩展性。然而,由于其表示细节的能力有限,恢复的图像在纹理和边缘区域经常会出现信息缺失或伪影,进一步挑战了全局一致性的恢复。
幸运的是,相关研究表明雾密度与场景深度紧密相关(Wang, Pan, Lin, Dong, Wang, Wu, 2024, Yang, Zhang, 2022)。高精度的深度估计为去雾提供了一个物理上可解释的全局先验。同时,去雾后的图像,由于纹理和对比度的改善,可以进一步增强深度估计。然而,现有方法在深度和去雾的协同优化方面仍存在不足。大多数方法依赖于离线深度预测或耦合较弱的多任务结构,未能充分利用两者之间的双向增强潜力。此外,常见的多任务均衡优化策略(Zhang, Zhou, & Li, 2024)由于目标冲突,往往导致次优解。例如,去雾过程旨在锐化边缘,而深度估计则倾向于平滑某些区域。因此,在保持物理一致性和纹理细节的同时,实现深度估计和去雾网络之间的高效协同优化仍然是当前研究的关键挑战。
在这项工作中,我们提出了一个基于双级优化的深度引导去雾框架。在这个框架中,上层优化去雾网络,利用下层提供的最佳深度作为物理先验进行指导。另一方面,下层优化深度估计网络,重点关注去雾结果中的挑战区域,从而提高深度预测的准确性和鲁棒性。对于去雾子网络,我们提出了一个局部-全局双分支结构:在具有纹理感知能力的局部分支中,我们设计了频率增强模块(FEB),通过差异感知调制增强高频细节并抑制伪影。在全局分支中,我们引入了Mamba结构来有效模拟全局雾分布。此外,我们通过分组处理和通道混合平衡了性能和计算效率。此外,深度估计特征作为物理先验嵌入到去雾主干网络中,从而在复杂场景中实现更高的视觉质量和物理一致性。如图1所示,我们的双级优化策略可以有效防止单任务优化中常见的陷入局部最优的问题。
  • •
    我们提出了一个基于双级优化的深度引导去雾框架。在这个框架中,去雾和深度估计通过双向反馈共同制定:深度先验确保物理一致性,而恢复的无雾图像提高了深度的鲁棒性。
  • •
    我们设计了一个双分支CNN-Mamba架构。局部分支恢复细粒度纹理和结构,而全局分支采用线性复杂度建模来捕捉长距离雾,实现局部细节和全局一致性的联合增强。
  • •
    在具有纹理感知能力的局部分支中,我们结合了一种差异感知频率增强机制,该机制在频率域中操作。这种机制自适应地调整幅度和相位成分,从而增强高频细节并抑制冗余伪影。
  • 本文的其余部分组织如下。第2节回顾了图像去雾和双级优化的相关工作。第3节详细介绍了所提出的方法,包括双级学习策略和去雾网络的设计。第4节提供了全面的实验结果和深入讨论。最后,第5节总结了本文的贡献并指出了未来研究的方向。

    部分摘录

    图像去雾

    图像去雾作为计算机视觉中的关键预处理任务,有一系列现有方法,大致可以分为两类:基于物理先验的方法和基于深度学习的方法。
    基于物理先验的图像去雾方法。传统的基于物理的方法主要依赖于大气散射模型(ASM)和统计先验知识来估计未知参数。例如,He等人(2010)观察到清晰图像中的非天空局部区域

    概述

    在本文中,我们提出了一个基于双级优化的深度引导图像去雾框架(Bi-DGID)。Bi-DGID利用场景深度信息作为物理先验来指导去雾过程。它还在去雾和深度估计之间建立了双向优化结构,使它们能够相互增强。如图2所示,Bi-DGID的训练过程分为两个阶段。在第一阶段,去雾子网络被预训练以获得初始

    实验设置

    数据集和评估指标。为了全面验证所提方法的有效性,我们在具有不同来源和特征的多个图像去雾数据集上进行了系统实验。这些数据集包括两个合成数据集(Li等人,2018):室外训练集(OTS)和室内训练集(ITS),以及三个真实世界的雾数据集:NH-Haze(Ancuti, Ancuti, & Timofte, 2020)、O-Haze(Ancuti, Ancuti, Timofte, & Vleeschouwer, 2018)和Dense-Haze(Ancuti,

    结论和未来工作

    在本文中,我们提出了一种新颖的基于双级优化的深度引导图像去雾框架(BI-DGID)。BI-DGID将图像去雾和深度估计视为两个相互优化的层次化任务。上层去雾网络充分利用了下层深度估计网络提供的全局先验,有效解决了单图像去雾在结构恢复和雾去除方面的局限性。下层深度估计网络则专注于

    CRediT作者贡献声明

    Jiajie Jing:概念化、方法论、软件、撰写——审阅与编辑。Yan Yang:监督、资源、数据管理。Haobo Liang:可视化、调查、软件。Junyu Li:资源、调查。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号