基于雾霾先验感知的高效双域图像去雾算法

《Pattern Recognition》:Efficient dual-domain image dehazing with haze prior perception

【字体: 大 中 小 】 时间:2026年09月21日 来源:Pattern Recognition 9.1

编辑推荐:

  •DGFDNet 明确地对不同领域和阶段的退化线索进行了对齐。•HAFM 通过暗通道引导实现全局频谱调制。•MGAM 通过多尺度门控聚合来恢复细节。•PCGB 通过迭代反馈 refinement 动态校正先验。•在基准测试中实现了最高性能(SOTA),同时效率很高。引言在雾天条件

  
  • •
    DGFDNet 明确地对不同领域和阶段的退化线索进行了对齐。
  • •
    HAFM 通过暗通道引导实现全局频谱调制。
  • •
    MGAM 通过多尺度门控聚合来恢复细节。
  • •
    PCGB 通过迭代反馈 refinement 动态校正先验。
  • •
    在基准测试中实现了最高性能(SOTA),同时效率很高。

引言

在雾天条件下拍摄的图像通常会遭受对比度降低、颜色饱和度减弱以及高频细节丢失的问题。这些退化现象会对下游任务(如目标检测 [1]、[2] 和语义分割 [3]、[4])产生负面影响。单图像去雾旨在从模糊的输入中恢复清晰的场景,但由于雾气的空间分布不均匀且未知,这一任务仍然难以解决。
早期的方法 [5]、[6]、[7] 使用手工制作的先验来估计雾气分布,在简单场景中表现良好,但在复杂环境中效果不佳。基于 CNN 的方法 [8]、[9]、[10] 通过端到端学习提高了重建质量,但它们的感知范围有限,不利于全局依赖关系的建模,而这对于结构一致性和细节恢复至关重要。基于 Transformer 的模型 [11]、[12]、[13] 通过自注意力机制在捕捉长距离依赖关系方面表现出色,从而提升了去雾性能。然而,它们的复杂度限制了实时应用的可能性。
为了提高全局上下文建模的效率,最近的研究 [14]、[15]、[16] 开始探索结合频域信息的方法。这背后的两个观点是:(1)雾气主要扭曲傅里叶谱的实部和幅度部分,而相位部和虚部保留了结构信息(图 2(a)),这使得频域学习适用于雾气特征化;(2)局部频率变化会引起全局空间效应(图 2(b)),表明频域处理在建模长距离依赖关系时更有效。然而,现有的空间-频率融合方法依赖于松耦合的双分支,缺乏明确的退化对齐机制,这限制了跨领域的交互以及在复杂雾况下的鲁棒性。此外,现实世界中的雾密度差异很大,从薄雾到浓雾都有,这对模型鲁棒性构成了重大挑战,现有评估中对此尚未充分探索。
为了克服这些限制,我们提出了暗通道引导的频域感知去雾网络(DGFDNet),这是一个双域框架,它利用暗通道先验作为明确的桥梁来定位雾气并引导频域调制。通过将空间雾气定位与有针对性的频域调制相结合,DGFDNet 能够高效地对全局上下文进行建模,同时保持紧凑的设计(图 1)。这使得它在不同的雾密度下都具有鲁棒性,适用于实际应用,并有望推广到现实世界的雾天场景。
DGFDNet 由多尺度 DGFDBlocks 组成,每个块包含两个模块:雾感知频率调制器(HAFM)和多级门控聚合模块(MGAM)。在暗通道先验的引导下,HAFM 生成像素级别的雾气置信度图,并选择性地调制与雾气相关的频率分量以进行全局退化建模。由于这种全局建模对细小的局部细节不太敏感,MGAM 通过多尺度卷积和混合门控机制进一步细化空间表示,从而增强了对细节的感知并恢复了高频细节。
尽管暗通道先验可以提供粗略的雾气估计,但在复杂的户外场景中它仍然不可靠。与 DeHamer [17] 等基于先验的方法不同(后者将先验作为静态输入注入),我们引入了先验校正引导分支(PCGB),它向 HAFM 提供雾气退化线索,并从 MGAM 接收 refinement 反馈,以迭代地细化先验。这种迭代的跨阶段细化机制强制多阶段和多领域退化信息的一致对齐,提高了在具有挑战性的真实世界场景中的雾气定位准确性和鲁棒性。
每个 DGFDBlock 在 PCGB 的引导下共同优化空间和频域特征,实现了高效的全局上下文建模,同时保留了局部细节。我们的主要贡献总结如下:
(1) 我们提出了 DGFDNet,这是一个双域去雾框架,它明确地对齐了空间和频率退化线索。每个 DGFDBlock 集成了 HAFM 用于雾感知频谱调制和 MGAM 用于细节增强,平衡了全局上下文建模和局部恢复。
(2) 我们设计了 PCGB,它采用迭代跨阶段细化机制来逐步校正暗通道引导。这种动态校正策略在复杂的户外场景中显著提高了雾气定位和模型的鲁棒性。
(3) 在合成数据和真实世界数据集上的广泛实验表明,DGFDNet 以紧凑的架构实现了先进的去雾性能,在恢复质量和计算效率之间取得了良好的平衡。

章节片段

相关工作

基于先验的去雾方法。早期方法使用手工制作的先验来约束解的空间,包括雾线 [18]、颜色椭球先验 [19]、颜色线 [20]、暗通道先验(DCP)[5] 和颜色衰减先验 [6]。其中,DCP 被广泛使用。它假设在无雾图像中至少有一个颜色通道在大多数局部区域几乎为零,而雾气会增加强度,从而实现雾气估计。然而,这些先验在复杂场景中表现不佳,因为

方法

如图 3(a) 所示,DGFDNet 包含一个去雾主线和一个先验校正引导分支。主线采用 U 形编码器-解码器结构,包含三个对称阶段,每个阶段包含多个 DGFDBlocks。块的数量和通道宽度随着分辨率的不同而变化。步长卷积用于下采样,而上采样结合了 1 × 1 卷积和像素洗牌。跳过连接实现了编码器和解码器之间的特征传递。

实验设置

数据集。我们在多样化的合成数据和真实世界数据集上评估了 DGFDNet。对于合成实验,我们使用 RESIDE [42],该数据集使用大气散射模型生成,提供了 ITS(13,990 对室内图片)和 OTS(313,950 对室外图片)用于训练,以及 SOTS 测试集(500 对室内和 500 对室外图片)。为了评估在不同雾密度下的鲁棒性,我们从 HazeSpace2M [43] Outdoor 中抽取了一个子集。每个场景有十个逐渐增加的雾密度级别,共 155,000 张训练图片

讨论

通过双域协作建模和渐进式先验校正,DGFDNet 能够捕捉全局雾气分布和局部结构细节,从而在轻度到中度雾气条件下实现稳健的恢复。然而,在极端浓雾条件下,暗通道先验的可靠性会降低,而严重的场景信息丢失会削弱先验细化的线索,从而降低恢复的忠实度。由于仅靠内部图像统计信息无法恢复这些信息,因此需要高级语义先验

结论

在本文中,我们提出了 DGFDNet,这是一个基于明确空间-频率退化对齐的高效双域去雾框架。HAFM 和 MGAM 协同建模全局雾气退化和细粒度空间结构,而 PCGB 逐步细化物理先验,以在复杂和非均匀条件下提高雾气定位的准确性。在合成和真实世界数据集上的广泛实验表明,DGFDNet 实现了先进的去雾性能

CRediT 作者贡献声明

郑丽蓉:撰写——原始草稿,软件编写,方法论制定,概念构思。李彦山:撰写——审阅与编辑,监督,资金获取。于瑞:验证,数据整理。张凯浩:撰写——审阅与编辑,调查,形式分析。

AI 使用声明

在准备这项工作时,作者使用了 ChatGPT 来提高语言清晰度和纠正语法错误。作者根据需要仔细审查和编辑了内容,并对最终发表的工作负全部责任。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究部分得到了 国家自然科学基金(编号:62471317)、深圳市自然科学基金(编号:JCYJ20240813141331042)和 广东省重点实验室(资助编号:2023B1212060076)的支持。
郑丽蓉2019 年毕业于深圳大学电子与信息工程学院,目前正在深圳大学攻读博士学位。她的研究兴趣包括图像/视频处理、计算机视觉和深度学习。
Lirong Zheng|Yanshan Li|Rui Yu|Kaihao Zhang
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号