基于加权融合的协同变换网络用于夜间图像去雾

《Displays》：Nighttime image dehazing via collaborative transformations network based on weighted fusion

　　

本文提出了一个基于加权融合的协同变换网络（Collaborative Transformations Network），该网络整合了基于图像自适应3D查找表（3D LUTs）的全局变换和基于多尺度并行注意力融合（MSCPAB）的逐像素变换，以增强夜间雾霾图像的可视性。
本文主要贡献如下：
• 提出了一种多尺度并行注意力融合块（MSCPAB）。
• 提出了一种双分支特征融合模块。
• 提出了一种用于夜间图像去雾的协同变换框架。

**引言**

随着计算机视觉技术的快速发展[1]-[7]，恶劣天气条件下的图像处理[8]，尤其是图像去雾研究[9]，已成为该领域的重要研究方向。雾霾一直是影响可见光图像的关键因素[10]，它降低了图像质量，并使场景内信息的准确清晰记录和表达变得复杂[11]。单幅图像去雾算法研究主要包括白天单幅图像去雾[12]和夜间单幅图像去雾[13]。尽管近年来基于深度学习的白天去雾算法发展迅速，但很少有研究探索夜间雾霾场景。与白天雾霾图像相比，夜间雾霾图像由于人工光源的影响，呈现出更加复杂的成像特征[14]。具体来说，夜间雾霾图像存在低对比度、光照不均匀和色偏等问题，对实际去雾工作构成了严重挑战[13]。尽管存在这些困难，但在自动驾驶车辆、自动无人机和监控系统等诸多应用中，解决这些问题仍然是必不可少的，因为夜间雾霾是一种普遍且不可避免的自然现象[15]。

目前，随着对图像去雾的深入研究，涌现了大量关注白天雾霾图像去雾的研究，取得了显著的去雾效果。[16]是一种基于神经网络的轻量级去雾算法；[17]证明了开发大规模训练集和适应真实去雾图像是学习有效深度去雾模型的两个关键问题；[18]由预处理、主干网络和后处理三个模块组成，使用多尺度深度神经网络学习模糊图像和透射率映射之间的关系，并结合整体边缘引导网络来细化透射率映射[19]；[20]是一种基于对比学习的对比正则化（CR）方法，将模糊图像和清晰图像分别作为负样本和正样本的信息。[21]是一种端到端的多尺度去雾算法；[22]提出了一种新的分层密度感知去雾网络；[23]提出了一种语义感知去雾网络（SDNet）。为解决真实世界夜间雾霾图像中的复杂复合退化问题，[24]提出了一种基于贝叶斯最大后验（MAP）估计和分数阶约束的变分优化去雾框架；为减轻夜间去雾合成数据中固有的亮度畸变问题，[25]引入了一种由SFN、SFN+和SFN++组成的三阶段亮度感知学习框架；[26]提出了一种新颖的反向雾霾密度校正先验（IHDCP），该方法基于雾霾密度的统计分布模式，无需配对训练数据。然而，夜间单幅图像去雾仍面临重大挑战，是去雾技术发展中亟待克服的关键障碍。

基于物理模型的去雾算法本质上是依赖大气散射模型[27]的。该模型通过估计与已知雾霾图像相关的未知参数来生成无雾图像[15]。大气散射模型主要适用于白天雾霾场景，此时太阳光作为主要光源，大气光值保持恒定[28]。相比之下，夜间雾霾场景的复杂光照条件主要受人造光源影响[29]，导致大气光A(x)随空间变化。基于上述分析，夜间雾霾图像的形成表示为公式(1)。

该方法主要涵盖Cosmin Ancuti等[30]、Yuekun Dai等[31]、Yun Liu等[32]、Wenhui Wang等[33]、Minmin Yang等[34]的研究工作。

I(x)=J(x)t(x)+A(x)(1?t(x))

其中，x是输入图像，J(x)是清晰图像，I(x)是雾霾图像，A(x)是夜间全局大气光，t(x)是介质透射图。

基于非物理模型的去雾方法主要通过图像增强技术来提升图像视觉质量[35]。目前，可用的基于非物理模型的去雾算法相对较少。在基于深度学习的去雾算法领域，主要包括Shiba Kuanar等[36]、Zhongsheng Yan等[37]、Yeying Jin等[13]、Xiaofeng Cong等[38]和Wending Yan等[39]的工作。其中Yeying Jin等[13]的研究最为著名。

Yeying Jin[13]开发了一种方法，通过抑制明亮区域的曝光同时增强低光区域的可视性，改善单幅夜间雾霾图像的可视性。该方法引入了低光增强模块来解决夜间图像光照强度不足的问题。与以往的夜间去雾方法不同，该技术不仅减轻了各种光源的曝光效应，还增强了昏暗区域的可视性，从而提高了夜间雾霾图像的清晰度。尽管该方法在抑制曝光方面是有效的，但与更复杂的专业曝光校正网络[40]相比，仍有进一步改进的空间。

通过研究现有的夜间去雾算法，我们认为提升夜间雾霾图像可视性的关键在于解决以下两个主要问题：

(1) 夜间雾霾图像存在不受控的曝光输出现象，需要曝光校正[41]。夜间拍摄的图像受人造光源影响，可能产生眩光、耀光和过曝效应。这些光源发出的光被空气中的颗粒或水滴散射，导致光源周围出现光晕。尽管一些夜间去雾算法包含曝光抑制模块，但其效果往往有限。此外，大多数先进的曝光校正网络具有复杂的架构，带来了较大的计算负担。

(2) 夜间拍摄的雾霾图像存在多个挑战，包括低对比度、雾霾分布不均匀、纹理丢失和光照不一致。因此，有必要增强低光区域并细化图像纹理细节，同时有效处理雾霾的不均匀分布。

为了解决这些问题，我们提出了一种基于加权融合的协同变换网络的夜间图像去雾方法。利用图像自适应3D查找表（3D LUTs）进行整体外观调整[38]作为全局变换方法，这构成了我们所提出去雾网络的一个分支，提供了强大的颜色变换能力以改善图像的颜色表示。通过修改亮度通道的映射，优化曝光效果，增强全局对比度，并使细节更加清晰；我们采用集成多尺度并行注意力融合块（MSCPAB）的U-Net架构作为逐像素变换方法，这是去雾网络的第二个分支。该方法能够利用大感受野和长程建模能力，从深度结构特征中恢复更多纹理细节，同时从原始特征中提取全局共享信息并捕获位置特定的局部信息，从而专注于提取更有效的特征表示；最后，我们采用双分支特征融合模块，通过利用全局变换和逐像素变换的优势来融合提取的特征。该过程生成双分支融合特征，随后由解码器通过全局损失函数重建无雾图像。

总体而言，本文的主要贡献如下：

(1) 我们利用图像自适应3D查找表（3D LUTs）进行整体外观调整[38]作为全局变换方法，构成去雾网络的一个分支，以改善图像的颜色表示、优化曝光效果并增强全局对比度。通过实现自适应采样策略来预测采样间隔，我们保留了更多颜色信息，从而为学习3D LUTs提供更高质量的输入数据。该过程包括使用小型卷积神经网络（CNN）从低分辨率图像中提取上下文信息，学习采样间隔，并将其转换为采样坐标以自适应地降采样原始图像。

(2) 我们提出了多尺度并行注意力融合块（MSCPAB），该模块由多尺度卷积（MS）和拼接并行注意力块（CPAB）组成。该模块包含多尺度卷积结构、局部残差学习和并行特征注意力机制，能够从深度结构特征中恢复更多纹理细节。MSCPAB旨在从深度结构特征中恢复更多纹理细节，并行地从原始特征中提取全局共享信息和位置相关的局部信息，同时专注于捕获更有效的特征信息。它具备大感受野和长程建模能力，允许并行地从原始特征中提取全局共享信息和位置相关的局部信息，从而强调提取更有效的特征信息。

(3) 我们提出了双分支特征融合模块，该模块根据3D LUTs全局变换和逐像素变换的主导信息进行加权融合提取的特征，生成双分支融合特征，有助于去雾。通过利用全局变换和逐像素变换的优势，对提取的特征进行加权融合。我们采用了一种不一致函数来计算不一致权重，该权重反映了两个分支之间的不一致程度或差异。该模块保留了图像的纹理细节和结构信息。

**分章节摘要**

**夜间图像去雾**

夜间图像去雾算法主要包括基于物理模型的去雾算法、基于非物理模型的去雾算法和基于深度学习的去雾算法。基于物理模型的去雾算法本质上是基于大气散射模型，通过估计与已知雾霾图像相关的未知参数来获取无雾图像。这类方法对夜间雾霾图像有明显的去雾效果，但恢复的图像可能出现色彩问题。

**算法概述**

本文提出了一种基于加权融合的协同变换网络，该网络整合了基于图像自适应3D LUTs的全局变换和基于多尺度并行注意力融合的逐像素变换，以增强夜间雾霾图像的可视性。网络结构如图1所示，算法的训练框架如图2所示。如图所示，算法的学习过程包括两个主要阶段。

**数据集**

为了全面评估各种算法在单幅夜间雾霾图像上的去雾性能，我们使用合成和真实夜间雾霾数据集进行了对比实验。

本研究使用的合成夜间雾霾数据集如下：

(1) GTA5[39]：由GTA5游戏引擎生成。包含864对图像，其中787对作为训练集，其余作为测试集。GTA5游戏引擎通过体积雾技术实现。

**结论**

总之，本文提出的基于加权融合的协同变换网络有效增强了单幅夜间雾霾图像的可视性。通过采用基于图像自适应3D LUTs的全局变换方法和基于多尺度并行注意力融合的逐像素变换方法，我们的模型从各分支独立提取深度特征。通过双分支特征融合模块进行加权融合，生成双分支融合特征。

**未引用的参考文献**

[60]

**利益冲突声明**

作者声明他们不存在可能影响本论文工作的已知竞争性经济利益或个人关系。

Kangle Yuan | Jianguo Wei | Wenhuan Lu