通过明暗通道融合技术实现煤矿单图像去雾效果

《IEEE Access》：Single Image Dehazing for Coal Mines via Bright-Dark Channel Fusion

　　摘要：由于复杂的矿井环境，煤井中的图像常常会出现明显的退化现象。传统的去雾方法通常基于先前的理论和大气散射模型，效果有限。虽然更先进的方法（基于深度学习的方法）通常需要大量的配对数据集和高性能的硬件配置，但这些方法也存在局限性。为了解决这些问题，本文提出了一种基于明暗通道融合（BDCF）的单一图像去雾方法。通过使用基于参考的图像质量评估，在有限的雾霾图像和清晰图像对的数据集上进行比较分析，确定了最佳的双通道融合策略。色调直方图用于自动识别输入图像的颜色特征。彩色图像使用暗通道先验进行处理，而低光照的灰度图像则使用亮通道先验进行增强。每个通道的环境光分别进行估计，并通过添加颜色方差补偿来提高估计性能。传输估计基于暗通道先验得出，然后通过双窗口模式和自适应正则化权重设计加权引导滤波器来细化图像细节。最后，通过雾霾图像退化模型获得恢复和增强的结果。为了评估所提出方法的有效性，基于自构建的煤井雾霾图像数据集和一些公共基准进行了实验。将所提出的方法与其他最先进的方法进行了比较。实验结果表明，该方法能够有效去除雾霾干扰，增强图像特征和边缘细节，并在不同情况下表现出良好的适应性、稳定性和计算效率。

第一部分 引言
随着煤矿自动化和智能化水平的不断提高，计算机视觉技术在煤矿安全监测、地下人员定位、设备故障检测和危险预警等方面的应用日益广泛[1]。然而，煤矿地下工作环境的复杂性对视觉感知产生了显著影响。主要表现为采矿、推煤和爆破等生产活动会产生大量悬浮的煤尘和岩尘，冷却和除尘过程也会形成密集的水雾。这些尘埃和雾粒会对光线产生散射和吸收作用，导致相机捕捉到的图像对比度降低、颜色失真和细节模糊等问题。同时，地下不良且分布不均的照明条件导致图像的信噪比较低，并可能引入各种类型的噪声。由雾霾、噪声和低照度共同作用引起的图像质量退化现象是当前煤矿视觉技术应用中亟待解决的问题[2][3][4]。通过研究煤矿图像去雾的相关方法，可以提高图像质量，增强视觉检测技术的可靠性和实用性，并及时识别“人-机-环境”中的潜在安全隐患，这对于降低煤矿事故率和确保煤矿安全生产具有重要意义。

对于经典的图像去雾问题，相关学者已经进行了大量研究工作。目前，图像去雾和增强方法大致可以分为三类：基于图像增强的方法、基于深度学习的方法和基于物理模型的方法。首先采用的是基于图像增强的方法。这些方法没有探讨图像退化的物理原因，而是将雾霾图像视为对比度低、动态范围压缩的退化图像，并通过一些图像处理算法来改善视觉质量。常见的算法包括直方图均衡化[5]、同态滤波[6]等。这些方法的特点是计算复杂度低、实时性能好，能够在某些轻度雾霾场景中有效增强对比度。然而，它们的主要缺点是本质上属于全局或局部对比度拉伸操作，而不是真正的“去雾”，因此无法有效分离场景辐射光和大气散射光。

近年来，基于深度学习的方法作为一种有效技术应运而生。这些方法通常采用端到端的学习框架，通过对大量雾霾图像和清晰图像的对进行训练，使网络能够直接学习从雾霾图像到清晰图像的复杂映射。代表性的网络架构包括DehazeNet[7]、AOD-Net[8]、PSD[9]、RIDCP[10]、MaIR[11]等。这些方法在公共自然图像去雾数据集上的表现超过了传统技术，在特征提取和复杂雾霾建模方面表现出强大能力。然而，将这些方法应用于煤矿作业环境面临若干挑战。与物理模型相比，深度学习模型的可解释性较弱。从地下煤矿获取大规模的真实雾霾图像对数据集较为困难。仅基于合成数据训练的模型在现实场景中的泛化能力可能有限。此外，复杂深度学习模型的高计算需求可能会阻碍其在煤矿嵌入式系统或实时监控平台上的部署[12][13][14]。

基于物理模型的方法建立了合理的数学框架来描述图像退化过程。一类是以Retinex理论（包括SSR、MSR和MSRCR）[15][16]为代表的方法，该方法将图像分解为光照成分和反射成分。虽然这些方法能够增强图像细节，但容易产生光晕伪影、过度增强和颜色失真。另一类方法基于大气散射模型[17][18]，该模型将观测到的雾霾图像表示为无雾霾清晰图像、传输图和全局大气光的复合表达式。为了解决这个约束不足的问题，研究人员引入了先验知识或假设，例如He等人提出的暗通道先验（DCP）[19]和王等人提出的亮通道先验（BCP）[20]。这些方法的主要优点在于整个恢复过程的物理可解释性明确，通常能够产生自然且高保真的结果。然而，它们的性能高度依赖于所选先验与具体场景的匹配程度。直接应用单一先验可能导致估计偏差，从而引起颜色失真或细节恢复不足。因此，结合多通道先验知识是一种有效的策略，可以解决这些局限性。

在完善先验理论方面，可以使用DCP来估计传输图。这个初步估计随后通过He等人提出的引导滤波方法进行优化[21]，该方法利用引导图像的结构信息来保留边缘细节并有效抑制光晕伪影。针对特定应用场景，Drews等人[22]提出了一种水下DCP，仅使用绿色和蓝色通道计算暗通道，从而提高了水下环境中的传输估计精度。为了解决混合雾霾和低光照的复杂场景，Bao等人[23]引入了一种自适应参数调整机制，根据图像的全局亮度和对比度动态调整传输参数，从而避免在低光照区域严重低估传输值。基于BCP，Sun等人[24]结合了灰度去除方法来增强颜色表现。尽管上述研究取得了一定的改进，但它们主要关注单独优化BCP或DCP，对于采矿和遥感等复杂场景的实际效果仍有限，需要进一步改进。

在深度学习集成方面，Tao等人[25]将卷积神经网络（CNN）与BCP相结合。他们的方法使用CNN减少图像噪声，同时利用BCP估计传输图，从而增强图像特征。Lee等人[26]将BCP作为物理约束来优化图像亮度分布。通过无监督对抗学习，他们的方法学习了从低光照到正常光照条件下的复杂映射，有效增强了低光照图像的特征。Yang等人[27]提出了一个结合DCP的多尺度去噪网络。通过特征提取模块（FEM）和特征融合模块（FFM），该网络增强了特征提取能力。Han等人[28]提出了一种基于DCP的轻量级U-net架构，该模型在保持良好去雾性能的同时减少了参数数量和计算复杂度。然而，基于深度学习的方法通常可解释性较差，且需要大量数据进行训练。

在整合多种先验理论方面，Jiang等人[29]提出了一种基于自适应双通道先验的图像去雾方法。该方法可以根据输入图像的全局特征选择DCP或BCP，从而提高算法在不同场景下的鲁棒性。Fan等人[30]引入了一种明暗通道分割和融合方法，其中暗通道成分用于去除雾霾效果和增强细节，而亮通道成分用于光照估计、校正和颜色恢复，这种方法在增强细节的同时更好地保持了图像的自然视觉外观。针对地下煤矿场景，Cao等人[31]提出了多尺度引导滤波和自适应大气光估计，能够有效处理由不均匀尘埃颗粒引起的多尺度特性，保留边缘信息，并更准确地估计大气光值。因此，多通道融合为图像去雾和增强操作提供了有前景的方向。

鉴于真实煤矿图像的有限可用性以及模型部署复杂性和可解释性的考虑，本文提出了一种基于明暗通道融合的煤矿图像去雾方法。本研究的主要贡献如下：
1. 我们提出了通道选择标准，使用色调直方图作为判断图像颜色特征的标准，有效区分了是否为彩色图像或低光照灰度图像。采用这种特定于通道的方法能够获得更好的图像处理结果。
2. 我们设计了双通道融合的互补策略，对于彩色图像使用亮通道先验进行环境光估计，对于低光照灰度图像使用暗通道先验。传输估计在两种图像类型中均统一使用暗通道先验。
3. 我们在环境光估计中加入了颜色方差补偿，通过优化核心架构减少了通道不平衡引起的颜色偏移，并抑制了虚假的环境光像素。
4. 我们提出了一种改进的加权引导滤波方法，该方法有效增强了图像特征并细化了边缘细节，从而显著提高了整体图像处理性能。

第二部分 方法
A. 总体架构
我们设计了一种基于明暗通道融合的煤矿图像去雾方法。该方法的整体结构如图1所示。接收到雾霾图像后，首先使用其色调直方图分析图像的颜色特征。这一过程区分了彩色图像和低光照灰度图像，从而确定是应用DCP还是BCP。具体来说，处理彩色图像时使用DCP，而在环境光估计阶段使用BCP处理低光照灰度图像。无论图像类型如何，传输估计始终使用DCP。随后应用加权引导滤波器来增强图像细节。最后，通过雾霾图像退化模型恢复图像。该方法包括两个关键过程：通道选择和环境光模型优化。

图1. 我们提出的明暗通道融合（BDCF）的整体架构。

B. 通道选择
在煤矿复杂的环境中，亮通道在处理彩色图像时容易引入颜色失真，但在处理灰度图像时可以增强细节；相反，暗通道在处理灰度图像时可能会丢失局部特征，但在处理彩色图像时能有效增强纹理。因此，在选择通道时，首先评估图像的颜色特征。这涉及到将图像转换为HSV颜色空间，提取色调通道，将其二维矩阵H转换为了一维向量h，并使用以下公式计算色调直方图hist[k]：M=max_k=0≤29 hist_n[k] (1) 其中：k表示直方图的分箱数量，定义在区间[0, 29]内，N表示图像像素的总数。直方图被标准化以产生hist_n，然后根据以下公式得出最大值：hist_norm[k] = M = hist[k] / ∑_{j=0}^{29} hist[j] (2) (3) 对1500张模糊图像进行了色调直方图的统计分析，包括1000张彩色图像和500张低光照灰度图像，以确定直方图阈值Th。结果如图2所示。彩色图像的色调直方图值始终低于0.5，而低光照灰度图像的值超过了0.9。因此，Th的合理范围是[0.5, 0.9]。在本研究中，Th被设置为0.7。图2. 数据集色调直方图的统计分布。根据最大值M和直方图阈值Th的比较结果，制定了一个决策规则：如果M对图像恢复质量进行了主观评估，并引入了峰值信噪比（PSNR）和结构相似性指数测量（SSIM）[32],[33]作为图像质量评估指标进行对比分析，从而得出了客观评估结果。PSNR和SSIM可以反映对比图像之间的亮度、颜色和结构特征的变化。PSNR反映了图像的颜色增强效果和颜色失真情况，而SSIM用于评估图像的亮度特性，反映了亮度分布的合理性和亮度提升的程度。这两个指标的值越高，图像增强效果越好。

A. 实验环境
本实验的代码是用Python语言编写的。编程环境为PyCharm软件。Numpy工具包的版本是1.26.4，Matplotlib工具包的版本是3.9.3，OpenCV-Python工具包的版本是4.8.1.78。所有方法的运行时评估都是在CPU处理器（Intel i9-13900HX）上进行的。深度学习模型的训练是在单个NVIDIA GeForce RTX 4060 GPU上完成的。

基线配置：对于基于物理模型的方法，传输下限t0=0.3，雾霾去除系数ω=0.95，像素选择百分比p=0.3%。基于深度学习的方法使用了PyTorch框架和ADAM优化器。初始学习率和批量大小分别设置为0.00025和16。所有模型都训练了50个周期。

B. 图像采集和预处理
本研究采用了带有真实图像参考的质量分析方法。煤矿雾霾图像数据集是通过在实际煤矿工作环境中收集图像构建的。使用地下监控摄像头和防爆手机采集了1500对图像，包括1000对彩色图像和500对低光照灰度图像。从彩色图像中随机选择了950张作为训练数据，50张作为测试数据。500张低光照灰度图像被分为450个训练样本和50个测试样本。此外，还获取了SOTS-indoor和SOTS-outdoor公共数据集[34]，每个数据集随机选择了450张图像用于训练，50张用于测试。

C. 消融研究
1) 明暗通道融合
应用了不同的先验理论（DCP和BCP）来验证环境光估计和传输估计。如图3所示，根据“环境光估计通道选择 + 传输估计通道选择”的模式建立了四种组合形式：BCP+BCP、BCP+DCP、DCP+BCP和DCP+DCP。实验结果表明，对于彩色图像，最佳组合是DCP+DCP，PSNR为18.18 dB，SSIM为0.7055。对于低光照灰度图像，表现最好的组合是BCP+DCP，PSNR为20.25 dB，SSIM为0.7660。分析表明，最佳通道组合可以根据图像的颜色特性来选择。

2) 算法1和算法2的性能分析
为了有效消除晕圈伪影，引入了加权引导滤波器（算法1）和颜色补偿（算法2）。如图4所示，Raw Transmission代表初始传输图。Transmission (GF)表示使用传统引导滤波器处理的传输图。Transmission (WGF)显示使用加权引导滤波器处理的传输图。Transmission (CVC)表示通过向加权引导滤波器添加颜色补偿得到的传输图。相应的输出图像分别为去雾图像、去雾图像（GF）、去雾图像（WGF）和去雾图像（CVC）。对于彩色图像，最佳性能实现了PSNR=22.57 dB和SSIM=0.8825。对于低光照灰度图像，最佳指标达到了PSNR=22.48 dB和SSIM=0.8842。主观视觉质量和客观评估指标都表明，在加入加权引导滤波器和颜色补偿后，彩色和低光照灰度图像的纹理特征和边缘细节都有显著改善。去雾效果明显增强。

D. 与最先进方法的比较
实验过程涉及基于物理模型的方法（DCP [19]、TCSF [30]、TSDM [31]、我们的方法）和基于深度学习的方法（AOD-Net [8]、PSD [9]、RIDCP [10]、MaIR [11]）之间的比较研究。这些实验使用了自构建的煤矿雾霾图像数据集以及公共的SOTS-indoor和SOTS-outdoor数据集。

1) 煤矿雾霾图像数据集
在煤矿环境中，由于光线分布不均、照明有限、光线不足和雾霾的影响，有必要恢复目标（如煤岩结构、采煤机、刮板输送机、液压支架等机械设备）的轮廓和细节。如图5所示，对于光照条件良好的彩色图像，DCP [19]方法在局部区域显示出明显的颜色失真、暗区过度增强、光源位置有大量噪声、液压支架周围有晕圈伪影以及整体图像较暗。TCSF [30]方法消除了晕圈伪影，但在光源位置产生了大量噪声，某些区域有残留灰尘，以及顶板支架位置过度增强。TSDM [31]方法减少了光源噪声，但在暗区有过度增强，液压支架和巷道侧壁有晕圈伪影。AOD-Net [8]和PSD [9]方法实现了有效的去雾，但在光源位置产生了大量噪声，顶板和巷道侧壁位置过度增强。RIDCP [10]方法改善了光源噪声，但在巷道侧壁有过度增强。MaIR [11]方法有效处理了光源噪声和纹理特征，尽管某些区域仍有残留灰尘。

2) SOTS-Indoor和SOTS-Outdoor数据集
SOTS-indoor和SOTS-outdoor数据集是图像去雾领域最权威的评估基准之一。这些数据集主要用于客观评估去雾算法的泛化能力和恢复精度。为了验证所提出方法的适应性，在SOTS-indoor和SOTS-outdoor数据集上进行了对比实验。如图7所示，对于室内雾霾图像，DCP [19]方法在局部区域显示出明显的颜色失真、多个物体（如椅子和橱柜）边缘的晕圈伪影以及表面纹理的过度增强。TCSF [30]方法避免了晕圈伪影，但在桌面和橱柜表面上产生了大量噪声。TSDM [31]方法在多个区域显示出颜色失真和物体边缘的晕圈伪影。AOD-Net [8]和PSD [9]方法实现了有效的去雾，但在背景墙上产生了过度增强。RIDCP [10]方法改善了光源噪声，但在巷道侧壁有过度增强。MaIR [11]方法有效处理了光源噪声，但在局部区域仍有残留灰尘。

3) 模型参数和运行时间
为了进一步评估所提出方法的实际适用性，我们对基于物理模型的方法（DCP [19]、TCSF [30]、TSDM [31]、我们的方法）和基于深度学习的方法（AOD-Net [8]、PSD [9]、RIDCP [10]、MaIR [11]的模型参数和运行时间进行了比较分析。选择了10张分辨率为620×460的彩色图像进行测试，并计算了平均运行时间。所有方法都在CPU处理器（Intel i9-13900HX）上进行了评估。由于基于物理模型的方法需要的参数较少，因此没有记录模型参数的数量。结果如表3所示。与基于深度学习的方法相比，当硬件资源有限且无法使用GPU加速时，基于物理模型的方法显示出更短的总体执行时间。尽管所提出的方法（0.046秒）比DCP方法（0.030秒）需要稍多的时间，但它实现了更好的去雾性能，有效平衡了去雾质量和计算效率。因此，优化模型结构本身，而不仅仅是堆叠复杂的深度学习网络架构，仍然是提高模型性能的有效策略。

E. 限制
如图9所示，在采矿和爆破作业的初期阶段，灰尘非常密集且分布极不均匀，限制了所提出方法的处理性能。除了环境灰尘和水雾外，光照条件也显著影响图像恢复。后续研究将探讨加入强光抑制模块的可能性。地下煤矿复杂的作业条件使得在短时间内获得足够的真实雾霾-清晰图像对变得极其困难。当前的图像数据集无法完全捕捉到地下煤矿环境的所有特征，所提出方法的泛化能力需要进一步研究。

IV. 结论
本研究提出了一种基于明暗通道融合的煤矿雾霾图像增强方法。核心设计过程如下：首先，将图像转换为HSV颜色空间，并引入色调直方图来分析图像的颜色特征。根据不同的颜色特征，系统自动选择不同的通道处理策略。具体来说，对于彩色图像，使用暗通道先验进行环境光估计；而对于低光照灰度图像，则使用亮通道先验进行环境光估计。传输估计始终利用了“暗通道先验”（dark channel prior）信息。与其他信道处理组合方法相比，这种融合策略能够提取更丰富的图像特征。通过颜色方差补偿，环境光估计的性能得到了提升。为了有效抑制晕影伪影，采用了一种改进的加权引导滤波器（weighted guided filter）来精细化传输映射图，从而进一步增强了图像处理效果。实验基于自构建的煤矿雾霾图像数据集（SOTS-indoor）以及室内外混合数据集（SOTS-outdoor）进行。与其他最先进方法的对比结果表明，所提出的方法能够有效去除雾霾、恢复图像特征和细节、保持自然色彩，并展现出良好的稳定性和适用性。