基于注意力驱动的多尺度特征融合网络的半监督沙尘图像增强方法

《Digital Signal Processing》：Semi-Supervised Sand-Dust Image Enhancement via Attention-Driven Multi-Scale Feature Fusion Network

　　穆罕默德·沙姆萨丁·卡迪尔|阿科·巴尔塔尼|马尔万·阿齐兹·穆罕默德|法特梅赫·达内什法尔
伊拉克埃尔比勒索兰大学理学院计算机科学系

**摘要**
缺乏成对训练数据是数据驱动的沙尘图像增强方法面临的重要挑战。监督学习方法依赖模拟数据，但模拟数据与真实场景之间的差异限制了其泛化能力。无监督学习方法虽避免了这一问题，却往往结构复杂，且难以恢复细节。基于此，我们提出了一种半监督沙尘图像增强方法SSDIE-Net，它在统一框架下融合了监督学习与无监督学习的优势。在监督分支中，SSDIE-Net利用监督重建损失函数在模拟数据上训练；同时结合传统图像修复技术与条件生成对抗网络，生成高度逼真的沙尘图像。在无监督分支中，该方法通过一致性正则化、基于暗通道先验的回归最小化、基于Retinex的伪标签机制以及对抗学习，将沙尘图像转换为清晰图像。此外，我们还设计了一种基于注意力机制的多尺度特征融合网络，通过不同尺度下的特征图提取，提升从局部到全局的学习能力。与仅关注局部特征的现有方法不同，SSDIE-Net能够学习长距离依赖关系，这对于理解整体场景结构至关重要。大量实验表明，SSDIE-Net的性能优于现有的监督学习、无监督学习及传统方法，它生成的图像不仅无尘，细节更加丰富，且更能适应真实场景。代码地址为https://github.com/bartani/SSDIE-Net

**引言**
户外视觉系统捕获的图像质量常常因灰尘颗粒的存在而下降，这些颗粒会吸收和散射空气光以及物体反射的光线，从而降低图像质量。为直观展示现实环境中沙粒和灰尘颗粒造成的视觉退化，图1展示了典型的沙尘图像。此类退化会导致后续计算机视觉任务中出现对比度低、可见度下降以及颜色失真等问题[1]、[2]。此外，灰尘颗粒还会降低图像中的蓝光和绿光强度，使得图像呈现黄色、棕色或红色等色彩层次[3]。因此，沙尘去除技术被用作预处理步骤，以提升图像质量和可见度。近几十年来，这一领域作为活跃的研究方向受到了广泛关注。对于部署在火星上的户外视觉系统而言，沙尘风暴会严重降低系统性能，这一问题尤为重要。

从历史上看，沙尘去除方法从基于专家知识的技术（如图像修复[3]、[4]和图像增强[5]、[6]、[7]）逐步发展到利用图像内在结构和模式的深度学习方法[8]、[9] [10]。基于修复的方法旨在通过估算沙尘图像的空气光分布和传输映射来求解光学物理模型[11]。然而，这类模型中的未知参数（即空气光分布和传输映射）数量往往多于可用信息（沙尘图像本身）。为此，一些方法通过引入暗通道先验[12]、大气散射模型[13]以及暗通道直方图峰值[1]等假设来专注于空气光分布的估算。还有些方法则通过为每个颜色通道采用自适应加权[1]、计算观测光强度与空气光强度的差异[14]，以及结合引导滤波器和容差机制[4]来估算传输映射。另一方面，现有的图像增强方法通常通过拉伸对比度[15]、引导滤波[3]、亮度平衡[16]、[17]、直方图均衡化[5]、[18]、模糊强化算子[19]以及RGB通道补偿算法[20]等方法来实现沙尘去除。尽管这些方法能有效改善沙尘图像的颜色，但它们过度侧重于颜色增强，往往会导致图像出现失真和模糊等伪影，进而影响最终结果的质量。

近年来，域转换技术被广泛应用于各类户外图像增强任务，如去雾[21]、去雨[22]、水下图像增强[23]以及弱光图像增强[24]、[25]。然而，要有效应对不同类型的图像退化，需要采用合适的策略。此外，域转换方法的性能往往取决于是否存在成对的训练数据集，这在实际沙尘去除应用中带来了很大挑战。为解决这一问题，一些方法[8]、[26]、[27]、[28]通过模拟沙尘图像，并利用监督损失函数来训练模型。不过，这些方法的效率仅限于模拟数据，往往无法提升真实场景中的沙尘图像质量。相比之下，其他一些方法则采用无监督学习策略，利用不成对的图像[9]、[29]、[30]、[31]。但这些方法在训练过程中容易出现不一致性，且需要复杂的架构来处理复杂的退化现象。此外，真实场景中的沙尘图像数量有限，也降低了这些模型的泛化能力，导致它们无法恢复被灰尘颗粒遮挡的细节。为克服这一局限，LGASR[32]通过优化提取器来有效捕捉潜在内容，并利用其生成高质量的无尘图像。另一种策略是[33]采用对比学习，在表示空间中将无尘图像与正样本对靠近，同时将其与负样本对分开。此外，[34]还运用零样本学习来估算照明映射，以提升含尘图像的对比度。然而，这些模型存在结构复杂和训练难度大的问题，仍无法有效恢复场景中被遮挡的细节。

尽管各种方法采用了不同的训练策略，但缺乏带有真实标签的沙尘图像仍是实现最优解决方案的重大障碍。这会削弱模型恢复被遮挡场景细节的能力。使用模拟数据有助于模型恢复结构，尤其是被遮挡的细节，但仅依赖模拟数据无法保证模型在真实场景中的泛化能力。此外，尽管之前的监督学习方法已做了诸多努力，仍无法生成与真实沙尘图像特征完全一致的模拟图像。另一方面，无监督学习方法虽然无需模拟数据，但这些模型往往结构复杂，训练过程繁琐。而且，它们生成的無尘图像细节往往模糊，相比监督学习方法，无法有效恢复图像中被遮挡的结构。

半监督学习[35]为提升模型性能提供了有希望的折中方案，它能够利用成对数据和不成对数据。通过结合这两种数据，模型可以学习更强大的表示能力，从而减少对模拟数据噪声或偏差的敏感度。此外，现有的沙尘图像增强网络通常采用分层结构，即利用编码器网络获取潜在空间，再利用解码器网络将潜在空间转换回无尘图像，其结构类似于U-Net[36]。然而，这种结构主要关注局部信息，可能导致对长距离依赖关系和全局上下文信息的建模不足，而这两者对于理解整体场景结构至关重要。受半监督学习以及局部到全局特征图概念的启发，我们提出了一种半监督沙尘图像增强方法SSDIE-Net，该方法利用基于注意力机制的多尺度特征融合网络来生成无尘图像。SSDIE-Net从不同尺度提取浅层特征，高分辨率特征图用于提取精细的细节和纹理，而低分辨率特征图则侧重于提取全局特征。不同尺度下提取的特征图通过基于注意力机制的方式结合，用于恢复场景细节并提升图像质量。此外，SSDIE-Net的学习过程基于两种核心策略：利用监督学习恢复场景细节，以及利用无监督学习通过将沙尘图像转换到清晰图像域来生成无尘图像。

在监督分支中，SSDIE-Net使用少量模拟沙尘图像进行训练，以避免模型过度拟合于模拟数据。为了生成模拟沙尘图像，我们将传统图像修复技术[11]与条件生成对抗网络[cGAN][37]相结合，重点考虑单目图像的空气光分布、灰尘密度以及深度图等关键特征。这种方法能够模拟不同场景深度下空气光分布和灰尘密度的真实变化，从而提高模拟数据的真实性和准确性。相比以往的监督学习方法，我们的方法优势在于使用了有限的模拟数据以及合理的生成流程。这一监督分支确保了模型能够恢复沙尘图像的结构和细节，同时在一定程度上提升了其在真实数据上的泛化能力。

在无监督分支中，SSDIE-Net通过一致性正则化、回归最小化、伪标签机制以及对抗学习，确保能够利用未标记数据在清晰图像域中稳定生成无尘图像。一致性正则化能够保证在對输入图像进行特定增强或扰动后，SSDIE-Net的输出仍然保持一致。通过降低模型对输入噪声的敏感度，该方法提升了SSDIE-Net的稳定性和适应性。此外，回归最小化旨在根据真实世界清晰图像的统计特性来优化SSDIE-Net。我们利用暗通道先验这一可靠的统计特性，使生成的图像与真实世界清晰图像保持一致。为此，SSDIE-Net还借助预训练的暗通道先验/沙尘分类器的反馈来优化自身性能。由于模拟数据无法完美模拟真实场景，SSDIE-Net可能在恢复复杂场景细节方面存在困难。伪标签机制是半监督学习中的关键策略，它为未标记数据生成伪标签，从而提供弱监督。这些伪标签使得模型能够从未标注样本中学习有意义的特征，就像这些样本已被标注一样。为此，我们采用传统的Retinex模型[38]来生成未标记沙尘图像的增强版本，这些增强版本便作为伪标签。这有助于SSDIE-Net从未标记数据中提取有意义的特征，从而通过弱监督学习提升性能。此外，对抗学习还能确保生成的無尘图像具有真实性，并与清晰图像域保持一致。

我们在真实场景中展示了所提方法的有效性，凸显了其在提升计算机视觉应用性能方面的优势。通过定量实验，我们证明了该方法的性能优于现有的先进技术，进一步体现了其优越性。因此，我们的贡献如下：
• 我们提出了一种双分支训练策略，将监督学习与无监督技术相结合。尽管缺乏成对训练数据，该策略仍能提升模型在真实场景中的泛化能力。
• 我们设计了一种基于注意力机制的多尺度特征融合网络，能够有效学习从局部到全局的表示能力，从而提升沙尘图像中的精细细节和全局结构信息。
• 为将沙尘图像转换为清晰图像，我们在无监督分支中采用了一致性正则化、基于暗通道先验的回归最小化、基于Retinex模型的伪标签机制以及对抗学习。
• 我们结合了传统图像修复技术与条件生成对抗网络，生成近乎真实的模拟沙尘图像，从而提高了训练数据的真实性和多样性，同时减少了模型对模拟数据的过度拟合。

本文第二节将回顾传统的以及基于学习的沙尘图像增强方法。第三节详细介绍我们所提出的方法。第四节分析该方法的性能表现。最后，第五节对全文进行总结。

**章节摘录**
**传统方法**
基于修复的沙尘去除方法的主要目标是根据光学物理模型[11]准确估算沙尘图像的空气光分布和传输映射。例如，[13]提出了一种修复技术，该技术将大气散射模型与信息损失约束相结合。该方法最初根据一般的散射原理和灰度世界假设来确定局部场景内容，进而调整空气光分布的估算值。

**所提方法**
本节详细介绍了所提出的沙尘图像增强方法。SSDIE-Net通过两个监督分支和无监督分支来训练一个映射函数G(·)，以此提升沙尘图像的质量。监督分支利用成对的模拟沙尘图像和清晰图像提供直接的像素级指导，帮助映射函数学习准确的特征映射并恢复精细的细节。在模型训练的早期阶段，这种指导尤为重要。

**实验结果**
本节首先介绍实验设置，然后分析由S(x)生成的模拟沙尘图像。接着，我们评估SSDIE-Net在提升真实沙尘图像质量方面的性能。此外，我们还将SSDIE-Net的定量和定性结果与现有的传统方法以及先进的基于学习的方法进行比较，以证明其优越性。同时，我们对SSDIE-Net的核心组件进行了消融研究。最后，……

**结论与未来工作**
本文提出了一种半监督框架，用于沙尘图像增强，旨在克服监督学习和无监督方法各自的局限性。在监督学习领域，SSDIE-Net通过使用有限的模拟沙尘图像，并结合?1距离、感知损失和风格损失等监督损失函数，来恢复细节。该模型结合了传统的图像恢复模型与cGAN技术，以此有效生成沙尘图像。