基于多分支融合框架的高保真水下图像增强

《Optics and Lasers in Engineering》：High-fidelity underwater image enhancement using a multi-branch fusion framework

　　

• •
  一种融合方法结合了特征靶向输入和精化的权重图。
• •
  四流增强方法针对不同退化问题进行解决。
• •
  一种新颖的对比度增强模块提升了图像的对比度和饱和度。
• •
  快速高效的去噪和锐化模块可去除噪声并增强边缘。
• •
  去雾与恢复模块有效去除雾气并恢复原始颜色。
• •
  与现有方法相比，证明了其优越性能。

引言

近几十年来，由于研究、探索和利用水下资源的需要，海洋活动呈现爆炸式增长[1]。因此，对高质量海洋图像的需求日益增加。此外，生动的图像有助于对复杂水生栖息地进行广泛的分析和理解[2]。长期以来，水下图像已被用于感知和理解可用于海底测绘、垃圾检测以及海洋物体和物种识别的水生信息[1]、[3]、[4]。然而，浑浊的海水和海底颗粒会选择性吸收和散射光线，导致图像质量下降，并且随着深度的增加而引入图像噪声[4]、[5]、[6]。此外，海洋摄影师使用人造光源来提高能见度，但无意间加剧了水下光散射。而且，波长依赖性退化对红色和橙色波长的影响大于较短的蓝色和绿色波长[7]。因此，随着水深的增加，所采集的水下图像可能呈现绿色或蓝色，并且会出现颜色失真、对比度降低和亮度下降的情况[6]、[7]。

专用的海洋摄影设备可以捕获包含大量物体细节的生动水下图像，从而基本上抑制后散射的负面影响并提高最终图像的质量[8]。然而，成像硬件成本高昂且不适合微型水下机器人。相反，由于成本低且方法多样，图像处理技术通常用于图像增强。水下图像增强（UIE）技术致力于解决颜色衰减、边缘锐化以及对比度和亮度调整等问题[9]。研究人员已探索恢复方法、增强方法和深度学习技术，以解决颜色失真、对比度降低和亮度下降的问题。

恢复方法试图通过强假设来模拟水的物理特性，这严重限制了其可扩展性和鲁棒性[10]、[11]、[12]、[13]。相比之下，增强方法通过数学模型和统计技术直接修改像素来增强图像质量。然而，这些技术忽视了潜在的纹理信息，可能导致图像失真、噪声放大和过度饱和[13]、[14]、[15]、[16]。人们提出了深度学习（DL）技术，并取得了优异的图像增强效果。监督式深度学习算法需要退化图像和参考图像的训练和测试数据集，而这些数据集通常是通过合成生成的，且十分稀缺。然而，人工生成的数据集可能无法复制真实的水下场景，因为不同类型的水体具有不同的衰减效果。此外，鉴于水下环境的复杂性和数据集的稀缺性，训练好的模型可能无法适应不同的水下环境。鉴于水下场景的复杂性，单一的UIE方法可能无法完全解决水下图像退化问题[8]、[17]、[18]。此外，从同一水下图像的不同版本中获得的特征和信息存在固有局限性，这实际上限制了UIE算法的效果[8]。因此，可以利用图像融合方法，通过整合多种方法的输出来发挥基于恢复的方法和非物理方法的优势[19]。尽管现有的基于融合的研究工作已在水下图像增强方面展示了良好的性能[20]、[21]、[22]、[23]，但这些方法产生的图像存在噪声或增强不足的问题。此外，这些技术采用一步或两步融合策略，因此在环境噪声和散射共存的情况下往往难以处理，通常以牺牲一种属性为代价来增强另一种属性[21]、[22]。

为了解决上述问题，本文提出了一种新颖的海洋图像增强方法，利用多曝光融合（MEF）将具有不同特征的细化图像进行融合，以生成生动的水下图像。首先，该方法从退化的输入图像生成颜色校正图像，以解决颜色退化问题，恢复颜色一致性，并增加图像的动态范围。随后，该方法增强颜色校正图像的对比度，生成两张对比度增强图像，从而增强图像的生动性和亮度。在此之后，该技术通过对颜色校正图像进行去噪和锐化处理，生成去噪锐化图像，以解决噪声和模糊问题。然后，该方法利用环境光和透射率估计对颜色校正图像进行去雾和颜色恢复，以解决雾气问题并恢复颜色。最终，两张对比度增强图像、去噪锐化图像以及最佳去雾恢复图像通过MEF进行融合，生成高质量的水下增强图像。

与现有的基于融合的方法相比，本文使用的四流并行增强框架生成了四个不同的特征靶向输入，并利用自适应的良好曝光度、颜色梯度和显著性权重图来识别和选择细化图像中的最佳特征。为了解决水下图像对比度低和颜色暗淡的问题，本文提出了一种新颖的对比度增强方法，该方法在不放大噪声或扭曲颜色的情况下增强颜色饱和度和亮度。所提出的方法在视觉质量和定量指标方面均优于现有方法。

第2节回顾了现有的水下图像增强文献。第3节深入讨论了所提出的方法，第4节展示了实验结果并将其与现有研究进行对比。第5节总结了本文的工作并提出了未来的研究方向。

章节摘要

相关工作

水生科学与工程研究的快速发展要求采集清晰、高质量的图像用于科学研究。研究人员已研究并开发了新的UIE技术以促进可靠和广泛的海洋研究。这些方法分为基于物理模型的方法、增强方法和基于学习的算法。基于恢复的方法依赖于水生光传输的强假设和物理模型。另一方面

方法

本文提出了一种新颖的水下图像增强方法，利用多曝光融合（MEF）融合四张细化图像和四张精化权重图，生成高质量的水下增强图像。该方法首先利用颜色校正方法，通过颜色补偿、白平衡和线性拉伸来校正退化输入图像的颜色偏移，从而生成颜色校正图像。随后，该方法将RGB图像转换为HSV格式并生成两个

结果与讨论

通过在多个水下图像数据集上进行广泛实验来评估所提出方法的性能。传统方法和深度学习实验分别在配备AMD Ryzen 5 5600H CPU、16GB内存和RX6500 GPU的计算机以及配备Intel i9-10900K CPU、32GB内存和Nvidia Quadro P2000 GPU的计算机上进行。使用UIEB [38]、LSUI [53]和EUVP [54]数据集来构建本文的数据子集。UEIB包含950张具有不同程度退化的真实海洋图像

结论与未来工作

本文提出了一种水下图像增强方法，对退化的水下图像进行增强以交付最终的增强图像。该方法利用颜色补偿、白平衡和对比度拉伸来校正退化的颜色。随后，该方法通过对颜色校正图像的S通道和V通道应用CLAHE生成两张对比度增强图像。同时，利用非局部均值从颜色校正图像生成去噪锐化图像

CRediT作者贡献声明

Humphrey Oboso Menge：写作 – 审阅与编辑，写作 – 原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。Vishnukumar S.：写作 – 审阅与编辑，写作 – 原始草稿，可视化，验证，监督，资源，项目管理，方法论，调查，形式分析，数据管理，概念化。

利益冲突声明

作者声明，他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

Humphrey Oboso Menge | Vishnukumar S.