基于纹理-结构与色彩增强网络的水下图像增强技术

《Optics and Lasers in Engineering》：Underwater image enhancement based on texture-structure and color enhancement networks

　　

Kaiwen Li|Zhuoqun Chen|Long Wang|Li He

深圳大学机电与控制工程学院，中国广东省深圳市518060

摘要

基于深度学习的水下图像增强（UIE）方法可以分为监督学习和无监督学习两类。前者严重依赖于配对数据的质量，而后者通常需要手动构建的伪参考图像。然而，大多数现有方法忽略了基于水下成像物理机制的图像结构特征建模，导致泛化能力有限、结构保真度不足以及鲁棒性差。为了解决这些问题，我们提出了一种无监督方法——无监督结构感知颜色增强网络（USCENet）。通过结构引导和多颜色空间融合，该方法构建了适应场景的增强先验，并采用条件变分自编码器来建模不确定性。然后使用概率自适应实例归一化机制来对齐先验和后验统计信息，从而提高稳定性和多样性。此外，引入了颜色一致性损失来强制色彩平衡并纠正水下蓝绿色偏差，实现了有效的水下图像恢复。实验在八个数据集上进行，并与十种主流方法进行了比较，结果表明USCENet在视觉质量、结构保真度和鲁棒性方面表现优异。在配对数据集上，该方法获得了出色的PSNR和SSIM分数；在非配对数据集上，NIQE和BRISQUE指标证实了其在各种场景下的强感知质量和鲁棒性。这种方法可以有效增强水下图像，并为高保真度的水下观测任务提供技术支持，例如监测海洋生态系统和精细海底测绘，在这些任务中，保持结构完整性比单纯的可见性增强更为重要。

引言

对水下场景进行精确的光学成像对于先进的工程应用至关重要，它是海底测绘、海洋生态系统监测和地质资源评估的基础[1]。为了确保这些水下光学系统的测量准确性和操作效率，必须获得高保真度的视觉数据[2]。然而，由于水的复杂光学特性，水下图像常常存在颜色失真、对比度降低和细节模糊的问题[3]。主要原因在于水中光的吸收系数随波长增加而增加，其中红光的吸收系数是蓝光的十倍以上，导致红通道信息严重衰减，并在水下图像中出现典型的蓝绿色偏差[4],[5]。此外，水中悬浮颗粒的散射进一步降低了图像清晰度。因此，在复杂环境中实现鲁棒的水下图像增强（UIE）仍然是一个亟待解决的问题。

近年来，UIE领域逐渐从传统的物理建模方法转向深度学习方法。传统方法基于水中的光散射和吸收物理定律构建增强模型。例如，最近的变分框架成功整合了双重高阶正则化，以平滑局部环境光并恢复结构反射率[6]。除了物理模型外，还广泛探索了基于统计和融合的先验方法。像MLLE这样的方法通过最小颜色损失原则实现快速颜色校正和局部自适应对比度[7]，而其他方法则通过融合对比度增强的前景和去雾背景的主成分来重建高可见度图像[8]。尽管这些方法具有较高的可解释性，但其参数设置不易适应复杂场景，这往往导致过度增强或细节丢失。随着大数据和计算硬件的发展，基于深度学习的方法已成为近期研究的主流范式。这些方法特别包括使用CNN、GAN以及最近的生成扩散模型的监督模型。例如，最近的研究探索了轻量级架构以减少计算需求[9]，整合了物理感知知识来指导扩散过程[10]，并采用考虑不确定性的学习与颜色色调重新校准来处理多样化的空间退化[11]。具体来说，通过学习从输入图像到理想增强图像的非线性映射，这些方法在颜色恢复和细节恢复方面取得了显著进展[12],[13],[14]。然而，这些方法通常依赖于大量的配对数据。为了缓解这一问题，一些方法尝试通过应用自适应颜色校正将水下图像转换为陆地模糊模型来生成伪真实图像[15]。尽管付出了这些努力，但在相同拍摄条件下获取退化图像及其对应的清晰参考图像仍然是一个重大挑战，从而阻碍了高质量配对数据的收集，并限制了模型的泛化能力。

为此，提出了多种无监督和弱监督学习方法来减少对配对训练数据的依赖，包括UW-CycleGAN[16]、RUGAN[17]和基于对比学习的自监督UIE方法[18]。这些方法通过生成伪参考图像或强制非配对输入之间的语义一致性来减轻对配对数据的依赖。然而，在高浑浊度的水下场景中，这些方法容易受到噪声干扰，导致边缘模糊和难以恢复精细纹理等结构细节。此外，它们对特征性水下蓝绿色偏差的校正往往不准确。为了克服参考图像的缺乏，UDNet[19]采用了多颜色空间拉伸进行无监督增强。然而，该方法忽略了水下光散射的空间异质性，经常在密集水下目标区域导致颜色失真。其蓝绿色偏差校正也受到拉伸策略的限制，仍然不够理想，同时结构和纹理细节难以保留。因此，开发适用于复杂水下环境的无监督学习方法以提高结构保真度、鲁棒性和颜色准确性至关重要。

现有方法存在几个局限性，包括依赖配对数据、无法充分恢复模糊边缘和精细纹理、蓝绿色偏差校正不准确以及在高浑浊度水下场景中容易受到颜色失真的影响。为了解决这些挑战，本文介绍了一种端到端的无监督结构感知颜色增强网络（USCENet）。首先，设计了一个结构感知颜色增强子网络（SACESN）来提取场景几何结构并生成指导图，为颜色校正提供空间约束；这提高了增强过程中的细节和边缘清晰度，并确保了结构保真度。其次，通过结合具有物理意义的颜色先验，我们明确校正了水下光学退化（如红光衰减和蓝绿色偏差），实现了更准确、更鲁棒的颜色校正，并避免了颜色溢出。最后，通过使用条件变分自编码器（cVAE）和概率自适应实例归一化（PAdaIN）模块，我们对潜在空间中的复杂退化分布进行了建模，从而提高了模型对光照和浑浊度等环境因素的适应性。本文的主要贡献如下：

• •
  我们提出了无监督结构感知颜色增强网络（USCENet），该网络训练不需要配对数据。通过结合cVAE和PAdaIN，该方法概率性地建模退化，消除了对手动构建的伪参考图像的需求，从而提高了模型的泛化能力。cVAE和PAdaIN的结合进一步增强了跨域鲁棒性。
• •
  我们构建了一个图像-结构-物理机制关联模型，并设计了SACESN模块。通过结构引导和多颜色空间融合，SACESN提高了边缘细节的保真度。通过提取场景几何结构，它解决了现有方法中存在的结构保真度不足的问题。
• •
  为了解决校正水下蓝绿色偏差的不准确性，我们引入了基于灰度世界理论的颜色一致性损失，该损失限制了R、G和B通道的平均值以实现平衡。这种损失特别校正了蓝绿色偏差，并弥补了先前工作中缺乏的物理一致性。

章节片段

相关工作

为了减轻水下成像的严重退化，近期文献探索了从精细物理模型到先进深度学习架构的各种范式。例如，最近的基于物理的方法明确将局部对比度测量嵌入水下成像模型中，以精细传输图并稳定恢复场景可见性[20]。同时，还提出了高效的统计和融合方法以实现实时性能

方法

为了解决现有无监督UIE方法的实际局限性——即颜色校正和结构保真度之间的协同作用不足，以及先验引导的适应性差——本节系统地介绍了所提出的USCENet的完整框架及其核心设计逻辑。首先，阐明了该方法的主要概念，强调了网络设计背后的动机及其主要解决方向。接下来，介绍了整个网络

实验设置

本研究在八个公共数据集上评估了模型性能，分别是EUVP [30]、UFO [31]、UIEB [32]、RLUI [33]、SUIM [34]、U45 [35]、C60 [32]和UCCS [36]，详细信息见表1，涵盖了配对和非配对图像场景。其中，EUVP、UFO和UIEB包含配对和非配对图像，而其余数据集仅包含非配对图像。UIEB数据集包含890张水下图像，涵盖六个场景，包括淡水、海水、高浑浊度等

结论

本文通过提出USCENet解决了配对数据稀缺、结构保真度不足和鲁棒性有限的挑战。虽然监督方法在特定数据集上可能取得高分数，但在实际任务中由于缺乏配对真实图像，其部署受到严重阻碍。USCENet的贡献在于其零参考能力，利用随机候选机制在数据收集成本高昂或不可能的情况下实现鲁棒泛化。

CRediT作者贡献声明

Kaiwen Li：撰写——原始草稿、验证、软件、方法论、调查、形式分析、数据管理、概念化。Zhuoqun Chen：撰写——审阅与编辑、验证、形式分析。Long Wang：监督、资源管理、形式分析、数据管理。Li He：撰写——审阅与编辑、监督、项目管理、资金获取、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中国国家重点研发计划（项目编号2022YFB3904602）和深圳市科技计划（项目编号JCYJ20220818095816035）的支持。