U-CARNet：一种轻量级的水下色彩自适应修复网络，用于高保真度的水下图像增强

《Neurocomputing》：U-CARNet: A lightweight underwater chromatic-adaptive restoration network for high-fidelity underwater image enhancement

　　

陈旺根|陈尔康|陈鹏|沈志伟|张志吉

中国福建省厦门市集美大学海洋信息工程学院，邮编361021

摘要

水下图像常常因波长选择性衰减和散射而出现严重的颜色失真、对比度低以及后向散射噪声。为在保持实时处理效率的同时解决这些问题，本文提出了U-CARNet，这是一种轻量级的水下彩色自适应恢复网络，可用于高保真水下图像增强。U-CARNet采用从全局到局部的彩色补偿策略，包含三个关键模块：用于全局色调和通道校准的全局颜色校正模块（GCRM）、用于轻量级局部残差精细处理的频率感知残差块（FARB），以及用于调节跳连特征通道与空间关系的自适应特征融合门（AFFG）。这些模块在紧凑的编码器-解码器架构中共同作用，增强衰减后的颜色信息，抑制浅层后向散射干扰，并保留结构细节。在LSUI、EUVP、UFO-120和UIEB数据集上的大量实验表明，U-CARNet在统一评估标准下表现出与现有方法相当的性能，而在U45数据集上的零样本评估进一步验证了其在无参考水下图像上的泛化能力。该模型仅有1.105百万个参数和7.86 GFLOPs的计算量，在RTX 4060 Ti上处理256×256分辨率的图像仅需0.034秒，实现了良好的增强效果与计算效率之间的平衡。这些结果表明，U-CARNet是资源受限平台上的实用水下视觉应用的有力解决方案。

引言

水下图像在海洋勘探、海洋生物学研究、水下机器人技术以及水下考古学等领域具有重要的应用价值。然而，光在水介质中的传播会因强烈的波长选择性衰减和散射而导致图像质量下降，表现为颜色失真、对比度低、出现雾状伪影以及能见度大幅降低[1]、[2]。尤其是长波长光（尤其是红光）的快速衰减会导致明显的蓝绿色调，而悬浮颗粒引起的后向散射则会进一步降低成像质量，使得原始水下图像无法满足人类视觉感知以及物体检测、语义分割等高级视觉任务的需求[3]。

近年来，出现了许多水下图像增强与恢复方法，主要可分为三类：基于非物理模型的方法[4]、[5]，基于物理模型的方法[6]、[7]，以及基于深度学习的方法[8]、[9]、[10]、[11]、[12]。非物理模型方法（如直方图均衡化和基于Retinex的算法）虽能提升视觉质量，但往往会导致不自然的颜色偏移或过度增强。基于物理模型的方法试图通过简化后的成像模型进行反演，但却高度依赖传输映射和衰减系数的精确估计，在复杂多变的水下环境中稳定性较差。随着深度学习的兴起，卷积神经网络和Transformer架构在水下图像恢复任务中展现了更优异的性能[10]、[11]、[12]。不过，现有的大多数深度学习模型存在计算复杂度高、参数量大以及推理速度慢等问题，难以在自主水下航行器（AUV）和遥控潜水器（ROV）等资源受限的水下平台上实现实时应用。

除了计算负担之外，现有的基于学习的水下图像增强方法在退化建模方面也存在局限。许多模型将水下图像增强视为一般的低级恢复任务，而水中由波长决定的衰减现象既会导致全局颜色失衡，也会造成局部色彩失真。因此，这类方法虽然能够纠正整体色调，却无法恢复局部衰减的细节，或者在复杂光照条件下对某些颜色通道过度补偿。此外，若不进行适应性调节，编码器-解码器结构中的直接跳连可能会将浅层后向散射噪声及蓝绿色偏差传递到解码器中。

为了在较高的恢复质量与实时性能之间取得平衡，设计轻量级且高效的网络已成为重要的研究方向。近年来出现的PUIE-Net[11]、Ucolor[12]和LU2Net[13]等轻量级方法在一定程度上缩小了模型规模，但要么牺牲了较大的恢复精度，要么即便在高端GPU上也无法实现真正的实时处理。更重要的是，很少有研究能够从全局与局部相结合的角度系统地解决水下成像中的核心色彩失真问题，同时还能保持较高的计算效率。

基于以上分析，一个有效的轻量级水下图像增强模型不应仅仅着眼于减少参数数量或缩短推理时间，还应建立全局色彩先验，修正由波长衰减引起的局部残差色彩失真，并通过自适应的门控机制调节跳连特征的融合，从而抑制浅层退化伪影。基于这些需求，我们设计了从全局到局部的彩色补偿策略以及自适应门控融合机制，以此在保持计算效率的同时提升图像恢复的精度。

本文提出了U-CARNet（水下彩色自适应恢复网络），这是一种专为实时高保真水下图像增强而设计的轻量级编码器-解码器网络。其核心在于一种从全局到局部的双重路径彩色自适应补偿机制：位于瓶颈处的全球颜色校正模块（GCRM）通过混合的通道-空间注意力机制与自适应一维卷积，一步即可显著重新加权严重衰减的红光通道；解码器早期阶段的频率感知残差块（FARB）则利用针对各通道的可学习频率缩放因子，进一步根据物理衰减规律精准补偿颜色偏差；而解码器各阶段存在的自适应特征融合门（AFFG）则可动态抑制浅层后的散射噪声，避免污染恢复后的颜色信息。这些组件协同作用，可实现自然且稳定的红光通道重建，并保持整体色调的一致性。本文的主要贡献如下：

• 1.
  提出了一种从全局到局部的双重彩色补偿机制，通过在瓶颈处设置全球颜色校正模块（GCRM），并在解码器早期引入频率感知残差块（FARB），从而实现符合物理规律的红光通道恢复。
• 2.
  设计了自适应特征融合门（AFFG），用于动态抑制浅层特征中的后向散射噪声，确保在整个解码过程中恢复后的颜色信息保持完整。
• 3.
  构建了一种仅含1.105百万个参数的紧凑型编码器-解码器架构，既能在统一评估标准下保持较高的恢复精度，又可实现实时推理。
• 4.
  在LSUI、EUVP、UFO-120和UIEB数据集上进行的广泛实验，以及在U45数据集上的零样本评估，均表明U-CARNet在传统方法、近期方法以及轻量级方法中，展现了出色的性能与效率平衡。

章节节选

水下图像增强方法

水下图像增强一直是水下视觉研究的基础，传统方法主要致力于缓解光衰减和散射带来的图像质量下降问题。早期的方法可分为三类：图像融合技术、直方图均衡化变体以及受Retinex理论启发的模型。例如，将暗通道先验与白平衡技术相结合的图像融合方法[1]，可通过估算传输映射来有效去除水下图像的雾状干扰

方法

本章介绍了U-CARNet，这是一种专为高保真水下图像增强而设计的轻量级编码器-解码器网络。3.1节首先介绍了该网络的总体架构及其核心模块之间的协同工作机制，随后3.2节、3.3节和3.4节分别详细描述了全球颜色校正模块（GCRM）、频率感知残差块（FARB）以及自适应特征融合模块的结构、工作流程及参数变化情况

数据集

为验证U-CARNet的有效性与泛化能力，本研究在四个成对的水下图像增强基准数据集上进行了实验，包括LSUI、EUVP的三个子集、UFO-120以及UIEB。此外，还使用了U45作为额外的无参考数据集进行零样本评估，无需进行额外的训练或微调。研究还将该模型与现有的代表性水下图像增强方法进行了定量与定性比较。在模块消融实验中，则仅使用了LSUI数据集

结论

本文提出了U-CARNet，这是一种旨在平衡图像恢复精度与计算效率的轻量级水下图像增强网络。通过结合全局颜色校正、局部残差精细处理以及通道-空间门控特征融合机制，该模型能够在紧凑的编码器-解码器架构中有效解决全局颜色偏色、局部色彩失真以及浅层后向散射噪声等问题。在LSUI、EUVP、UFO-120和UIEB数据集上的实验，以及针对其他数据集的零样本评估结果均表明

未引用参考文献

[16]

CRediT作者贡献说明

陈旺根：论文撰写——初始草稿、可视化呈现、方法设计、形式分析、概念构思。陈尔康：监督指导、资金筹措。陈鹏：监督指导、资金筹措。沈志伟：监督指导、资源协调、资金筹措。张志吉：数据整理工作。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究得到了“复杂场景下图像匹配方法研究”项目（编号ZQ2024060）的支持。

陈旺根目前就读于集美大学，攻读硕士学位，主要研究方向为基于深度学习的水下图像增强技术。