一种基于频率解耦的水下图像增强方法，用于进行色彩校正和细节增强

《Digital Signal Processing》：A color correction and detail unlocking underwater image enhancement method based on frequency decoupling

针对水下图像增强中低频与高频特征耦合处理不足的问题，提出基于频率解耦的增强网络DFCEnhanceNet。通过小波变换分离图像低频（色彩结构）和高频（纹理细节）成分，分别设计CCFormer和FFSCANet分支进行优化，实验表明该方法在UIEB和LSUI数据集上显著提升色彩恢复、对比度及细节保留性能。

　　

裴莉|王战豪|肖月雪|杨发|潘晓颖|王燕

西安邮电大学计算机科学与技术学院，中国西安，710121

摘要

水下图像经常受到光的选择性吸收和散射的影响，导致图像模糊、颜色偏移和细节退化。水下图像的低频成分主要反映了图像的结构和颜色分布，而高频成分则富含纹理细节和边缘信息。本文提出了一种基于频率解耦的水下图像增强网络DFCEnhanceNet，该网络将图像分解为低频和高频成分后，分别为低频分支CCFormer（用于建模全局颜色信息）和高频分支FFSCANet（结合快速傅里叶残差块和空间通道的注意力机制）来处理不同频率的成分，重点关注纹理细节的恢复。实验表明，本文的方法在多个公开可用的水下图像数据集上优于现有方法，显著提高了颜色再现、对比度和细节保留性能。消融实验进一步验证了频率解耦策略及各子模块设计的有效性。

引言

海洋资源丰富，生物多样性多样，已成为当今全球战略关注的核心领域。水下成像在海洋探索和研究中发挥着关键作用，无论是深海探索[1]还是对水下管道、沉船和自主水下车辆等基础设施的检查[2]，都依赖于清晰、高质量的信息。然而，复杂的水下环境会导致严重的图像退化问题，包括颜色偏移、对比度低和雾效应[3][4]，这极大地限制了水下任务的效率。

水下图像质量的退化主要源于光在水中传播过程中的吸收和散射。当光从空气进入水中时，会经历吸收和散射过程。由于红光的波长较长，它首先被吸收，这使得水下图像呈现出典型的蓝绿色调。此外，水中悬浮颗粒引起的散射（包括前向和后向散射）进一步降低了图像质量[5][6]。为了解决这些问题，水下图像增强（UIE）技术应运而生。

近年来，水下图像增强领域的研究工作发展迅速，出现了许多新方法。这些方法显著提高了水下图像的质量，使其更适合用于各种应用场景，如水下检测、监控和目标识别。这些方法大致可以分为三类：基于物理模型的方法、基于非物理模型的方法和基于深度学习的方法。基于物理模型的方法通常依赖于对水体参数、光照信息甚至相机的先验知识的准确估计。尽管基于非物理模型的方法避免了依赖复杂的成像参数，提高了适用性和计算效率，但大多数方法仍以图像域处理为主，难以准确区分不同频率下的特征衰减，并且需要多张图像或外部设备辅助采集，限制了其实用性。在基于深度学习的方法中，可以大致分为以下几类：卷积和残差网络类方法（如UWCNN[7]、UIEC2-Net[8]和LiteEnhanceNet[9]），它们分别利用残差学习和密集连接结构、RGB-HSV多分支融合以及轻量级可分离卷积来实现图像恢复和实时处理；基于变换器和注意力机制的方法（如U-shape[10]、SGUIE-Net[11]和UWFormer[12]），通过通道和空间融合、多尺度语义增强以及频率感知注意力等策略有效提升了颜色再现和结构清晰度；生成对抗和概率建模方法（如WaterGAN[13]、PUGAN[14]和PUIE-Net[15]），分别融合深度信息、物理成像模型和条件变分自编码器，并引入不确定性建模以增强图像的真实感；颜色校正和融合机制类方法（如CCMSR-Net[16]、Inception-CAM网络[17]和Cooperative Enhancement Network[18]），通过多尺度Retinex推理、颜色恢复阶段和特征匹配机制有效缓解了水下图像的颜色偏移和模糊问题。此外，一些方法侧重于模型的泛化能力与感知质量的结合，例如周等人提出的混合对比学习方法[19]通过非配对样本提高了鲁棒性，李等人提出的质量感知框架将深度图引导与空间注意力机制相结合以优化主观视觉质量；Kang等人提出的SPDF框架也从感知驱动的角度实现了图像在不同维度上的结构分解和重建。Subramani等人[22]通过像素强度优化、纹理增强和上下文对比度增强恢复了水下图像的真实颜色并提高了局部和全局对比度；Bhandari等人[23]通过分离低曝光和高曝光区域并结合加权直方图均衡与双伽马校正来增强图像对比度和亮度平衡；Veluchamy等人[24]构建了模糊差异直方图（FDH），整合了裁剪和伽马校正，并进一步采用上下文强度变换来恢复图像的自然特征，从而增强了颜色和局部对比度；Subramani等人[25]使用曝光加权伽马校正增强了低对比度图像的细节，并通过布谷鸟搜索算法优化了伽马参数以改善对比度和自然颜色表现；Ma等人[26]提出了FusionGAN，这是一种端到端的红外和可见光图像融合方法，生成器保留了红外热辐射信息，同时引入了可见光纹理细节，判别器限制了细节的忠实度，生成了细节丰富、噪声低的清晰融合图像。尽管现有方法在水下图像增强方面取得了进展，但仍存在一些显著的局限性。典型的多分支融合方法（如WaterNet[27]）主要在空间域进行特征增强，缺乏对不同频率成分的显式建模，难以在复杂场景中同时实现准确的颜色恢复和细节增强。基于生成对抗网络的方法（如FusionGAN[26]）可以在一定程度上提高视觉质量，但由于依赖分布学习，在具有挑战性的水下环境中容易出现颜色不一致和细节失真。此外，大多数现有方法无法有效分离低频颜色信息和高频纹理细节，导致全局颜色校正与局部细节保留之间存在持续的权衡。

为了解决上述问题，本文从频域建模的角度提出了一种基于频率解耦的水下图像增强方法。与主要依赖空间域特征学习的现有方法（如WaterNet[27]）不同，所提出的方法通过小波变换将输入图像分解为低频和高频成分，并为 targeted 建模设计了专门的增强分支。具体来说，低频分支专注于建模全局颜色和结构信息，而高频分支强调纹理细节和边缘恢复，从而实现了颜色校正和细节增强的协同优化。这种设计有效弥补了现有方法在机制层面频率信息利用不足的问题，显著提高了复杂水下场景下的增强性能。本文的主要贡献如下：

• •
  为了解决现有方法主要依赖空间域建模且缺乏频率信息显式利用的局限性，提出了一种基于频率解耦的水下图像增强框架DFCEnhanceNet。通过使用DWT，将输入图像分解为低频和高频成分，实现了对不同退化特征的 targeted 建模。
• •
  为了解决水下图像的全局颜色失真和光照不均匀问题，设计了一个低频增强分支CCFormer，用于对低频特征进行全局建模，从而有效改善了颜色恢复和对比度。
• •
  为了解决高频细节丢失和噪声放大问题，引入了一个高频增强分支FFSCANet。通过整合频域选择性注意力和通道注意力机制，该分支实现了细节增强和噪声抑制之间的平衡。
• •
  广泛的实验结果表明，所提出的方法在多个数据集上优于现有的最先进方法，验证了频率解耦策略的有效性。

方法

在传统的频率分割处理方法中，仅使用浅层分支，缺乏显式的频率特征解耦建模和 targeted 增强策略。为了更充分地探索和利用不同频率成分的潜在信息，提出了基于频率分割处理的DFCEnhanceNet。首先描述了DFCEnhanceNet的总体架构（第2.1节），然后介绍了所提出的低频处理

实验设置

数据集：本研究选择了两个代表性数据集UIEB[27]和LSUI[32]进行训练和测试。UIEB包含890对真实水下图像及其手工选择的高质量参考图像，其中800对作为训练集，90对用于测试（Test-U90）；另外还有60张无参考图像用于测试（Test-C60）。LSUI数据集包含4279对真实配对图像。

结论

本文提出了一种基于解耦的水下图像增强网络DFCEnhanceNet，用于解决水下图像中常见的颜色失真、对比度低、模糊和细节缺失问题。将图像分解为低频和高频成分后，分别设计了低频增强分支CCFormer和高频细节解锁分支FFSCANet，以建模和增强颜色分布和局部纹理细节。

作者贡献声明

裴莉：资金获取、监督。 王战豪：方法论、验证、形式分析、撰写——原始草稿、可视化。 肖月雪：监督。 杨发：资金获取。 潘晓颖：资金获取。 王燕：资金获取。

利益冲突声明

我没有任何需要声明的利益冲突。