针对水下图像修复的增强型GAN（基于红通道技术）

《Franklin Open》：Red Channel-Enhanced GAN for Underwater Image Restoration

　　郝章|文鹏章|刘雅静|安永利
华北科技大学人工智能学院， Tangshan 063210，中国

摘要
水下图像通常呈现出蓝绿色调，这是由于水的吸收和散射效应造成的，尤其是在深水环境中，红光波长容易被吸收，导致红色通道信息的丢失。这反过来影响了图像的颜色和细节。为了解决这个问题，本文提出了一种基于GAN的模型，并通过增强红色通道来改进该模型。该模型利用U-Net自动编码器从退化的水下图像中提取特征。此外，考虑到水下环境的独特特性，设计了一个红色通道特征增强网络。该网络以退化图像的红色通道作为输入，并通过注意力模块关注那些红色通道信息不充分的严重退化区域，从而帮助自动编码器进行图像重建。实验结果表明，在UIEB数据集上测试时，所提出的算法在PSNR和SSIM方面优于其他模型，分别达到了25.26 dB和0.90。该模型有效地去除了退化图像中的蓝绿色背景，并恢复了其颜色。此外，通过泛化测试、特征点匹配和边缘检测应用分析验证了该模型的实际可行性。

1. 引言
海洋是地球上最大的生态系统之一，其丰富的生物和矿产资源对人类文明的发展至关重要。随着科学技术的不断进步和陆地资源的持续消耗，越来越多的国家开始关注海洋。然而，由于水下环境的独特特性，如光衰减、颜色畸变和图像噪声，捕获的水下图像质量往往较差，这影响了后续的分析和处理。因此，提高水下图像的质量并恢复其细节和真实颜色已成为当前研究的重点。为了应对这些挑战，国内外研究人员提出了各种有效的解决方案，这些解决方案主要可以分为传统的图像处理方法和基于深度学习的方法。
传统的水下图像增强算法通过颜色恢复、对比度增强、去雾、去噪和图像恢复等方法来提高水下图像的质量。例如，引入了包含边缘指示器的水下暗通道先验来估计初始场景深度，并应用了凸能量函数来生成去雾结果，从而从模糊的图像中恢复有价值的细节[1]。还研究了改进的暗通道先验变体；其中一种方法结合了曲率因子来减少颜色畸变和过度噪声，从而提高了视觉质量[2]。此外，直方图均衡技术得到了改进，以在保持结构细节的同时提高对比度[3]。其他研究通过对Retinex框架进行引导滤波进行全局颜色调整，并添加了最大滤波来提高局部颜色一致性，这已被证明非常适合水下成像条件[4]。还探索了红色通道最大衰减先验来校正通道间的色差，然后通过全局拉伸和细节放大来生成色彩丰富且对比度高的输出，而不牺牲自然感[5]。此外，结合对比度限制的自适应直方图均衡和自适应颜色校正提高了水下场景的对比度和颜色保真度[6]。额外的增强包括将图像转换为HSV空间，使用非下采样小波进行亮度精细化[7]，以及使用引导滤波结合小波变换来抑制噪声，同时保持边缘清晰度[8]。
近年来，深度学习在计算机视觉领域的快速发展为水下图像增强带来了新的突破。与传统方法相比，深度学习方法不依赖于物理模型或经验公式。相反，它们利用大规模数据训练，使模型能够自动从图像中学习复杂的特征，如纹理和语义，从而在水下图像增强方面表现出更强的能力。根据网络架构，这些方法可以分为两类：基于卷积神经网络（CNN）的方法和基于生成对抗网络（GAN）的方法。
在基于CNN的框架中，开发了几个代表性模型。一个著名的例子是UWCNN，这是一个在合成水下图像数据库上训练的增强模型，它使用完全数据驱动的策略实现清晰水下图像的端到端重建[9]。进一步的改进包括WaterNet，它在预处理流程中加入了白平衡、直方图均衡和伽玛校正，并使用CNN来推断置信度图以增强图像质量[10]。还提出了集成颜色平衡和去噪的网络，通过端到端学习自动校正颜色畸变并有效抑制噪声[11]。其他努力集中在渐进式增强机制上，如双层回归结构，它们在多个阶段恢复细节、颜色和对比度[12]。最近的研究利用光场引导渲染来模拟水下照明和退化特性，从而引导CNN进行更精确的增强[13]。
基于GAN的方法通过生成器和判别器之间的对抗学习来提高水下图像质量，提供了一种不同的范式。例如，WaterGAN合成与空气图像对齐的水下图像，然后使用深度估计和颜色校正网络进行恢复[14]。无监督GAN框架也受到了关注；一些模型结合了调制机制、注意力模块、保真度损失和感知质量损失，无需配对数据集即可提高视觉真实感和美学性能[15]。其他无监督技术，包括从非配对水下图像中学习增强映射的生成模型，进一步缓解了获取标记数据的难度[16]。引入了多专家架构，以独立关注不同的颜色通道，通过多个专家子网络进行专门的增强[17]。还设计了结合暗通道先验与CycleGAN架构的混合系统，以结合多尺度相似性措施来提高恢复性能[18]。开发了多阶段美学增强框架，在对抗学习过程中强制美学一致性和风格保真度[19]。最近的工作研究了结合暗通道先验和注意力机制的无监督去雾方法，以提高细节可见性和对比度[20]，以及优化了红色通道的CycleGAN变体，通过强调红色通道信息来提高颜色平衡、对比度和结构清晰度[21]。
总之，深度学习算法在水下图像增强领域取得了显著成果，尤其是基于GAN的方法，在提高水下图像的对比度、颜色恢复和细节增强方面表现优异。然而，复杂的水下环境仍然存在挑战。考虑到现有算法的问题，本文提出了一种基于红色通道增强的GAN网络模型，该模型结合了红色通道特征增强网络和U-Net编码器结构，能够有效地恢复图像颜色并提高视觉效果。虽然U-Net和通道注意力机制等组件已经成熟，但本文引入了一种独特的集成方法，针对水下恢复中的特定缺陷。所提出的生成器将专用的红色通道特征增强子网络嵌入到端到端流程中，而不是作为单独的后处理步骤应用红色校正。该子网络采用了定制的局部-全局注意力设计，明确模拟了跨粒度相关性，从而选择性地放大衰减的红色响应，同时保留了精细的空间结构。此外，使用基于物理的红色通道损失来指导训练过程中的光谱合理性。消融研究（第3.3节）表明，这些特定于红色的组件——而不仅仅是模型容量的增加——解释了大部分观察到的性能提升。

2. 实验结果与分析
2.1. 数据集和实验设置
本文的实验使用了李等人构建的UIEB数据集[10]进行验证，该数据集包含950张真实的水下图像，涵盖了不同的拍摄条件，如不同的光强度、深度和物体类型。其中，890张图像有对应的参考图像。在实验中，随机选择了800对图像作为训练集，其余90对图像作为测试集来评估模型性能。实验使用PyTorch 1.13.0深度学习框架进行模型构建和实验，训练在24GB NVIDIA GeForce GTX 3090 GPU上进行，操作系统为Ubuntu 20.04。训练期间，输入图像大小设置为256×256，批量大小为2。使用Adam优化器[30]和默认参数来优化网络，学习率设置为0.0001。网络训练300个周期。为了确保实验的可重复性，使用相同的随机种子来保持模型初始化和训练过程的一致性。除了上述标准设置外，Adam优化器的β1=0.5和β2=0.999，且不应用显式的权重衰减。训练阶段的学习率保持不变。梯度范数被限制在最大值5.0，以避免反向传播过程中的过大更新。随机种子是固定的，以确保可重复性。
2.2. 算法性能比较与分析
1) 水下图像增强的主观分析
为了验证所提出算法的有效性，我们在UIEB数据集上与七种现有的水下图像增强算法进行了比较。比较包括三种传统算法：ULAP[31]、IBLA[32]和RGHS[33]，以及四种基于深度学习的算法：Funie-GAN[34]、MuLA-GAN[35]、SFGNet[36]和DIRBW-Net[37]。为了评估所提方法在纠正水下图像颜色偏差和对比度方面的性能，本节使用从所有测试图像中选出的四种代表性退化图像进行了比较分析。
图4展示了不同算法对蓝色背景下水鱼群图像的增强效果。从图像可以看出，ULAP算法使颜色更加鲜艳，但它错误地纠正了颜色偏差，导致图像带有红色色调。IBLA算法增强了图像的对比度，但颜色显得有些暗淡，导致高光部分丢失和阴影区域的过度增强，从而显著丢失了细节。RGHS算法改善了图像的颜色和对比度，突出了细节，但某些区域过度饱和（例如水面），影响了增强图像的真实性。Funie-GAN算法也导致了颜色过度饱和，使图像的颜色不自然。MuLA-GAN算法保持了平衡的亮度和自然颜色，但在视觉平衡方面略逊于所提出的方法。SFGNet算法增强了图像的颜色和光照，但过度增强了某些区域，导致整体颜色不平衡。DIRBW-Net算法调整了图像的色调，但清晰度不足，导致某些区域模糊。与这些算法相比，所提出的方法对退化的水下图像的对比度和颜色进行了更平衡的调整，使整体颜色更加自然，同时增强了细节。值得注意的是，它更好地突出了鱼群，提供了更真实的视觉效果。
图5展示了不同算法对蓝绿色背景下废弃碎片图像的增强效果。尽管三种传统算法ULAP、IBLA和RGHS能够在某种程度上改善废弃碎片与整体背景之间的对比度，但它们未能有效纠正蓝色背景，增强后的图像仍然存在明显的颜色偏差。Funie-GAN算法有效恢复了废弃碎片的颜色，但牺牲了部分整体蓝绿色背景的恢复和颜色饱和度的增强。MuLA-GAN算法改善了颜色和对比度，但在某些区域过度曝光，导致图像整体不均匀。DIRBW-Net算法调整了图像的色调，但清晰度不足，导致某些区域模糊。与这些算法相比，所提出的方法对退化水下图像的对比度和颜色进行了更平衡的调整，使整体颜色更加自然，同时增强了细节。值得注意的是，它更好地突出了鱼群，提供了更真实的自然视觉效果。
图6展示了不同算法对绿色背景下的鱼图像的增强效果。虽然三种传统算法ULAP、IBLA和RGHS能够在一定程度上改善废弃碎片与整体背景之间的对比度，但它们未能有效纠正蓝色背景，增强后的图像仍然存在明显的颜色偏差。Funie-GAN算法有效地恢复了废弃碎片的颜色，但牺牲了部分整体蓝绿色背景的恢复和颜色饱和度的增强。MuLA-GAN算法改善了颜色和对比度，但在某些区域过度曝光，导致图像整体效果不一致。SFGNet算法增强了图像的亮度和对比度，使废弃碎片的轮廓更加清晰，但整体冷色调的呈现影响了视觉效果。DIRBW-Net算法仍然存在明显的颜色畸变，高亮区域的亮度和细节损失严重。与其他方法相比，所提出的算法更注重平衡图像颜色的自然性和对比度，有效消除了蓝绿色背景，并特别准确地恢复了废弃碎片的细节。
图6展示了不同算法对绿色背景下的鱼图像的增强效果。尽管ULAP和IBLA算法可以增强图像的对比度，但它们在解决图像整体绿色偏差方面的效果并不显著。RGHS算法提高了图像的亮度和清晰度，但增强后的图像中某些区域变得更暗，并且也无法改善整体的色彩色调。Funie-GAN算法减少了图像大多数区域的色彩偏差，提高了鱼类的对比度，但一些背景区域仍然表现出绿色的偏差。MuLA-GAN算法纠正了图像的整体色彩偏差，但某些区域的细节仍然受到扭曲。SFGNet和DIRBW-Net算法都改善了图像的绿色色调，但处理后的整体图像呈现出冷色调。与上述算法相比，所提出的方法更有效地去除了绿色背景，同时更好地恢复了图像中鱼类和海藻的细节，从而产生了更真实的视觉效果。图7展示了不同算法对非蓝绿色背景图像的增强效果。虽然ULAP算法在某种程度上提高了图像的对比度和亮度，但处理后的图像整体呈现红色调，导致严重的色彩偏差。IBLA算法不仅没有改善图像，反而过度增强了原始图像中较暗的区域，导致大量细节丢失，使图像呈现出暗色调。RGHS算法提高了图像的清晰度，但在一些细节区域仍然存在模糊。Funie-GAN算法过度纠正了非蓝绿色的色彩偏差，使图像的整体色调偏向红色，这影响了图像的自然外观。MuLA-GAN算法很好地纠正了图像的色彩偏差，但图像某些部分的细节仍受到扭曲。SFGNet算法增强了水下图像，但在某些局部区域引入了红色偏差。DIRBW-Net算法生成的水下图像整体亮度不足，色彩不够生动。与上述算法相比，所提出的方法在去除绿色背景方面表现更好，同时更准确地恢复了图像中鱼类和海藻的色彩，提高了清晰度，使得视觉效果更加真实自然。

通过对实验结果的分析，与其它算法相比，所提出的算法在四种不同的水下条件下展现了更优越的增强效果。在各种背景下，该算法有效地恢复了图像的颜色，并提高了对比度和清晰度。这表明所提出的算法非常适合适应不同的水下环境条件，表现出更高的有效性和稳定性。

除了对不同水下图像增强算法的视觉效果进行主观评估外，还采用了四个客观指标来定量分析增强后的水下图像。这些指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）以及两个水下图像质量评估指标：水下图像质量指标（UIQM）和水下彩色图像质量评估（UCIQE）。这些指标的值越高，表示图像质量越好。具体的评估结果如表1所示，结果保留到小数点后两位，最佳结果用加粗表示。

表1. 不同算法在UIEB测试集上的指标比较
| Model | PSNR | SSIM | UIQM | UCIQE |
|-----------|--------|--------|---------|---------|
| ULAP | 19.59 | 0.74 | 2.92 | 0.46 |
| IBLA | 18.17 | 0.68 | 2.91 | 0.47 |
| RGHS | 24.57 | 0.83 | 2.92 | 0.48 |
| Funie-GAN | 20.03 | 0.78 | 3.16 | 0.46 |
| MuLA-GAN | 24.16 | 0.87 | 3.21 | 0.44 |
| SFGNet | 23.95 | 0.88 | 3.08 | 0.44 |
| DIRBW-Net | 20.58 | 0.84 | 3.06 | 0.37 |
| 我们的方法 | 25.26 | 0.90 | 3.23 | 0.45 |

如表1所示，所提出的算法在PSNR、SSIM和UIQM指标上均取得了最高值，与其他算法相比有显著改进。然而，在UCIQE指标方面，所提出的方法略逊一筹。相比之下，传统图像增强算法在UCIQE指标上的表现优于基于深度学习的方法。这是因为UCIQE值来源于三个因素：颜色、饱和度和对比度。传统增强算法直接调整像素值，导致这三个因素被过度增强，从而获得更高的UCIQE分数。但从主观视觉角度来看，传统算法的增强效果并不那么显著。与其他算法相比，所提出的方法至少将PSNR指标提高了2.8%，SSIM指标提高了2.27%。此外，在水下图像质量指标（UIQM）上也有所改进，表明所提出的方法不仅改善了图像的主观视觉效果，还提高了水下图像的质量。总体而言，所提出的算法在视觉质量和水下图像质量方面均优于其他七种算法。

除了整体数值上的改进外，PSNR和SSIM的提升可以从第2.2节讨论的理论角度直接解释。如第2.2节所分析的，水下图像的退化强烈依赖于波长，其中红色通道的衰减比绿色和蓝色通道更为严重。因此，红色通道信息的恢复不足通常会导致色彩失真和像素级重建误差的增加。在所提出的方法中，通过红色通道感知的特征调制和专门的红色通道损失实现了对红色通道特征的选择性增强。从定量角度来看，PSNR对像素级重建误差非常敏感；通过明确限制红色通道的强度分布，所提出的红色通道损失有效地减少了红色通道的重建误差，从而直接促进了PSNR的提高。同时，SSIM强调局部结构和亮度的对比度。特征级的红色通道增强，结合局部-全局注意力机制，使网络能够在保持结构信息的同时恢复衰减的红色细节，从而一致地提高了SSIM。

如表1所示，所提出的方法在UIEB数据集上的PSNR达到了25.26 dB，SSIM达到了0.90，优于代表性的GAN基方法如MuLA-GAN和SFGNet。这些改进与选择性补偿红色通道衰减的理论动机一致，验证了所提出的红色通道增强策略的有效性。

为了验证所提出算法中关键模块和损失函数的有效性，我们在UIEB数据集上进行了消融研究。图8展示了实验的主观视觉效果，而表2提供了每个实验的客观定量评估结果。

表2. 消融研究指标评估
| Experiment | PSNR | SSIM | UIQM | UCIQE |
|-----------|--------|--------|---------|---------|
| A1 | 23.78 | 0.85 | 3.16 | 0.44 |
| A2 | 22.16 | 0.80 | 3.05 | 0.45 |
| A3 | 23.78 | 0.84 | 3.20 | 0.45 |
| A4 | 23.53 | 0.83 | 3.28 | 0.47 |
| A5 | 24.26 | 0.86 | 3.17 | 0.44 |
| 我们的方法 | 25.26 | 0.90 | 3.23 | 0.45 |

为了确保观察到的改进来源于红色通道增强机制而不是模型容量的普遍增加，进行了额外的消融分析。这些分析检查了三种代表性配置：配备了红色通道增强模块的完整网络、用另一种结构替代原始注意力机制的变体，以及完全省略红色通道处理的基线模型。结果一致显示，当移除特定于红色的组件或替换模块缺乏联合捕捉全局颜色统计信息和局部空间变化的能力时，恢复的图像在色彩保真度以及PSNR和SSIM分数上都有明显的下降。这种行为符合理论预期，即恢复衰减的红色信息依赖于能够将全局光照线索与细粒度空间细节相关联的机制。仅扩大容量而不结合这种相关建模的网络并未表现出可比的性能。定性分析进一步表明，所提出的红色通道模块在受波长依赖性衰减影响的区域产生了更强的响应，强化了其作为观察到的性能提升的主要贡献者的角色。

通过这些实验，我们可以直观地比较模型在不同配置下的性能，并评估每个模块和损失函数对图像增强效果的贡献。以下是每个实验配置及其对增强效果的具体影响的详细描述：
实验A1：在此实验中，移除了红色通道特征增强网络，同时保留了所有损失函数，仅使用自编码器网络进行图像增强。结果表明，移除红色通道特征增强网络后，模型无法关注红色通道特征，导致图像中红色信息的处理不足，从而影响了图像的色彩表现。
实验A2：在此实验中，移除了自编码器内的CBAM模块，同时保留了所有损失函数。结果表明，移除CBAM模块后，网络过度关注红色信息，导致增强后的图像出现明显的红色过度增强，产生不自然的视觉效果。
实验A3：在此实验中，移除了红色通道特征增强网络内的FCA模块，同时保留了所有损失函数。结果表明，移除FCA模块后，图像中的局部亮度和细节特征被忽略，导致增强效果不佳，色彩对比度表现也不明显。
实验A4：在此实验中，移除了感知损失，同时保持网络结构不变。结果表明，没有感知损失后，图像的空间结构受到破坏。增强后的图像缺乏自然的色彩和细节表现，视觉效果显得不真实。
实验A5：在此实验中，移除了红色通道损失，同时保持了网络结构。结果表明，移除红色通道损失后，图像的色彩表现下降，亮度和色彩的丰富度显著降低。

消融研究为第2.2节中的理论分析与实验观察提供了更明确的证据。通过比较移除了红色通道损失的变体A5与完整模型，可以观察到明显的定量差异。具体来说，完整模型的PSNR达到了25.26 dB，而A5仅为24.26 dB，下降了大约1.00 dB。同时，SSIM从完整模型的0.90下降到A5的0.86，下降了约0.04。这表明红色通道损失在抑制像素级色彩重建误差和提高感知保真度方面起着关键作用。

当移除红色通道增强子网络（FCA）时，也可以观察到类似的趋势。如变体A1所示，PSNR和SSIM分别降至23.78 dB和0.85，比完整模型低了大约1.48 dB和0.05 dB。这表明专门用于红色通道的特征增强对于补偿红色光的衰减和保持结构细节至关重要。

总体而言，这些消融结果与第2.2节中的理论分析高度一致，其中选择性放大严重吸收的光谱成分（即红色通道），结合局部-全局注意力机制，有望恢复光谱平衡，避免过度饱和。理论与实验证据之间的强烈一致性进一步验证了所提出的红色通道增强策略的有效性。

由于水下环境的特殊特性，水下图像经常存在色彩偏差、细节丢失和对比度低的问题，这些问题限制了水下图像在执行高级水下操作时的有效性。为了解决这些质量问题，本文提出了一个基于GAN网络的红通道增强水下图像增强模型。该模型在显著提高色彩表现的同时，恢复了图像的真实性和细节。该网络生成器的整体结构如图1所示，包含一个基于U-Net的自编码器和一个红色通道特征增强网络。U-Net自编码器通过其对称的编码器和解码器结构高效地捕捉和重建图像细节，而红色通道特征增强网络则调整了水下图像中常见的蓝绿色偏差，以恢复更自然的色彩表现。本章后续部分详细讨论了该模型特定网络的细节。

下载：下载高分辨率图像（534KB）
下载：下载全尺寸图像
图1. 不同算法对图像1的增强效果
3.1. 基于U-Net的自编码器
U-Net网络的典型编码器-解码器结构[22]用于在 downsampling 时提取多层次图像特征，并在 upsampling 时恢复空间信息。因此，生成器的自编码器部分采用了U形架构（图1的上半部分），由编码器中的五个连续 downsampling 块和解码器中的相应五个 upsampling 块组成，旨在逐步降低然后恢复输入图像（尺寸为256×256×3）的空间分辨率。每个卷积块都使用4×4大小的核进行2D卷积；编码器中的下采样采用步长为2的策略，而解码器中的上采样则使用相同核大小和步长的转置卷积来实现空间分辨率的恢复。在生成器的每个卷积层之后应用批量归一化（Batch Normalization），并且在编码器/解码器的残差块中使用ReLU激活函数以促进稳定的训练和非线性表现。通过保留残差连接来改善梯度流动并增强特征表示，从而使生成器能够更准确地恢复和重建细腻的图像细节。在残差块之后是注意力处理（attention processing），如下面所描述的，以在跳跃连接融合（skip-connection fusion）之前进一步细化特征图。为了保证结果的可重复性并提供尺度感知的注意力机制，在编码器和解码器的每个残差块之后都插入了卷积块注意力模块（Convolutional Block Attention Modules, CBAM）[23]；由于有五个下采样阶段，编码器中有五个CBAM实例，解码器中有五个对称的CBAM实例（每个跳跃层次一个）。每个CBAM由一个通道注意力子模块（channel-attention submodule）和一个空间注意力子模块（spatial-attention submodule）组成。通道注意力机制通过全局池化（global pooling）和共享的MLP（Multi-Layer Perceptron）计算通道级别的描述符，并应用通道级别的权重来强调对恢复最有信息量的特征通道，同时抑制冗余或噪声较大的通道。空间注意力机制随后使用聚合的通道信息计算每个位置的注意力图（attention map），以突出包含关键结构或高频细节的空间区域。这两种注意力操作共同使网络能够在每个特征尺度上选择性地关注有信息量的通道和区域，从而改进结构细节的定位和恢复，并减少无关或噪声响应的影响，从而生成更清晰、更自然的增强图像。

3.2. 红色通道特征增强网络
为了解决由于水体的吸收和散射作用导致水下图像中红色信息丢失的问题，本文设计了一个红色通道特征增强网络，旨在优化生成器以提高图像质量并恢复图像颜色。该网络的结构如图1下半部分所示，其主要目的是增强水下图像中红色通道的特征表示，从而使生成的图像能够更好地反映真实的颜色信息。

图2
下载：下载高分辨率图像（253KB）
下载：下载全尺寸图像
图2. 不同算法对图像2的增强效果

水下图像的形成具有强烈的波长依赖性衰减：长波长（红色）的吸收和散射远快于短波长（绿色/蓝色），导致红色通道的响应被显著抑制。这种物理原理促使在特征域内进行显式补偿，而不是在后处理阶段进行。因此，红色通道增强子网络采用了结合全局上下文和局部空间变化的注意力机制。这种设计非常适合于增强衰减的红色响应，同时避免过饱和现象。出于这个原因，原始的注意力块被细粒度通道注意力（Fine-Grained Channel Attention, FCA）模块所替代，其全局上下文+局部细节的结构为选择性地放大减弱的红色通道特征提供了更强的引导作用。

对红色通道进行显式增强的需求源于水下光的波长依赖性衰减：根据已建立的水下光学理论，长波长（红色）受到更强的吸收和散射，因此相机接收到的红色通道辐射量系统性地减少。在特征域中，这表现为与红色相关的通道和模式的激活幅度相对较低，而绿色/蓝色的响应则相对较强。从表示角度来看，选择性放大红色通道特征可以恢复缺失的频谱成分，而不会改变结构内容。具体而言，结合全局上下文（检测整体颜色偏差）和局部细节（保持边缘和纹理）的注意力机制提供了一种引导作用，这种引导作用（a）增加了在严重衰减区域对红色特定特征的相对增益，（b）抑制了可能导致过饱和的盲目全局增强。当与惩罚局部异常红色缺失的红色通道损失相结合时，这种机制引导网络朝着物理上合理的颜色恢复方向发展，同时保持空间保真度。

因此，选择FCA并非随意。其双分支设计——一个分支通过池化和1×1卷积编码全局统计信息，另一个分支通过小核卷积捕捉局部空间变化——使该模块能够建模跨粒度相关性。这使得该模块特别适合于恢复衰减的红色信息，因为相关机制可以有选择地加强弱化的红色响应，同时保持局部结构。消融实验（第4节）进一步证实，性能提升来自于这个红色通道模块，而不是模型容量的普遍增加。

网络首先从3通道输入图像中提取红色通道特征，具体来说，是通过选择通道0（红色通道），即将输入张量中的形状为(B,3,H,W)的图像转换为形状为(B,1,H,W)的图像。之后，引入细粒度通道注意力（Fine-Grained Channel Attention, FCA）[24]模块来通过捕捉全局信息和局部信息之间的相关性来增强红色通道特征。首先，通过对输入的红色通道特征图进行全局平均池化来获取全局特征。然后，该模块通过卷积操作提取通道信息，以进一步集中网络对关键通道的关注。为了提高可重复性，提供了关于FCA模块结构的额外说明。FCA模块采用双分支设计，包括一个全局上下文分支和一个局部细节分支。全局分支通过全局平均池化随后是一个轻量级的1×1卷积来编码整体统计信息，生成一个反映红色信息整体重要性的通道描述符。局部分支对原始特征图应用标准卷积（例如3×3），以捕捉细粒度的空间模式。随后通过计算全局描述符和局部响应之间的相关矩阵，将两个分支结合起来，使FCA能够根据全局重要性和局部变化为每个空间位置分配不同的注意力权重。

在实现的FCA模块中使用了双分支模式：一个全局上下文分支和一个局部细节分支。全局分支通过全局平均池化获得通道描述符，然后是一个1×1卷积；局部分支应用3×3卷积来捕捉细粒度的空间模式。通过计算全局描述符和局部响应之间的相关矩阵，将两个输出结合起来，从而实现FCA根据全局重要性和局部变化为每个空间位置分配不同的注意力权重。在当前的实现中，单个FCA模块应用于提取的红色通道特征图（在初始提取红色通道之后和随后的卷积处理之前）。核大小、通道扩展因子以及具体的相关实现方式遵循上述描述，并可在补充代码中找到（或参见实现注释）。

同时，FCA模块利用相关矩阵来捕捉全局特征和局部特征之间的相互作用，以识别不同粒度信息之间的相关性。这一过程为网络提供了更精确的注意力权重分配，从而使红色通道特征得到更有效的增强。最后，通过Sigmoid激活函数进行融合，该函数能够输出0到1之间的权重系数，使红色通道特征在整个网络中得到适当增强。在FCA模块处理之后，红色通道特征的注意力得到增强，从而使模型能够更专注于水下图像中减弱的红色信息。然后通过卷积层对由FCA模块增强的特征图进行进一步特征提取。这个卷积层的结构与编码器中的卷积层保持一致，特征图的通道数设置为64，以确保充分提取图像的深层特征。为了匹配自编码器中通道数的要求，在网络末端应用了一个1×1卷积层来调整特征图的通道数。最后，将处理后的特征图与自编码器提取的特征图逐元素相乘，形成加权特征图。这个加权特征图作为输入传递给解码器进行解码，从而恢复高质量的水下图像。这一过程不仅有效地结合了编码器和解码器的特征，还通过红色通道特征增强网络进一步提高了图像质量和细节表现，确保最终生成的水下图像更加逼真和清晰。

3.3. 识别器结构
对于识别器，本文采用了Markov识别器（PatchGANs）[25]结构。这种结构的识别器逐块处理输入图像，生成一个大小为n×n×1的特征矩阵。该矩阵的每个元素对应于输入图像中的每个独立块，通过对所有独立块进行评估来实现对整个图像的识别。特别是，这种识别器结构使得像素彼此独立，除了块的尺寸之外，因此图像的识别仅依赖于块的特征信息。这种结构能够有效捕捉图像中的高频特征（例如局部纹理和风格），并且这种识别器设计通过在小块级别进行比较来减少参数数量，从而提高了计算效率。如图3所示，识别器将生成器生成的图像和真实的标记图像作为输入，并通过五个卷积层来生成真实或错误的标签映射。识别器的前四层使用步长为2、大小为3×3的卷积核，快速减小特征图的尺寸并在早期阶段提取局部特征；最后一层使用步长为1、大小为4×4的卷积核来保留更多细节并减少计算工作量。ReLu激活函数也被整合到网络中，以引入非线性并提高网络的表达能力。为了稳定对抗性训练，对PatchGAN识别器中的每个卷积层应用了光谱归一化。所有识别器层中使用的激活函数是斜率为-0.2的LeakyReLU。为了避免与光谱归一化的相互作用，识别器中没有应用BatchNorm。因此，识别器遵循了常用的GAN训练配置。最后，识别器输出一个标量值，指示输入图像是真实的还是伪造的。通过这种方式，识别器能够有效区分生成器生成的图像和真实的标记图像，从而为生成器提供反馈并推动其持续优化。

图3. 不同算法对图像3的增强效果
下载：下载高分辨率图像（200KB）
下载：下载全尺寸图像
图4. 不同算法对图像4的增强效果
下载：下载高分辨率图像（824KB）
下载：下载全尺寸图像
图5. 消融研究结果图像
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图6. 整体生成器结构
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图7. CBAM模块
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图8. 识别器结构

3.4. 损失函数
为了应对水下图像中常见的颜色失真和模糊等问题，并提高图像质量，本章采用了多种损失函数的组合来优化网络性能。这些损失函数包括对抗性损失（adversarial loss）、平均绝对误差（MAE）损失、感知损失（perceptual loss）和红色通道损失（red channel loss）。具体来说，对抗性损失通过生成对抗网络框架引导生成器产生更逼真的图像。MAE损失确保生成图像与真实水下图像在像素级别上的相似性。感知损失关注高级别的语义和结构特征，有助于恢复图像细节和纹理。红色通道损失旨在改善颜色恢复，特别是针对水下图像中普遍存在的红色通道衰减问题。这个损失函数鼓励生成器最小化鉴别器为生成样本分配的对数概率，从而有效地驱动生成器产生更接近参考图像的增强图像。其数学表达式如公式(1)所示。(1)Ladv(G,D)=EX,Y[logD(X,Y)]+EX,Z[log(1?D(X,G(X,Z))]其中，G表示生成器；D表示鉴别器；X代表输入图像；Y代表参考图像；G(X,Z)表示生成器生成的图像。

2) 均值绝对误差损失（Mean Absolute Error Loss）
均值绝对误差（MAE）损失，记为L1loss，用于提高生成样本的质量和模型的整体性能。该损失通过计算生成图像的每个像素与参考图像之间的绝对差异来量化这种差异。由于其对异常值（例如噪声）的敏感性较低，因此它能够有效缓解模糊效果，并在捕捉细节方面表现出强大性能，从而帮助生成更清晰的图像。其数学表达式如公式(2)所示。(2)L1(G)=EX,Y,Z[∥Y?G(X,Z)∥]

3) 感知损失（Perceptual Loss）
感知损失（Lper）被用来优化网络，旨在通过考虑水下图像和真实世界参考图像的深度特征来捕捉它们之间的全局依赖关系。感知损失的核心思想是在高级特征空间内评估生成图像和参考图像之间的相似性，而不仅仅是依赖于逐像素比较。为此，在本章中使用了VGG-19网络的选定中间特征层“conv_5_2”，因为它能够有效捕捉高级语义信息，从而提高生成图像的视觉质量。其数学表达式如公式(3)所示。(3)Lper=1CjHjWj∥Φj(Y)?Φj(G(X,Z))∥其中，j表示用于感知损失的选定VGG-19层的索引；Cj,Hj,Wj分别表示VGG-19第j层的通道数、高度和宽度；Φj(G(X,Z)表示生成的水下图像G(X,Z)的特征表示，而Φj(Y)表示真实世界图像第j层的特征表示。

4) 红色通道损失（Red Channel Loss）
水下成像受到波长依赖性吸收的影响，其中红色波段的衰减比绿色和蓝色带更快。这一原理在2.2节中有讨论；在这里，它被纳入损失公式中。为了将这一先验知识嵌入学习过程中，我们引入了红色通道损失（LRC），它明确了对恢复图像中颜色通道间相对强度分布的物理意义约束。与通用的“最小响应约束”不同，公式(4)的构建受到了暗通道先验和已知红色波长衰减特性的启发。该损失对红色通道相对于其他通道被不成比例抑制的局部区域进行惩罚。内部最小值运算符将衰减后的红色成分与绿色和蓝色强度进行比较，使得损失能够反映物理事实，即红色波段在恢复后不应变得不切实际地弱，从而鼓励网络恢复更加自然和物理上合理的颜色平衡。(4)LRC=∥miny∈Ω(x)(min(1?Jr(y),Jg(y),Jb(y)))∥1其中，Jr(y)表示图像中红色通道的值；Jg(y)表示图像中绿色通道的值；Jb(y)表示图像中蓝色通道的值；∥·∥1表示L1范数。在实践中，公式(4)中的局部邻域Ω(x)使用一个小k×k补丁（k=7）来实现稳定的局部颜色统计信息，同时避免对噪声的过度敏感。由于在严重衰减区域红色通道项的值可能相对较大，其在总损失中的权重被设置为0.05，以保持梯度平衡并确保训练的稳定性。采用L1聚合来增强对异常值的鲁棒性。这些设置反映了波长依赖性衰减的物理原理，同时在优化过程中提供数值上的稳定性。

5) 总损失（Total Loss）
基于上述损失函数，总损失函数的设计如下：(5)L=Ladv+λ1L1+λ2Lper+λ3LRC
在本章中，MAE损失的权重被设置为3，以保持像素层面的整体结构一致性，而感知损失的权重被设置为7，以更好地强调高级语义特征并增强纹理和细节重建。由于红色通道损失自然表现出较大的数值范围，因此使用了较小的权重0.05来保持损失成分之间的平衡，防止其主导优化过程。这些系数是通过基于GAN的水下图像增强研究的经验调优确定的，包括介质传输引导的多色空间嵌入方法[27]、混合增强GAN框架[28]和多尺度融合GAN模型（FW-GAN）[29]，以及实际稳定性考虑。在初步实验中，候选值在一个保留的验证集上进行了测试，其中仔细检查了收敛行为和视觉质量。权重明显过大或过小的配置往往会导致视觉伪影或优化不稳定。鉴于穷举网格搜索在计算上是不切实际的，这里报告的最终设置代表了实现一致增强性能的稳定且经验上可靠的折中方案。

3.5. 特征点匹配（Feature Point Matching）
为了验证所提出算法的可行性，使用了ORB特征点匹配算法[38]来分析增强图像。图像特征点匹配通过识别不同图像之间的匹配特征点来工作，从而为增强模型的性能及其在高级水下视觉任务中的适用性提供定量评估。在本节中，随机选择了三张来自不同水下场景的图像进行特征点匹配测试。结果显示在图9中，相应的统计数据提供了在表3中。下载：下载高分辨率图像（625KB）下载：下载全尺寸图像
图9. 特征点匹配结果。
表3. 特征点匹配数量统计。
图像 原始图像 增强图像
增长量 1249 291+422 172 198+263 210 276+66

3.6. 边缘检测（Edge Detection）
图像的边缘指的是像素强度发生显著变化的区域，通常表示不同区域或物体之间的过渡。丰富的边缘信息通常意味着图像包含更多详细特征，这对于高级水下视觉任务至关重要。因此，在本节中，应用了Canny边缘检测算法[39]来检查增强图像。Canny边缘检测算法通过以下步骤提取边缘：首先使用高斯滤波来减少噪声；接下来计算图像梯度以确定边缘的强度；然后应用非最大值抑制来细化边缘；最后通过双阈值过程来分类强边缘和弱边缘，然后将它们连接起来形成完整的边界。通过应用边缘检测算法，可以进一步验证本文提出的方法的增强效果。在本节中，使用边缘检测测试了两张随机选择的原始失真图像及其相应的增强版本。检测结果显示在图10中。实验结果表明，增强图像比原始图像包含更丰富的边缘信息，这进一步证实了本文提出的模型的增强效果。下载：下载高分辨率图像（944KB）下载：下载全尺寸图像
图10. 边缘检测结果。

4. 结论
本文提出了一种基于红色通道特征增强生成对抗网络的新方法，用于解决由水吸收和散射引起的水下图像颜色失真问题。现有的增强算法经常存在诸如颜色不平衡和过度增强等问题。为了克服这些限制，所提出的模型集成了一个基于U-Net的自编码器和一个红色通道特征增强子网络，有效地增强了水下图像的红色通道特征，恢复了颜色并提高了视觉质量。通过对UIEB数据集的对比实验，证明所提出的算法在去除蓝绿色背景、校正颜色偏差和提高图像质量方面优于现有算法，在客观评估指标上表现优异。此外，对所提出方法的适用性分析，包括ORB特征点匹配实验和Canny边缘检测实验，验证了该算法在实际应用中的可行性。这为未来的高级水下视觉任务奠定了坚实的基础。总之，除了经验上的收益，这项研究还提供了一种基于物理的新的水下恢复方法：端到端嵌入的红色通道增强路径、针对红色恢复的局部-全局注意力机制，以及强制光谱合理性的红色通道损失。消融实验确认这些特定于红色的组件是性能提升的主要来源。

数据可用性声明
本研究使用的数据集来自Li等人[10]提出的公开可用的UIEB基准数据集。在本研究中没有生成额外的数据集。本研究开发的实现代码没有公开发布，但作者可以在合理请求下提供。

CRediT作者贡献声明
张浩：写作——原始草稿、软件、方法论、调查、形式分析、概念化。
张文鹏：写作——原始草稿、数据管理。
刘雅静：可视化、调查。
安永莉：写作——审阅与编辑、监督、资源获取、概念化。