利用格子变换器在多个尺度层上增强水下图像

《IEEE Journal of Oceanic Engineering》：Enhancement of Underwater Images Using Lattice Transformer at Multiple Scales and Layers

水下图像常因光线吸收散射导致颜色失真和细节丢失。本文提出多尺度多层变换器模型（MMLattFormer），通过融合全局感知的层式注意力机制和局部细节的跨像素交互，有效抑制过增强并保留多尺度特征。实验表明该方法在多个公开数据集上显著优于现有技术，尤其擅长消除波长衰减引起的颜色偏差和结构不一致问题。

　　

摘要：

水下拍摄的图像经常出现颜色失真和细节丢失的问题，这是由于光线被吸收和散射所致。由于波长和距离的变化，以及不同尺度和层次上的颜色偏移，改进这些图像的任务变得更加困难。为了解决这些问题，我们提出了一种新型的多尺度和多层格子变换器（MMLattFormer），它可以有效去除颜色失真和伪影，避免过度增强，并在不同尺度和层次上保持细节，从而在水下图像增强方面提供更准确、更自然的结果。MMLattFormer模型利用了格子变换器（LattFormer）架构的优势来增强全局感知，而其多尺度和多层配置则利用了不同尺度特征之间的差异和互补性来提高局部感知。MMLattFormer模型由多个以多尺度和多层方式排列的LattFormer组成。每个LattFormer包括两个主要模块：多头转置注意力残差网络（MTRN）和门控注意力残差网络（GRN）。MTRN模块促进了高效的跨像素交互和像素级聚合，提取出更显著和可区分的特征；相比之下，GRN模块有效地抑制了不重要或冗余的特征，仅保留有用信息。通过利用图像的局部和全局结构，实现了出色的图像恢复效果。定性和定量结果表明，所提出的方法优于现有的最先进方法，能够提供更自然的结果。这一点通过其在保留细节、有效防止过度增强以及成功消除多个公共数据集中的伪影和颜色偏差方面的卓越能力得到了证明。

引言

由于与波长和距离相关的衰减和散射，水下图像的质量经常下降。当光线穿过水时，它会与悬浮颗粒相互作用，导致不同程度的颜色偏移，从而产生模糊且对比度低的图像。此外，不同波长的光线会经历不同程度的衰减，导致水下图像的颜色偏移或可见度降低。许多因素阻碍了高质量图像的获取，给海洋工程中的计算机视觉带来了挑战。因此，获取信息丰富的高质量水下图像已成为水下图像处理的优先事项。近年来，深度学习在各个领域取得了显著进展，包括图像去雨[2]、[5]、[55]、图像去模糊[51]、图像超分辨率[4]、[59]、行人检测[6]、[53]以及水下图像增强[54]、[57]等。与传统的图像增强方法（如直方图均衡化、暗通道先验（DCP）和对比度受限的自适应直方图均衡化（CLAHE）不同，这些方法依赖于手动定义的特征和预定义的物理模型，而深度学习方法是数据驱动的，能够学习退化图像和增强图像之间的复杂关系[3]、[52]、[56]、[58]。然而，传统方法在处理高度变化的水下环境时往往面临挑战，因为它们缺乏对不同水体类型或复杂光照条件的适应性。此外，这些方法通常无法解决由波长和距离相关衰减引起的严重颜色失真和结构不一致性问题。尽管如此，许多深度学习方法仍然将最初为其他视觉任务设计的网络应用于水下图像，导致其性能不如当前最先进的深度视觉模型[52]、[53]。这主要是因为基于深度学习的模型在设计时没有考虑到水下成像领域的特定知识。虽然水下图像增强技术在各种水下任务中展示了有希望的结果，但它们仍然面临一些挑战。例如，这些技术往往难以在不同水下场景中泛化，从而导致增强后的图像出现更严重的颜色偏移或伪影。因此，一些模型仅适用于特定的水下自然场景，而深度学习产生的结果也可能存在问题。一个重要的问题是，大多数基于深度学习的模型需要成对的数据集进行训练。然而，在自然水下环境中获取标准的成对数据集是具有挑战性的，因为自然水下图像的颜色偏移严重且可见度低[1]。在许多研究中，使用水下图像生成模型或生成对抗网络（GANs）来生成图像对[3]、[51]，但这些生成的图像仍然存在颜色或结构问题。因此，需要进一步研究和开发适用于各种水下应用的单张图像增强技术。