双域并行注意力驱动的水下图像增强方法

《Engineering Applications of Artificial Intelligence》：Dual-domain parallel attention-driven underwater image enhancement method

水下图像增强面临复杂环境导致的严重退化问题，传统CNN方法因感受野受限难以充分捕捉全局特征。本文提出HPMENet，通过嵌入Mamba子网络扩展全局信息利用，并设计双域并行注意力机制融合空间与频率域特征。实验表明，该方法在UIEB数据集上显著优于现有主流方法，在定量与定性评估中均表现优异。

　　

张英豪|孙天梦|胡佳敏|崔海源|池杰如|杨国伟|陈成龙|余腾

青岛大学电子信息学院，中国山东省青岛市宁夏路308号，260000

摘要

由于水下环境的复杂性和多变性，水下图像经常受到严重的退化现象影响，如光吸收、散射和颜色失真。尽管卷积神经网络（CNN）在这一领域取得了进展，但其固有的有限感受野限制了它们完全学习全局图像特征的能力，从而影响了模型的泛化能力。为了解决这些挑战，本文提出了一种创新的混合并行多域增强网络（HPMENet）。该网络基于编码器-解码器架构，并嵌入了Mamba子网络。此外，还设计了一种双域混合注意力模块，以增强网络提取和融合局部和全局特征的能力。与现有的最先进方法相比，所提出的方法充分利用了Mamba架构的优势，并将其与双域双向注意力机制相结合。这有效地扩展了网络在增强过程中的感受野，从而提高了水下图像的视觉保真度。广泛的实验结果表明，所提出的方法在定量和定性评估中均显著优于当前主流的水下图像增强方法。我们的代码和模型可在https://github.com/Smm-ccd/HPMENet获取。

引言

水下图像增强是计算机视觉中的一个基本而具有挑战性的任务，其主要目的是减轻由水中的溶解物质和颗粒引起的光学失真和散射的影响。在过去十年中，这一领域吸引了大量的研究关注，从而开发出了各种算法，这些算法通常涉及颜色校正（Li等人，2021年；Wang等人，2019a年）、对比度增强（Dai和Lin，2024年；Zhang等人，2021年）、细节细化（Zhang等人，2022a年；Zhang等人，2024年）和去噪（Guan等人，2024年；Lu等人，2023年）等技术。基于卷积神经网络（CNN）的传统水下图像增强算法（Lecun等人，1998年）主要关注局部增强。相比之下，我们的方法强调通过捕获网络内的长距离依赖性来探索全局增强能力。我们通过将卷积神经网络与Mamba子网络相结合，提高了网络吸收全局信息的能力，使其能更有效地适应复杂的水下环境。此外，我们引入了一种新颖的并行多尺度混合注意力机制，该机制由空间域并行特征聚合模块和频率域并行特征聚合模块组成。这种机制促进了混合域之间的双向注意力，有效地提高了多尺度图像恢复的代表性特征的学习效果。然而，在集成卷积神经网络和Mamba子网络的过程中，会出现特征融合和交互相关的问题。此外，混合域注意力机制中空间域和频率域之间的特征融合互补性也有限。因此，如何实现有效的融合机制和交互策略，以及优化空间域和频率域之间的特征融合互补性，是本文的主要挑战。

利用卷积神经网络的最先进水下图像增强方法通常采用U-Net架构（Ronneberger等人，2015年），该架构由编码器和解码器组件组成。在解码阶段，通过跳跃连接将低级特征与高级特征融合。然而，这种结构没有充分利用全局上下文信息，导致图像增强效果不佳且容易出现性能瓶颈。其中一个原因是U-Net采用了编码器-解码器架构，其中编码路径中的下采样操作导致高级特征表示中空间信息和细节的显著损失。在解码路径中，尽管通过跳跃连接将低级特征与高级特征合并，但这种方法只能传输有限的局部上下文信息，无法充分捕捉远距离像素之间的关系。此外，卷积和池化操作的限制使得网络的感受野大小固定，从而限制了其利用更广泛上下文信息的能力。

为了解决上述挑战，本文介绍了一种新颖的混合并行多域增强网络（HPMENet）。HPMENet将并行多尺度混合注意力机制（PMHA）集成到编码器-解码器架构中，并在CNN框架内嵌入了Mamba组件。这种集成使卷积神经网络在处理图像时能够引入全局信息。图1提供了所提出方法的全面概述。我们的新型网络受到两个关键点的启发。首先，与传统的基于空间域的图像增强技术相比，将水下退化图像转换为频率域可以更有效地分离和处理由水折射和散射引起的成像退化问题。其次，由于Mamba模型在高级视觉任务中的成功应用，这些模型已被引入到低级视觉任务中，以追求长距离像素交互和最先进的性能。因此，我们试图将上述两个灵感整合到基于CNN的水下图像增强算法中。我们通过结合空间域注意力机制来增强频率域注意力机制，从而实现双向注意力。这种新颖的注意力机制通过将注意力分解为两个方向来提高效率，同时保持隐式的较大感受野。然后，将Mamba模块嵌入到CNN框架中。与传统的基于CNN的水下图像增强算法相比，我们的新方法更有效地捕获和利用了全局上下文信息，从而更高效地提高了图像的清晰度、准确性和视觉质量。

本文的主要贡献可以总结如下：

(1) 提出了一种新颖的混合主干网络，在基于CNN的编码器和解码器阶段之间嵌入了视觉Mamba子网络，增强了网络对全局特征的使用。

(2) 在编码器和解码器阶段，通过用并行多尺度混合注意力模块（PMHA）替换CNN架构中的原始编码器-解码器组件，实现了双域双向注意力，有效地增强了多尺度图像恢复的表示学习。

(3) 通过集成空间域并行特征聚合模块（SDPFA）和频率域并行特征聚合模块（FDPFA），在并行多尺度混合注意力模块中提出了一种双域注意力机制，使其具有动态学习能力，大大增强了网络的适应性。

部分摘录

传统方法

大多数传统的UIE方法通过利用先验知识来构建模型。例如，Chiang和Chen（2012年）提出了一种利用暗通道先验的方法，用于深度图估计，去除人工光源，补偿光散射和颜色衰减，并估计场景水深，以恢复水下图像数据的颜色平衡和清晰度。这种方法不需要额外的光学设备，从而提高了水下视觉质量。Galdran等人（2015年）

方法概述

如图1所示，HPMENet的总体架构采用了类似于U-Net的编码器-解码器结构。编码器由多个残差卷积块（RCBlocks）和并行多尺度混合注意力（PMHA）模块组成，旨在有效提取特征。解码器使用PMHA作为核心组件以实现高效的特征重建。在编码器和解码器之间，有一个多路径Mamba混合注意力融合子网络

数据集

UIEB 在本研究中，我们在UIEB数据集（Li等人，2020a）上训练了HPMENet网络。UIEB数据集包含了各种类型的水下图像退化场景，涵盖了多种水下环境条件，适合训练强大的水下图像增强网络。该数据集包含890对真实的水下图像对，其中800对是训练集，90对是测试集。此外，UIEB还包含60张单独的

结论

本研究介绍了一种创新的水下图像增强方法HPMENet。所提出的方法利用了广泛采用的基于CNN的编码器-解码器模型，该模型的一个显著局限性是感受野受限。这种局限性导致网络在增强过程中对全局特征的关注不足，从而影响了其整体性能。我们的方法采用了混合主干网络，利用了CNN和

CRediT作者贡献声明

张英豪：撰写 – 审稿与编辑，方法论，数据管理。孙天梦：撰写 – 原稿，方法论。胡佳敏：资源提供。崔海源：监督。池杰如：数据管理。杨国伟：验证。陈成龙：调查。余腾：撰写 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。