基于结构纹理解耦的水下图像增强

《Signal Processing: Image Communication》：Underwater Image Enhancement via Structure–Texture Disentanglement

　　

• •
  STDN 利用预训练特征实现高效的水下图像增强。
• •
  两个引导模块解耦结构和纹理特征。
• •
  动态特征聚合和嵌套解码增强了特征重建。

引言

水下图像增强 (UIE) 旨在从受低对比度、模糊和偏色影响的退化图像中恢复具有清晰结构和丰富纹理的高质量图像。目前，UIE 在水下机器人、海洋探索和物体检测中有着广泛的应用。现有的 UIE 方法大致可分为三类：基于物理模型、基于非物理模型和基于深度学习的方法。基于非物理模型的方法通常利用图像直方图均衡、对比度拉伸和滤波等技术来提高图像质量。虽然计算效率高，但这些方法未能充分捕捉复杂的水下成像原理。基于物理模型的方法通过数学方式模拟水下光传播，考虑光吸收、散射和颜色衰减等因素。尽管这些方法可以减轻雾效应并增强色彩保真度，但由于无法适应变化的水下成像条件，其鲁棒性有限。

基于深度学习的 UIE 方法在应对这些挑战方面已显示出令人信服的结果。现有方法，包括基于 CNN 和 GAN 的方法，通常不加区分地处理多尺度特征。最关键的是，它们通常忽视了浅层特征对纹理信息和深层特征对结构信息的不同表示。这种疏忽经常导致增强后的水下图像中出现结构模糊和纹理平滑。当前 UIE 方法的关键局限性可总结为：(i) 即使采用精心设计的编码器，也难以从退化的水下图像中建立干净的特征空间。(ii) 对深层结构特征和浅层纹理特征进行统一处理，导致特征表示次优。(iii) 忽视了解码器的关键作用，导致特征重建不足。为解决这些挑战，我们引入了一种新方法，利用大规模高质量图像上的预训练特征提取器来建立潜在的水下未扰动特征空间。通过采用这种策略，我们可以充分利用预训练模型广泛学习的知识和强大的特征表示能力。

我们的方法侧重于对结构和纹理特征进行有意的解耦和增强。认识到深层特征通常捕获结构信息，而浅层特征表征纹理细节，我们提出了两个关键模块：残差通道引导结构提取 (RCSE) 模块和交互注意力引导细节保留 (IADP) 模块。RCSE 模块通过残差通道提取去除光照和类雾效应，引导深层结构特征解耦。相反，IADP 模块采用双分支挤压激励机制来增强浅层特征交互并保留更丰富的纹理。为了自适应地重建这些特征，我们开发了一个多尺度动态特征聚合 (MDFA) 模块，为不同的特征尺度分配自适应权重。

尽管 STDN 采用了成熟的组件，包括预训练的 VGG-16 编码器、挤压激励操作和金字塔解码，但这些元素是围绕结构 - 纹理解耦的核心目标进行系统性重新组织的。具体来说，RCSE 通过残差通道引导从深层特征中提取结构信息，IADP 通过交互注意力从浅层特征中保留纹理细节，MDFA 自适应融合解耦表示，IONPD 通过嵌套金字塔解码重建最终的增强图像。因此，STDN 的新颖之处在于其面向任务的模块集成，专为水下图像增强量身定制。此外，我们引入了内外嵌套金字塔解码器 (IONPD)，通过从尺度内和尺度间两个视角进行解码，实现精确的特征重建。这种创新的解码器设计促进了更全面和细致的图像增强。图 1 展示了我们提出的结构 - 纹理解耦网络 (STDN) 与最先进的 UIE-WD 方法相比的增强效果，展示了优越的视觉质量和颜色分布。本工作的主要贡献是：

• •
  我们设计了一种用于水下图像增强的结构 - 纹理解耦网络 (STDN)，该网络利用预训练特征提取器来转移清晰且丰富的特征，有效地表征退化的水下图像，同时避免了复杂的编码器设计。
• •
  我们提出了残差通道引导结构提取模块和交互注意力引导细节保留模块，以解耦和纯化水下图像的结构和纹理特征。
• •
  我们引入了多尺度动态特征聚合模块，以自适应地将结构和纹理特征传输到解码器中，并开发了一个内外嵌套金字塔解码器以增强特征重建能力。

大量实验表明，我们的 STDN 优于最先进的 UIE 方法，并在水下显著目标检测等下游任务中表现出语义感知性能。

章节摘要

基于物理模型的方法

基于物理模型的水下图像增强方法通过建立合理的物理模型来描述图像退化过程。它使用波长补偿 [1]、直方图分布先验 [2] 和深度估计 [3] 等技术来恢复清晰逼真的水下图像。Wang 等人 [4] 采用了一种自适应衰减曲线先验方法。Drews 等人 [5] 提出了一种基于光传播物理模型的方法。该方法考虑了吸收，

概述

如图 2 所示，提出的用于水下图像增强的结构 - 纹理解耦网络 (STDN) 由五个关键模块组成：预训练编码器、内外嵌套金字塔解码器 (IONPD)、残差通道引导结构提取 (RCSE) 模块、交互注意力引导细节保留 (IADP) 模块以及多尺度动态加权特征聚合 (MDFA) 模块。我们采用预训练的 VGG-16 [39] 网络作为编码器，受益于其

数据集

我们的方法使用两个配对的水下图像数据集进行了评估：UIEB（水下图像增强基准数据集）[13] 和 EVUP（增强水下视觉感知）[42]，以及一个非配对的真实水下图像增强数据集 RUIE [43]。这些数据集的详细说明见表格 1。

指标

图像质量评估的最新进展探索了多种新范式，包括通过失真加重进行盲估计，

结论

本文提出了一种用于水下图像增强的结构 - 纹理解耦网络，称为 STDN。我们在 STDN 的训练过程中利用预训练模型作为编码器以增强泛化能力。为了恢复图像细节和结构，我们开发了一个残差通道引导结构提取模块 (RCSE)、一个交互注意力引导细节保留模块 (IADP) 和一个多尺度动态加权特征聚合模块 (MDFA)。对于结构 - 纹理

CRediT 作者贡献声明

葛惠林：写作 - 初稿，方法论，资金获取，概念化。李文哲：写作 - 审阅与编辑，验证，软件。张琼音：调查，形式分析，数据整理。张天壮：写作 - 审阅与编辑，可视化，资源。王迪：监督，项目管理，方法论。付波：写作 - 审阅与编辑，监督。费尔南多·A·阿瓦特·切因：写作 - 审阅与编辑，监督。

关于手稿准备过程中生成式人工智能和人工智能辅助技术的声明

在本工作准备期间，作者使用了 Deepseek 进行翻译和调整格式。在使用该工具/服务后，作者对内容进行了必要的审阅和编辑，并对已发表文章的内容承担全部责任。

资助

本工作受国家自然科学基金（项目编号：62576157）、国家自然科学基金（项目编号：U25A20442）、国家自然科学基金（项目编号：62476113）、江苏省自然科学基金（项目编号：BK20253020）资助。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能会影响本论文中报告的工作。

致谢

在稿件修订阶段，使用了人工智能辅助工具进行语言润色，以提高清晰度和可读性。该工具未参与研究设计、实验或结果分析，本文的所有学术内容均由作者完成，作者对此承担全部责任。

葛惠林于 2023 年获得江苏科技大学船舶与海洋工程博士学位。目前他是江苏科技大学（中国镇江）的专职研究员。他的研究兴趣包括深度学习、水下信息感知和人工智能。

葛惠林|李文哲|张琼音|张天壮|王迪|付波|费尔南多·A·阿瓦特·切因