《Digital Signal Processing》：USNet: An Underwater Synergistic Network for Image Enhancement with Multi-scale Perception and Adaptive Fusion
编辑推荐：
摘要色彩失真、细节模糊以及同时保留语义信息和几何结构的困难，仍然是现有水下图像增强技术应用中持续存在的挑战。为了应对这些挑战，本研究提出了一种用于水下图像增强的多尺度感知与自适应融合网络，命名为 USNet（水下协同网络）。该算法结合多尺度特征提取和物理引导的特征调制，通过多
摘要
色彩失真、细节模糊以及同时保留语义信息和几何结构的困难，仍然是现有水下图像增强技术应用中持续存在的挑战。为了应对这些挑战，本研究提出了一种用于水下图像增强的多尺度感知与自适应融合网络，命名为 USNet（水下协同网络）。该算法结合多尺度特征提取和物理引导的特征调制，通过多尺度物理融合模块（MPFM）从退化水下特征中提取和压缩信息。随后采用自适应双流融合机制（ADFM），通过竞争性权重分配策略动态融合编码器和解码器的同级特征。该机制实现了语义恢复与细节保留之间的有效权衡，同时减少了模型参数和计算复杂度。此外，引入了方向感知纹理上采样（DATU）模块，以增强上采样阶段几何特征（包括边缘和纹理）的保留，从而提高重建图像中局部细节和表面纹理的表征能力。实验评估在 EUVP、LSUI 和 UIEB 数据集上进行。所提方法在三个数据集上分别取得了 29.496、28.639 和 23.369 的 PSNR 值，以及相应的 0.9187、0.9393 和 0.9298 的 SSIM 值。该模型还表现出高计算效率，仅需 6.47 M 参数和 20.30 GFLOPs。
引言
水下图像增强是一种基于计算机视觉的方法，旨在纠正水下光学成像中的退化问题。该技术缓解了色彩失真和细节丢失等问题，从而能够重建高质量的水下图像，用于人类视觉感知和机器分析任务 [1], [2]。因此，水下图像增强在深海资源勘探、可持续渔业和水下文化遗产保护等领域展现出广泛的应用潜力，并成为当前的研究热点之一 [3], [4], [5], [6], [7], [8]。目前，基于深度学习的水下图像增强方法大致可分为两类范式：基于卷积神经网络（CNNs）的方法和基于生成对抗网络（GANs）的方法 [9]。通常，基于 CNN 的方法采用编码器 - 解码器框架、模块化设计或多分支设计等架构。通过利用分层特征提取机制，这些方法可以学习水下场景的退化先验，表现出对复杂水下环境的良好适应性，并保留了进一步优化的巨大潜力。基于 GAN 的方法，如 UGAN 和 CycleGAN，通过生成器和判别器之间的对抗训练学习水下图像的退化特性，在色彩校正和细节恢复方面取得了强劲的性能 [2]。相比之下，基于 CNN 的方法不需要复杂的对抗训练机制，降低了模型训练的难度和模式崩溃的风险，提高了增强过程的稳定性。因此，它们在水下视觉系统的实际应用中具有显著优势，并取得了显著的研究进展 [10], [11]。2020 年，Li 等人提出了一种基于 U-Net 的水下图像增强网络，称为 Water-Net。该网络在其结构中引入了门控融合机制，可以自适应地融合多种预处理结果，并有效提高图像的色彩真实性和对比度 [12]。为了进一步优化网络效率，2021 年，Yang 等人提出了一种名为 LAFFNet 的轻量级增强网络。通过移除传统的下采样和上采样操作，并结合自适应特征融合和通道注意力模块，该模型在有效保持图像增强性能的同时显著减少了参数数量 [13]。随着对语义一致性和局部增强稳定性需求的增加，Qi 等人于 2022 年引入了 SGUIE-Net。该框架将语义分割图作为高级语义引导嵌入到 U-Net 架构中，并通过语义区域增强模块和注意力机制确保同质语义区域内增强的一致性 [14]。为了解决水下图像中衰减不均匀和多尺度特征提取的挑战，Peng 等人于 2023 年开发了 U-Shape 模型，该模型将基于 Transformer 的自注意力机制嵌入到 U-Net 架构中，并采用通道和空间注意力模块来提高增强图像的色彩准确度和视觉真实感 [15]。2024 年，Zhao 等人提出了 MSFE-UIENet，引入了金字塔下采样模块进行多尺度特征捕获，并通过前向和后向分支优化梯度传播，从而进一步加强模型的多尺度表征能力 [16]。2025 年，Wang 等人提出了 OUNet-JL，将多个残差模块集成到 U-Net 框架中以增强其细节表达能力。同时，采用嵌入通道注意力的空间多尺度模块来缓解色彩不平衡，并利用特征重构模块来提升图像去噪性能 [17]。根据现有文献，将包括多尺度特征提取和注意力机制在内的模块集成到 U-Net 架构中，显著增强了水下图像的色彩校正和细节恢复，在定量图像质量指标上取得了显著改进。然而，这些方法在表示浅层局部特征的能力上仍然不足，且编码器与解码器之间的特征融合往往不充分，导致增强结果的视觉质量仍有改进空间。
为了进一步改善水下图像增强的视觉质量，本研究提出了一种基于多尺度感知和自适应融合的水下协同网络（USNet）。USNet 通过 MPFM、ADFM 和 DATU 的协同操作，建立了整合退化感知、自适应特征融合和细节重建的协作优化框架。本研究的主要贡献总结如下：
(1) 我们提出了一个多尺度物理融合模块（MPFM），以实现物理先验与深度特征学习的有效融合。MPFM 将水下成像模型的物理先验融入特征学习过程，并利用学习到的衰减补偿和背景光校正参数对不同尺度的编码器特征进行自适应调制。此外，采用多尺度卷积结构来提取具有不同感受野的特征表示，增强了网络表征复杂水下退化特征的能力，并为后续特征融合提供信息丰富的表示。
(2) 我们提出了一个自适应双流融合模块（ADFM），以实现编码器特征和解码器特征之间的动态融合。ADFM 通过竞争性权重分配机制自适应地调整不同特征流的重要性，使网络能够选择性地集成信息丰富的编码器和解码器特征，同时抑制无效响应。这促进了编码器特征和解码器特征之间的有效交互和信息交换。
(3) 我们提出了一个方向感知纹理上采样模块（DATU），以增强解码阶段的细节恢复能力。DATU 通过特征增强、方向感知调制和融合重建来提高空间结构保留能力，有效地恢复纹理细节并减少高分辨率重建过程中的信息丢失。
章节片段
U-Net 基线模型
U-Net 最初由 Olaf Ronneberger 等人于 2015 年提出，最初应用于生物医学图像分割 [18], [19]。凭借其灵活的建筑设计和高计算效率，U-Net 已被广泛应用于多个领域的多样化图像处理任务。如图 1 所示，U-Net 的整体架构采用对称的编码器 - 解码器设计，其中利用跳跃连接有效地融合来自浅层的空间细节信息
网络架构
尽管 U-Net 凭借其编码器 - 解码器结构和跳跃连接在图像处理任务中取得了显著成功，但在处理复杂场景中的水下图像时，标准 U-Net 架构仍面临多种挑战。传统卷积结构由固定的几何布局定义，难以适应水下物体的多种形状以及光的波长依赖性衰减，这阻碍了网络
实验与结果分析
为了系统地评估所提 USNet 在水下图像增强方面的有效性和优越性，本章首先详细说明了实验设置并介绍了多个公共水下图像数据集。随后，USNet 与包括 UWCNN [31]、WaterNet [12]、USUIR [32]、SCNet [33]、TUDA [34]、DICAM [35]、AoSRNet [36]、OUNet-JL [17]、UDNet [37]、UIEDTRPADN[38] 和 WWE-UIE[39] 在内的十一种代表性方法进行了全面比较。所有比较方法均
结论
本研究提出了一种名为 USNet 的新型水下协同网络，该网络采用 U 形架构。它从多尺度退化感知、双特征竞争融合协作到高保真重建，构建了一条完整的增强链。网络的核心在于通过三个功能互补的模块实现多尺度感知与自适应融合之间的深度协同。具体来说，MPFM 嵌入到每个编码器阶段，其中
CRediT 作者贡献声明
仓吉超：撰写 – 初稿、可视化、验证、调查、概念化。孙兵和：撰写 – 审查与编辑、方法论。王汝刚：撰写 – 审查与编辑、监督、资金获取、概念化。王媛媛：监督、撰写 – 审查与编辑。周峰：资金获取、验证。边学生：验证。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本论文报告的工作。
仓吉超 | 孙兵和 | 王汝刚 | 王媛媛 | 周峰 | 边学生
