《Optics and Lasers in Engineering》：Underwater image enhancement based on the degradation-aware reverse diffusion optimization
编辑推荐：
•提出了一种感知自适应反向轨迹优化（PARTO）方法，用于评估潜在空间中的水下图像退化情况，并确定去噪起始点，从而在保持重建质量的同时减少不必要的扩散步骤。•设计了一种噪声伪影解耦预测网络（NADP-net），旨在将噪声预测与伪影残差校正分开处理，提升复杂水下场景的去噪精度和结构
- •
提出了一种感知自适应反向轨迹优化（PARTO）方法，用于评估潜在空间中的水下图像退化情况，并确定去噪起始点，从而在保持重建质量的同时减少不必要的扩散步骤。
- •
设计了一种噪声伪影解耦预测网络（NADP-net），旨在将噪声预测与伪影残差校正分开处理，提升复杂水下场景的去噪精度和结构恢复效果。
- •
提出了一种多通道颜色校正模块（MCCM），用于恢复潜在压缩过程中丢失的颜色，提升颜色一致性和视觉真实度。在UIEB和EUVP数据集上的测试表明，该模块能有效减轻水下图像增强过程中的颜色损失和偏差。
引言
水下光学成像技术凭借其快速成像的优势，已成为众多领域（如海洋资源勘探、海洋生物研究以及水下环境监测等）中不可或缺的重要技术手段。然而，由于恶劣的成像条件[1]、[2]，水下图像往往存在严重的噪声问题且对比度较低[1]、[2]，这会导致细节丢失和颜色失真[3]、[4]，进而降低图像质量[5]、[6]。水下图像增强（UIE）旨在提升这些退化图像的质量[7]，这对于后续的计算机视觉任务，如物体检测与识别、图像分割及相关应用而言具有重要作用[8]、[9]。
目前，水下图像增强方法大致可分为两类：传统方法和基于深度学习的方法[10]。典型的传统方法[11]、[12]、[13]虽能在一定程度上恢复图像，但它们严重依赖先验知识，参数估计的准确性会显著影响最终结果。
深度学习方法也被应用于水下图像增强领域。基于卷积神经网络（CNN）的模型[14]、[15]、[16]难以模拟长距离的颜色关联，从而导致局部细节模糊且对比度低。基于生成对抗网络（GAN）的模型[17]、[18]、[19]由于模型容量有限，增强效果不佳。基于Transformer的模型[20]、[21]、[22]虽然能够扩大感受野，但由于存在二次复杂度问题，不适合在轻量级平台上实现实时部署。而基于Mamba的模型[23]、[24]、[25]则通过线性复杂度实现全局感受野，从而达成图像增强效果。尽管这些方法能提升水下图像的清晰度，但通常忽视了颜色信息处理，导致增强后的图像出现明显的颜色偏差。
近年来，扩散模型[26]、[27]逐渐成为各类图像生成与增强任务中的最先进基准方法[28]、[29]。在图像着色和图像修复等其他图像处理任务中，基于扩散的方法也优于GAN，能够带来更理想的成果[30]。同样，在超分辨率[31]和图像到图像转换任务[32]中，基于扩散的方法也表现出比GAN更优异的性能。不过，尽管扩散模型在多种任务中表现优异，但它们仍存在一个普遍存在的问题：其推理过程相对耗时，这限制了其在需要实时图像增强的场景中的应用。
为充分利用扩散模型的优势来解决UIE任务，我们最初尝试将未经修改的潜在扩散模型（LDM）[33]应用于UIE任务，但发现其增强效果并不理想。因此，我们对去噪流程进行了改进，开发出了专为UIE设计的扩散模型——FAP-LDM。在基准数据集上的定性与定量评估均证明了该方法的有效性。与其他先进的水下图像增强方法相比，FAP-LDM在提升颜色和细节恢复效果的同时，还能加快去噪速度。本文的主要贡献如下：
- (1)
提出了感知自适应反向轨迹优化（PARTO）策略，该策略通过引入潜在空间退化感知机制以及信噪比引导的轨迹匹配机制，自适应地优化反向扩散过程，大幅减少冗余采样，同时保持高质量的图像重建效果。
- (2)
设计了噪声伪影解耦预测网络（NADP-net），在反向扩散过程中分别对高斯噪声和水下特有的伪影进行建模，从而提升去噪精度和结构恢复性能。
- (3)
提出了多通道颜色校正模块（MCCM），用于解决图像颜色偏色的问题。该模块通过提取全局颜色统计信息来调整潜在表示，从而缓解潜在空间中维度降低所带来的颜色信息损失。
本文的其余部分结构如下：第2节介绍所提出的方法；第3节通过实验分析验证该方法的有效性；最后第4节对全文进行总结。
章节要点
所提出的方法
本文提出了一种基于感知退化和反向扩散的水下图像增强网络，该网络构建在潜在扩散模型之上，其整体架构如图1所示。FAP-LDM依然遵循扩散模型的基本原理，即正向添加噪声和反向去除噪声。上层分支对应正向扩散过程，而下层分支则代表具备退化感知能力的引导式反向扩散。
数据集与评估指标
本文采用了两种广泛使用的水下图像增强基准数据集，即水下图像增强基准集（UIEB）[10]和增强水下视觉感知数据集（EUVP）[17]。UIEB数据集包含890对原始水下图像及其对应的参考图像，还有60张严重失真的水下图像。从视觉上看，大多数原始水下图像都存在蓝绿色偏色现象，此外还存在由
结论
本文提出了一种名为FAP-LDM的水下图像增强框架，旨在解决将扩散模型应用于水下场景时所面临的颜色失真、结构模糊以及计算成本过高的问题。具体而言，该框架引入了PARTO方法，该方法能够根据每张输入图像的退化程度动态确定反向扩散过程的起始点，有效避免不必要的
CRediT作者贡献说明
刘宝：撰写——审阅与编辑、指导、项目管理、方法设计、资金获取、概念构思。韩晓宁：撰写——初稿撰写、可视化处理、结果验证、软件工具使用、资源收集、调查研究、正式分析、数据整理。吴子伟：结果验证、方法设计、数据整理。刘强：可视化处理、正式分析。
利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。
致谢
本研究部分得到了国家自然科学基金（编号：52574166）以及北林区科技计划项目（编号：GX2231）的支持。
Bao Liu|Xiaoning Han|Ziwei Wu|Qiang Liu
