WaveDiff：基于小波引导的潜在扩散与傅里叶细节增强的水下图像处理方法

《Computers & Graphics》：WaveDiff: Wavelet-guided latent diffusion with Fourier detail enhancement for underwater images

　　**摘要**- 我们提出了一种小波引导的潜在扩散框架，用于水下图像增强。- 我们采用具有通道注意力和空间注意力的混合U-Net进行全局-局部建模。- 我们设计了一个高频精炼模块（HFRM），用于建模跨频率交互并恢复精细细节。## 引言水下光学成像对于探索、监测和保护海洋资源至关重要[1], [2]。然而，水对不同波长的光吸收不同，这通常会导致水下图像出现严重的颜色失真。此外，浑浊水体中的散射会进一步降低视觉质量，导致模糊和精细细节丢失[3]。因此，在保持颜色鲜艳、结构清晰、纹理丰富的前提下获取高质量图像，仍然是水下图像增强（UIE）中一项极具挑战性但至关重要的任务，这对于联合增强与描述等下游应用同样不可或缺[4]。近年来，深度学习已成为UIE的主要方法[5]，并推动了如轨迹关联等任务的进展[6]。基于CNN的方法能够有效学习端到端映射并恢复局部结构[7]，但其有限的感受野使其难以捕捉全局退化模式，也难以应对复杂水下环境中存在的不确定性[8]。Transformer架构最初应用于自然语言处理，后来被适配到视觉任务中，能够通过自注意力建模长距离依赖关系，并取得了令人瞩目的复原效果[9], [10]。状态空间模型（如VMamba）也已被用于探索UIE[11]。然而，其二次方计算复杂度使其难以扩展至高分辨率图像，且其单步确定性映射往往不足以逐步精炼严重退化的水下图像[12]。最近，基于扩散的模型在UIE方面展现出强大的潜力，得益于其通过逐步去噪过程逐渐消除退化的能力[13], [14]。例如，视觉-文本融合已被整合到UIE的扩散流程中[15]及相关复原任务中[16]。这种渐进式方案有助于恢复场景的整体结构，使其在处理水下图像的颜色失真和能见度下降方面尤为有效。尽管具有上述优势，扩散模型仍存在若干固有局限，阻碍了其在UIE任务中的直接应用。具体而言，(a) 当应用于具有复杂退化的水下图像时，像素域的迭代去噪缺乏空间自适应性，无法区分低频和高频区域，导致高频纹理被过度平滑，精细细节丢失[17], [18]；(b) 此外，大多数扩散模型依赖U-Net骨干网络，其对长距离依赖建模和跨通道交互的能力有限，制约了有效特征表示，导致细节不稳定和空间不一致性[19], [20]。从根本上说，这些局限反映了现有扩散框架在复杂退化条件下缺乏对全局结构和高频细节进行统一建模的能力，因此有必要开发一种专门为UIE量身打造的扩散框架。因此，本文提出了一种高效且有效的小波引导潜在扩散与基于傅里叶的细节增强模型，用于增强水下图像，命名为WaveDiff。在此，"潜在"指的是确定性的小波表示，而非学习得到的自编码器潜在空间：两级离散小波变换（DWT）将输入分解为多尺度频率分量，扩散仅在紧凑的第二级低频子带（LL?）上进行。低频分量通过扩散过程逐步增强以恢复整体颜色和光照，而高频分量则在频谱域中精炼以保持精细纹理和局部细节。为改善扩散过程中的结构一致性，我们采用具有通道注意力和空间注意力的混合U-Net，其中通道注意力维持稳定的颜色关系，空间注意力保持局部结构和精细细节。此外，为加强高频结构的跨尺度传播，我们引入了高频精炼模块（HFRM），该模块捕捉跨频率交互，确保关键的高频结构模式在各尺度上得到有效保持。最后，使用逆离散小波变换（IDWT）恢复空间分辨率并重建增强后的图像。总体而言，WaveDiff在高效恢复全局颜色和光照的同时保留了精细纹理和结构细节，为UIE的挑战提供了一个全面的解决方案。综上所述，本文的主要贡献如下：- 我们提出了一种用于水下图像增强的小波引导潜在扩散框架，该框架显式分离结构恢复与细节恢复，以解决传统扩散模型的局限性，实现了具备细节保真度增强的结构感知生成。- 我们开发了一种混合U-Net，采用统一特征调制方案整合通道注意力和空间注意力，实现了跨维度交互协调，改善了结构-细节表示。- 我们引入了高频精炼模块（HFRM），用于显式建模高频域的跨频率交互，促进结构化细节重建，并增强细粒度纹理一致性。本文结构如下：第2节介绍相关工作，第3节描述所提方法，第4节呈现实验结果与分析，第5节总结全文。## 章节摘要### 相关工作近年来，水下图像增强（UIE）方法大致可分为基于物理模型或手工先验的传统方法，以及从数据中自动学习表示的机器学习方法。本节首先简要概述传统方法，然后对代表性机器学习技术进行详细综述，包括基于CNN、基于Transformer和基于扩散的方法。### 所提方法传统的水下增强扩散模型倾向于通过将所有频率一视同仁地处理而过度平滑精细纹理。WaveDiff的灵感来源于一种频率感知设计，将低频颜色/光照恢复与高频细节精炼解耦。这种显式分离解决了结构-细节冲突，并使各分支能够独立优化。### 实验设置- **数据集：** 本工作中，我们在两个真实水下基准数据集UIEB [7]和EUVP [50]上训练所提的WaveDiff。UIEB包含890张带有对应参考图像的真实水下图像。在我们的设置中，约80%的图像用于训练，10%用于验证，10%用于测试（U90）。EUVP由2150对具有多种退化的水下图像组成；类似地，我们采用80%、10%、10%的训练、验证和测试划分（E200）。为进一步评估泛化能力……### 结论本文提出了WaveDiff，一种小波引导的潜在扩散框架，将低频恢复与高频细节精炼解耦。通过整合两级DWT、具有空间-通道注意力的混合U-Net以及高频精炼模块，WaveDiff在有效恢复全局外观的同时保留了精细图像细节。实验结果表明，WaveDiff在多个基准上取得了有竞争力的性能，其中尤其突出的结果是……### CRediT作者贡献声明**闫晓红：** 撰写——初稿，资金获取。**屈仁腾：** 撰写——初稿，方法论。**朱欣然：** 软件。**臧俊浩：** 可视化，调查。**严晓鹏：** 资源，资金获取。**李凤琪：** 撰写——审稿与编辑。### 利益冲突声明作者声明，不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。### 致谢本工作部分由辽宁省科技计划联合项目（编号：2025-MSLH-138，2025-BSLH-100，2025-BSLH-101）、辽宁省应用基础研究项目（编号：2023JH2/101300188）、辽宁省高校基本科研业务费（编号：LJ212410150024，LJKQZ20222447）以及辽宁省自然科学基金（编号：2024-MS-168）资助。**作者：** 闫晓红 | 屈仁腾 | 朱欣然 | 臧俊浩 | 严晓鹏 | 李凤琪