单步潜在扩散算法用于水下图像修复

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Single-Step Latent Diffusion for Underwater Image Restoration

　　

摘要：

水下图像恢复算法旨在恢复在水下拍摄的场景的颜色、对比度和外观。这些算法在从海洋生态学和水产养殖到水下建筑和考古学等应用中都是至关重要的工具。虽然现有的基于像素域的扩散图像恢复方法在恢复深度变化较小的简单场景时效果较好，但它们计算量大，并且在应用于具有复杂几何形状和显著深度变化的场景时通常会产生不真实的伪影。在这项工作中，我们通过结合一种新颖的网络架构（SLURPP）和一个精确的合成数据生成流程来克服这些限制。SLURPP结合了预训练的潜在扩散模型（这些模型对场景的几何形状和深度有很强的先验知识）和显式的场景分解方法，从而能够模拟和解释光衰减和反向散射的效果。为了训练SLURPP，我们设计了一个基于物理原理的水下图像合成流程，该流程将各种真实的水下退化效果应用于现有的陆地图像数据集。这种方法能够生成具有密集介质/退化注释的多样化训练数据。我们在合成数据和真实世界基准测试中广泛评估了我们的方法，并展示了其先进的性能。值得注意的是，SLURPP的性能比现有的基于扩散的方法快200×，同时在合成基准测试中的PSNR（峰值信噪比）提高了～3分贝。此外，它在真实世界数据上也显示出令人信服的定性改进。

引言

由于光线吸收、散射和颜色失真等原因，水下环境的视觉质量普遍下降，这使得水下图像恢复成为一项关键任务。这些退化现象严重妨碍了视觉感知，使得计算机视觉系统难以准确解析水下场景。水下图像的恢复对于许多应用都至关重要，包括海洋生物学研究、水下考古学、环境监测、自主水下航行（AUV）和水下机器人技术等。然而，由于水的复杂光学特性（这些特性会随着深度、浑浊度和光照条件的变化而变化），水下图像恢复本身就具有难度[1]。传统的基于模型的方法依赖于物理先验[2]，但在跨不同水下场景进行泛化时往往遇到困难。最近，基于学习的方法通过利用数据驱动的先验取得了有希望的结果，但仍面临缺乏真实数据、领域偏移和可解释性差等问题。这些限制凸显了需要更强大且更具泛化能力的方法，以适应水下场景的复杂退化情况。