《Optics & Laser Technology》:Real-UDPM: real-time underwater image enhancement based on fast conditional denoising diffusion probabilistic model
编辑推荐:
水下图像增强模型Real-UDPM基于条件去噪扩散概率模型,通过改进扩散过程和引入轻量级网络,实现四步采样和30 FPS实时处理,在多个数据集上达到最优性能。
Baizhong Chen | Chonglei Wang | Chunyu Guo | Yumin Su
哈尔滨工程大学船舶工程学院,中国哈尔滨南岗区南通街145号,150001
摘要
水下图像增强(UIE)旨在恢复因颜色失真、雾气和散射而退化的图像,使其在视觉上更加清晰,并在语义上进行增强。本文提出了基于条件去噪扩散概率模型(CDDPM)的实时水下图像增强模型Real-UDPM。特别地,本文提出了一种条件正向扩散(CFD)过程,将语义指导融入噪声分布中,以改进对水下退化的建模。同时,反向推理采用了可变无分类器指导(variable-CFG)重新设计,使得条件信息强度能够动态调整,并减少采样过程中的误差累积。最后,引入了Fast-UIE作为一种轻量级增强网络,引导反向扩散过程以改善细节恢复和增强色彩保真度。基于常微分方程(ODE)的加速采样策略仅需四步即可生成高质量图像。在公开数据集上的测试结果表明,Real-UDPM在视觉质量和定量性能方面表现出色,支持实时增强,并在UIE领域具有竞争力。这些结果证实了Real-UDPM在实时水下视觉应用中的有效性和实用性。
引言
由于水下环境的严峻挑战,UIE已成为一个关键的研究焦点。光吸收、散射和波长依赖的衰减等因素会显著降低图像质量,导致能见度降低、颜色失真和细节丢失[1]、[2]、[3]。这些问题限制了关键应用(如海洋探索、水下机器人技术和生态监测)的效果。因此,开发有效的UIE方法对于生成既具有视觉可解释性又具有分析鲁棒性的水下图像至关重要。现有方法通常包括使用图像增强技术处理退化图像[5]、[6],或构建退化模型来估计清晰图像[7]、[8]、[9]。
深度学习方法彻底改变了图像增强领域,近年来生成对抗网络(GAN)成为主流方法[10]。基于GAN的方法通过学习退化图像和增强图像之间的映射,在生成视觉上吸引人的结果方面取得了显著成功[11]、[12]。然而,GAN存在一些固有缺陷:训练不稳定、对超参数敏感以及模式崩溃等问题,这些限制了其持续生成高质量结果的能力。此外,它们的对抗性质往往会影响增强过程的可控性和可解释性,而这对于UIE等特定领域应用至关重要。
扩散模型在图像生成、超分辨率、着色和恢复等任务中表现优于生成对抗网络(GAN),生成的Frechet Inception Distance(FID)和Inception Score(IS)值优于GAN[13]、[14]、[15]、[16]。CDDPM采用原理性的概率框架来建模数据分布,从而在图像生成过程中提供更大的多样性、稳定性和可控性[23]、[24]、[54]、[64]。
尽管有这些优势,CDDPM仍面临两个限制:(1)反向扩散过程的迭代性质导致计算成本高,使其不适合实时应用;(2)由于缺乏领域特定的适应性,其直接应用于UIE受到限制。尽管最近的研究引入了如无分类器指导(CFG)等技术来改进条件生成,但这些方法在反向扩散过程中往往引入累积误差,从而影响增强质量。
为了解决这些挑战,本文提出了基于快速条件去噪扩散概率模型(Real-UDPM)的实时水下图像增强方法,通过将任务重新定义为在水下退化条件下的后验采样过程来适应UIE。通过引入加速采样策略解决了计算效率低的问题,显著减少了推理时间。为了提高领域适用性,实施了校正机制variable-CFG,以减轻CFG引起的误差累积,从而实现更准确和稳定的增强结果。此外,利用新提出的正向扩散过程推导出了一种基于ODE的条件反向推理方程,仅需四次采样迭代即可生成高质量图像。Real-UDPM满足了实时增强的要求,并通过实验得到了广泛验证,在定性和定量评估中始终达到最先进(SOTA)的性能,如图1所示。实验结果表明,Real-UDPM在定性和定量指标上均达到了最先进(SOTA)的性能,为水下图像增强树立了新的标准。在实际工程应用中,Real-UDPM能够实时有效增强水下图像,为水下机器人探索提供可靠的视觉输入。本文的主要贡献可以总结如下:
本文提出了一种基于CDDPM的实时水下图像增强模型Real-UDPM,能够在复杂的水下退化条件下有效恢复高质量图像。
通过集成条件正向扩散(CFD)、可变无分类器指导(variable-CFG)和轻量级Fast-UIE网络,重新设计了扩散过程,以提高采样效率、输出稳定性和感知质量。
Real-UDPM在五个公开基准测试(Test-UIEB [39]、Test-UFO [40]、Test-U45[42]、Test-EUVP [41]、Test-UIQS [50])中表现出最先进(SOTA)的性能,实现了30 FPS的实时增强,并显著改善了后续任务(如目标检测)的效果。
相关工作
相关工作
UIE旨在缓解水下环境中的挑战,如光吸收、散射和波长依赖的衰减。这些因素导致能见度差、对比度低和严重的颜色失真,因此需要有效的增强技术来应用于水下探索、机器人技术和生态监测等领域。现有的UIE方法可以分为三大类:传统方法、基于深度学习的方法
概述
所提出的Real-UDPM方法与传统的CDDPM不同,如图2所示。在该方法中,条件图像和参考图像同时被引入正向扩散过程。随着扩散步骤t的增加,条件图像对噪声分布的影响逐渐增强,这一过程由一个缩放参数控制。在反向扩散过程中,采用了CFG来调节条件输入——这是一种在先前研究中得到广泛验证的技术
实施细节
为了有效地训练我们提出的水下图像增强模型,我们使用了公开可用的UIEB数据集[36],该数据集包含890对未配对的水下失真图像及其对应的高质量参考图像。这个数据集提供了多样化的水下场景和退化类型,为模型训练和初步评估提供了可靠和全面的基础。
结论
在这项工作中,我们提出了基于条件扩散的实时水下图像增强模型Real-UDPM。通过优化CDDPM框架以适应UIE任务,Real-UDPM实现了高达30 FPS的高质量增强,适用于实时水下应用。该模型集成了三个关键组件:条件正向扩散(CFD)、可变无分类器指导(variable-CFG)和Fast-UIE网络。具体来说,CFD将语义条件引入
CRediT作者贡献声明
Baizhong Chen:撰写——审阅与编辑,撰写——原始草案,概念构思。Chonglei Wang:监督,数据管理。Chunyu Guo:撰写——原始草案,监督,软件开发。Yumin Su:项目管理,方法论。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究得到了海南省重点研发项目(项目编号ZDYF2024GXJS011)、海南深海技术创新中心(项目编号DSTIC-CYCJ-2022007)、国防科技创新特区项目以及青岛西海岸大学校长基金的支持。