增强水下图像质量:一种结合多视图对比学习的双约束潜在扩散方法
《Expert Systems with Applications》:Enhancing underwater images: a dual-constraint latent diffusion approach with multi-view contrastive learning
【字体:
大
中
小
】
时间:2026年01月08日
来源:Expert Systems with Applications 7.5
编辑推荐:
水下图像增强框架融合多视图对比学习与双约束潜在扩散模型,通过对比学习增强编码器鲁棒性并提取结构感知、颜色鲁棒特征,潜在扩散模型协同优化细节恢复、结构清晰度和自然颜色校正,抑制伪影。实验表明UIQM得分优于SOTA方法,并在UTDAC2020下游任务中提升mAP最高达17.6%。
中国海洋大学信息科学与工程学院,青岛 266100,中国
摘要
由于光线的折射、吸收以及悬浮颗粒的散射,水下图像常常会出现细节丢失、对比度差和颜色失真等问题。这些退化现象严重阻碍了水下视觉任务的执行,而复杂的成像机制和有限的数据使得图像增强变得尤为具有挑战性。为了解决这些问题,本文提出了一种新的框架,该框架将多视图对比学习与双约束潜在扩散模型相结合。多视图对比学习策略通过最大化各视图之间的互信息来增强编码器的鲁棒性,而潜在扩散模型则同时受到原始水下图像和从对比学习中提取的判别特征的引导。这种双重机制有效地恢复了细节,提高了结构清晰度,并在抑制伪影的同时实现了自然色彩校正。在多个基准数据集上的实验表明,DCLDM-6v的性能优于现有方法:在UIEB890(Li等人,2019年)(3.125分)和UIEB_Challenging-60(Li等人,2019年)(3.124分)中排名第一,在RUIE_UCCS(Zhang等人,2020年)中排名第二(3.094分)。在UTDAC2020(Li等人,2021年)上的下游检测实验中,增强后的图像使得mAP50提高了0.714–17.6%,证明了其在水下环境中具有更强的特征区分能力和鲁棒性。
引言
光线在雾、霾、烟雾和水等散射介质中传播时会发生显著退化,表现为细节丢失、对比度差、能见度低和颜色失真。虽然大气条件(如雾或霾)也会出现类似问题,但水下图像的退化带来了额外的复杂性(Jaffe,1990年)。水中的光衰减系数随波长不同而变化,导致明显的颜色失真(Smith和Baker,1981年)。这些挑战阻碍了诸如海洋资源开发、水下物体检测和水下航行等多种基于视觉的任务(Shkurti等人,2012年;Cui等人,2023年)。因此,水下图像增强对于提高水下观测质量至关重要。它是海洋技术的一个关键组成部分,在水下计算机视觉领域有着广泛的应用需求。
水下图像增强方法大致可以分为三类:基于物理的方法、基于视觉先验的方法和数据驱动的方法。然而,现有方法仍存在诸多局限性。基于物理的方法估计水下成像过程的参数(如介质透射率和背景光强度,Zhang等人,2014年),但通常依赖于简化的假设(Galdran等人,2015年),这限制了它们的适用性和准确性。例如Sea-thru(Akkaynak和Treibitz,2020年)展示了基于物理模型的优势,但需要高质量的深度数据,而这些数据在实践中往往难以获得。
基于视觉先验的方法通过调整像素值来提高对比度、亮度和饱和度(Henke等人,2013年;Wang等人,2023年),但由于忽略了物理衰减过程,可能会产生不准确的颜色和伪影。这些局限性凸显了传统先验驱动方法的固有瓶颈,并促使人们开发基于学习的框架,这些框架从数据中挖掘非线性退化的规律,以实现更强大的增强效果。
数据驱动的方法利用深度学习直接从数据中学习非线性退化模式,可以分为监督学习和无监督学习两种方法。然而,监督学习需要大量成对的退化图像和清晰图像数据集,而这些数据集的获取既困难又成本高昂。环境因素(如光照和水质)的变化还会引入领域偏移,进一步增加了监督学习的复杂性。因此,早期的研究通常采用无监督框架,如UGAN(Fabbri等人,2018年)和UDnet(Saleh等人,2012年),这些框架无需成对数据,但容易产生伪影和不稳定结果。
最近的数据集构建工作(Islam等人,2020年;Islam等人,2002年;Li等人,2019年)试图缓解这些问题。EUVP(Islam等人,2020年)和UFO-120(Islam等人,2002年)通过风格迁移模拟生成参考图像,而UIEB(Li等人,2019年)则通过人类对多种增强效果的评估来选择参考图像。尽管如此,这些数据集仍因主观偏见和生成过程的限制而难以提供可靠的真实值。Atlantis(Zhang等人,2024年)通过结合精确的深度信息和扩散模型的生成多样性,提供了高质量的水下合成数据,并将自然生物元素融入场景中。然而,其对真实水下环境的追求引入了遮挡物(如藻类),这可能妨碍了旨在恢复物体真实外观的恢复任务。因此,基于现有数据集训练的监督模型仍然难以在多样的水下场景中实现稳定和一致的性能。
为了应对这些挑战,最近在自监督对比学习(Radford等人,2013年;Chen等人,2020年;Tian等人,2020年)和扩散模型(Ho等人,2020年;Saharia等人,2022年;Ho等人,2024年)方面的进展为水下图像增强开辟了新的可能性。对比学习利用数据中的内在信息来学习特征表示,无需大量标注的数据集,特别适用于标记数据有限的场景。同时,扩散模型在图像生成和合成任务中表现出色。尽管在低级视觉任务中仍存在伪影等挑战,但扩散模型在水下图像增强方面展现了巨大潜力。
基于这些进展,本文提出了一种新的方法,将潜在扩散模型与多视图对比学习相结合。具体来说,我们设计了具有退化感知能力的多视图表示,并将其纳入双约束潜在扩散过程中,以明确解决水下图像增强的独特挑战。
我们的贡献可以总结如下:
- 1. 双约束潜在扩散模型用于UIE:我们设计了一个双约束潜在扩散框架,通过通道连接将噪声较大的潜在表示与水下潜在特征融合,同时通过交叉注意力注入通过对比学习提取的细粒度特征。这使得去噪和稳定伪影抑制更加有效。
- 2. 退化感知多视图对比学习:我们提出了一种原理性的“退化视图”映射方法,能够在有限的监督下学习到具有结构感知能力和抗颜色偏移能力的表示。
- 3. 扩散学习和对比学习之间的互补协同:我们实现了潜在扩散模型与多视图对比学习的创新集成,从而在多样的水下条件下提高了视觉质量和泛化能力。
通过这种方法,本文在水下图像增强方面取得了显著改进,成功解决了特征学习、颜色校正和重建保真度等关键问题,如图1所示。
相关工作
相关工作
近年来,水下图像增强受到了广泛关注,提出了多种方法来应对散射介质带来的挑战。以下方法展示了所探索的各种途径:
方法论
本节详细介绍了本研究的方法论,旨在提高水下图像重建的准确性和清晰度。该方法论包括两个主要组成部分:1)使用多视图对比学习提取水下图像的细粒度特征;2)通过双约束潜在扩散模型进行水下图像增强
合成训练数据集的构建和多视图扩展
本研究指出了现有水下图像数据集中存在的几个问题,包括参考图像的颜色偏差和主观人为因素的影响。这些问题限制了水下图像处理模型的性能。
为了解决参考数据的问题,我们建议使用清晰的陆地图像作为理想参考,并通过非配对图像到图像的转换来构建合成水下训练数据集。
结论
本研究提出了一种统一的框架,将多视图对比学习与双约束潜在扩散模型相结合,用于水下图像增强。通过结合具有退化感知能力的多视图表示和双重指导,该方法恢复了细节,增强了对比度,并在中等到高度浑浊的水下条件下实现了自然色彩校正(例如,公共数据集中的典型场景和近距离海试)。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文的研究工作。
致谢
本研究部分得到了中国国家自然科学基金(项目编号62471447)和山东省自然科学基金(项目编号ZR2021MF080)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号