通过双分支学习分离颜色和结构,实现高保真水下图像修复

《Ocean Engineering》:Decoupling color and structure via dual-branch learning for high-fidelity underwater image restoration

【字体: 大 中 小 】 时间:2026年09月22日 来源:Ocean Engineering 6.3

编辑推荐:

  •一种双分支RGB-灰度网络将颜色和结构分离。•基于小波的旁路模块的ERB增强了高频细节。•双向动态融合模块融合了跨域特征。•在仅使用0.499M参数的情况下,达到了72 FPS的竞争力性能。引言由于在水下探索、水下机器人技术以及自主水下导航中发挥的关键作用,水下图像增强(UIE

  
  • •
    一种双分支RGB-灰度网络将颜色和结构分离。
  • •
    基于小波的旁路模块的ERB增强了高频细节。
  • •
    双向动态融合模块融合了跨域特征。
  • •
    在仅使用0.499M参数的情况下,达到了72 FPS的竞争力性能。

引言

由于在水下探索、水下机器人技术以及自主水下导航中发挥的关键作用,水下图像增强(UIE)已成为一个基础的低级视觉任务(Ding等人,2024年;Sultan等人,2025年;Chen等人,2025年)。水下视觉数据的质量直接影响后续操作(如物体检测、语义分割和视觉SLAM)的准确性和效率(Xu等人,2023年;Islam等人,2020a年;Zhang等人,2022年)。然而,在水下环境中捕获的图像通常会因波长依赖性的光吸收和散射而严重退化。这些物理现象导致颜色失真、对比度降低、模糊以及细节丢失,其严重程度会随着深度、水质浑浊度和光照条件的不同而变化(Raveendran等人,2021年)。
传统的水下图像增强方法可以大致分为三类。传统的图像处理技术,如直方图均衡化(Pizer等人,1987年)和基于Retinex的模型,直接在像素域中操作,但未能解决水下退化的根本物理原因。物理驱动方法(Jaffe,1990年;Drews等人,2016年;Peng和Cosman,2017年)对水下成像过程进行建模,并估计背景光和传输图等参数。基于先验的方法(He等人,2010年;Li等人,2016年;Wang等人,2017年;Zhou等人,2018年)根据统计图像先验构建增强规则。尽管这些方法具有高可解释性和计算效率,但其性能受到手动设计范式的根本限制。参数估计错误、复杂条件下的无效先验以及较差的泛化能力限制了它们在现实世界场景中的应用。
深度学习的出现显著推动了UIE领域的发展。数据驱动方法从大规模的成对数据集中学习复杂的非线性映射,无需大量参数估计即可实现卓越的性能。已经探索了各种网络架构,包括卷积神经网络(CNNs)(Liu等人,2019年;Karthikeyan等人,2025年;Mu等人,2023年)、Transformer(Zhang等人,2024年;Zamir等人,2022年)和生成对抗网络(GANs)(Lai等人,2023年)。最近的研究还探讨了空间-频率交互机制以提高恢复质量(Guan等人,2026年)。尽管取得了这些进展,现有的深度学习方法仍然面临关键限制。首先,大多数方法采用单分支架构,在相同的特征空间中处理颜色和结构信息。这迫使模型在色彩校正和结构恢复之间进行折中,因为这两个目标在优化过程中常常相互冲突。其次,多尺度特征通常使用静态权重或简单连接进行融合,导致细粒度细节的恢复不够理想。第三,很少有方法在增强过程中明确区分低频和高频分量,使得在恢复清晰纹理的同时难以抑制模糊伪影。第四,尽管提出了一些多分支设计,但其特征融合机制未能充分利用分支之间的互补信息,导致特征干扰和集成效果不佳。
与依赖简单连接或静态融合的现有多分支方法不同,我们的创新之处在于采用了一种带有相互关注和可学习门控的双向动态融合策略,能够自适应地整合互补信息而不会产生跨域干扰。
为了解决这些限制,我们提出了水下双分支高频增强网络(UDHE),这是一种轻量级架构,它明确地将颜色恢复与结构恢复分离。该网络并行处理退化的RGB图像及其对应的灰度表示。灰度图像提供了本质上不含色彩偏置的结构和光照先验,有效地将结构梯度学习与颜色校正分离。虽然灰度表示不可避免地从其RGB衍生计算中继承了整体强度衰减,但其主要作用是消除色彩校正和结构恢复之间的优化冲突——这是单分支方法面临的一个严重问题。这种设计允许RGB分支专注于颜色恢复,而不影响边缘的清晰度,而灰度分支则提供明确的结构线索。
我们的UDHE包含三个核心模块。高效残差块(ERB)采用基于小波的频率旁路,利用离散小波变换(DWT)将特征分解为子带。通过丢弃低频分量并放大三个高频子带(HL、LH、HH),ERB有效增强了衰减的边缘和纹理。跨尺度注意力(CSA)模块利用低分辨率的深度语义特征指导高分辨率的浅层特征,确保恢复的局部纹理与全局场景在语义上保持一致。双向动态融合模块(BDFM)采用相互关注机制进行特征校准和动态门控机制进行自适应融合。BDFM不是简单地连接或加权求和,而是允许网络在光照良好的区域选择干净的颜色信息,并在严重退化的区域依赖灰度结构线索,从而有效防止跨域干扰。
为了网络优化,我们设计了一个混合损失函数,结合了加权颜色通道特定的L1损失(Pramanick等人,2025年)、SSIM损失(Wang等人,2004年)、感知损失(Johnson等人,2016年)以及非匹配对比损失(Zhou等人,2024年)。这种复合损失提供了从低级像素保真度到高级语义一致性的多层次监督。
本工作的主要贡献总结如下:
  • •
    我们提出了UDHE,这是一种新颖的双分支水下图像增强网络,通过并行的RGB-灰度处理明确分离颜色和结构,不同于依赖简单连接或静态融合的现有多分支方法。灰度分支提供了不含色彩偏置的结构先验,有效解决了单分支架构中固有的色彩校正和结构恢复之间的优化冲突。
  • •
    我们设计了三个专用模块:基于小波的频率旁路的ERB用于明确的高频补偿,CSA用于语义引导的多尺度特征对齐,以及带有相互关注和动态门控的BDFM用于自适应的跨域特征融合。
  • •
    我们设计了一个混合损失函数,结合了L1损失(Pramanick等人,2025年)、SSIM损失、感知损失和对比损失,提供了从低级纹理到高级语义的监督。
  • •
    在UIEB(C. Li等人,2019年)、U45、UCCS(Liu等人,2020年)和LU100(Zhou等人,2025年)数据集上的广泛实验表明,UDHE在仅使用0.499M参数的情况下达到了72 FPS的推理速度,并取得了23.97 dB的PSNR和0.9154的SSIM,优于现有方法,同时满足了实时处理要求。
本文的其余部分组织如下。第2节回顾相关研究。第3节详细介绍了所提出的方法。第4节展示了实验结果和分析。第5节对本文进行了总结。

部分摘录

相关工作

本节回顾了水下图像增强方面的先前研究,涵盖了传统方法、基于深度学习的方法、频域技术、注意力机制和损失函数设计。

提出的方法

为了解决水下环境中严重的色彩偏移和细节退化问题,我们提出了水下双分支高频增强网络(UDHE)。如图1所示,该网络的总体架构利用双分支设计并行处理退化的RGB图像及其对应的灰度表示。这种分离策略有效地将结构恢复与颜色校正分开。

设置

数据集。使用了四个数据集进行全面评估,涵盖了不同的水下场景:
UIEBD(C. Li等人,2019年):作为第一个广泛采用的实际水下数据集,它包含950张图像,其中890张图像被随机分为训练集和测试集(T90,90张图像),使用固定随机种子1143;60张未配对图像被指定为挑战数据集(C60)。
U45(H. Li等人,2019年):包含45张未配对图像的测试集,具有绿色调,光线较暗,

结论

在本文中,我们提出了UDHE,这是一种双分支水下图像增强网络,它明确地将颜色和结构分离,解决了色彩校正和结构恢复之间的固有优化冲突。灰度分支提供了不含色彩偏置的结构先验,而RGB分支负责颜色恢复。介绍了三个核心模块:高效残差块及其基于小波的频率旁路,用于明确的高频处理

CRediT作者贡献声明

Haotian Sun:撰写——原始草稿,验证,软件,方法论,研究。Linlin Qi:撰写——审稿与编辑,监督,概念化。Tao Liu:撰写——审稿与编辑,监督,概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
Haotian Sun|Linlin Qi|Tao Liu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号