用于水下图像增强的移位窗局部与全局状态空间模型

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Shift-Window Local and Global State Space Model for Underwater Image Enhancement

【字体: 大 中 小 】 时间:2026年07月30日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •SWLGM擅长从局部特征到全局特征提取图像信息。•SWLGM由两级级联的移窗提取模块组成。•在五个基准水下图像数据集上,SWLGM具有参数高效且计算效率高的特点。 引言 水下图像的质量通常会受到光衰减、悬浮颗粒以及光的吸收和散射等因素的影响,从而导致清晰度下降、对比度降低以及

  •SWLGM擅长从局部特征到全局特征提取图像信息。•SWLGM由两级级联的移窗提取模块组成。•在五个基准水下图像数据集上,SWLGM具有参数高效且计算效率高的特点。

引言
水下图像的质量通常会受到光衰减、悬浮颗粒以及光的吸收和散射等因素的影响,从而导致清晰度下降、对比度降低以及颜色失真。随着对海洋资源探索和利用的不断深入,水下图像增强技术在水下监控[1]、遥感[2]、不完整多视图聚类[3]、[4]以及机器人技术[5]等领域变得越来越重要。现有的水下图像增强方法大致可分为两类:传统水下图像增强方法[6]、[7]、[8]、[9]、[10],以及基于深度学习的水下图像增强方法[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]。传统水下图像增强方法主要依赖于人工设计的特征和算法,这可能会导致信息丢失或出现边缘过度增强等伪影。此外,当面对光衰减严重、光线散射严重以及存在悬浮颗粒的复杂水下环境时,这些方法往往缺乏泛化能力和适应性。相比之下,基于深度学习的水下图像增强方法能够利用大规模训练数据集自主学习复杂的特征和模式,从而实现更强大的图像表示与解读能力。卷积神经网络可以通过重建细节、提升清晰度、减轻光衰减以及抑制噪声来有效恢复图像。此外,卷积神经网络还能实现端到端的处理,直接从原始输入生成高质量输出,从而避免了传统方法中常见的复杂多阶段处理流程。尽管具有这些显著优势,但基于卷积神经网络的水下图像增强方法在捕捉全局上下文特征方面存在局限性。这一缺陷主要是由于卷积运算本身具有局部性,其感受野有限,难以整合整个图像中的长距离依赖关系[22]。最初为了解决自然语言处理中的长距离依赖问题而开发的Transformer,通过利用自注意力机制提取上下文信息,在机器翻译等复杂任务中表现出色。随后,视觉Transformer(ViT)[23]将这一架构应用到了计算机视觉领域。然而,Transformer在应用于图像分析时面临着巨大的计算挑战,主要是因为需要计算所有图像块之间的相关性,这就导致了较高的计算资源消耗和较长的训练时间[24]、[25]。此外,其在图像任务中的性能还可能受到序列长度限制的制约。为了减少参数开销并提高计算效率,状态空间模型(SSM)[26]近年来作为一种有前景的序列建模框架应运而生。其中,选择性状态空间模型(Mamba)[27]凭借其根据输入内容动态决定传递或抑制哪些信息的机制而脱颖而出。Mamba具备与序列长度相关的线性时间复杂度,因此能够高效处理长序列。这些优势促使人们开始研究Mamba在视觉任务中的潜力,最近的一些研究也验证了它的有效性和可行性[28]、[29]。水下图像通常存在局部非均匀性以及全局照明或颜色不一致的问题。仅仅依赖全局特征可能会忽略复杂的局部细节和纹理,从而导致结构信息的表达不准确。为了解决这一局限性,我们提出了移窗局部与全局状态空间模型(SWLGM),该模型将最初用于全局特征增强的Mamba技术应用于同时恢复局部细节和全局上下文。所提出的SWLGM是一种参数高效且计算效率高的架构,其中的每个融合模块都由一个两级级联的移窗融合特征提取模块(SWFEB)与一个空间全向扫描模块(SOSB)依次连接而成。SWFEB负责提取精细的局部特征并促进局部特征之间的相互作用,而SOSB则用于捕捉全局范围内的长距离依赖关系。总之,本研究的主要贡献如下:•为满足水下图像增强任务中对实时计算的需求,我们提出了SWLGM,这是一种选择性状态空间模型网络,旨在在最小化参数开销的同时优化图像质量。•我们引入了移窗融合特征提取模块(SWFEB),以应对水下场景中存在的照明不均匀、颜色分布不规则以及空间变化等问题。这一设计使得SWLGM能够整合局部特征表示,从而实现全面的多尺度特征提取,并有效分析局部图像细节。•我们在五个基准水下图像数据集上进行了广泛的实证评估。结果表明,SWLGM的性能优于现有方法,无论是在定量指标还是视觉质量方面都具有更出色的表现。

传统方法
通常,传统水下图像增强方法依赖于亮度和对比度调整或物理成像模型。张等人[6]提出了MLLE方法,通过最小化颜色损失并增强局部对比度来恢复水下图像。傅等人[7]则利用Retinex模型来解决关键的成像退化问题。此外,张等人[8]提出了WWPF方法,该方法采用加权小波视觉感知融合技术。然而,这些方法的有效性受到了其依赖特定模型的限制。

用于水下图像增强的移窗局部与全局状态空间模型
为了解决水下图像增强领域存在的诸多难题,我们提出了SWLGM,这是一种利用状态空间模型来提取并整合全局和局部图像特征的方法。具体而言,全局特征用于纠正颜色偏差,而局部特征则用于增强区域细节——恢复因光线散射和吸收而受损的边缘和纹理,同时提高低光照区域的可见度。因此,所提出的方法在复杂的水下场景中能够实现更出色的图像恢复效果。

L1损失
L1损失是一种回归损失函数,用于量化图像中像素级的误差。它计算目标图像像素与真实值像素之间的绝对差值,然后对所有像素对之间的差值之和进行平均。通过应用L1损失,可以提高图像恢复的清晰度和锐度。L1损失的定义如下:L1=1n∑i=1n|I?I^|,其中I表示恢复后的图像,I^表示参考图像。

MSSIM损失
多尺度结构

实验细节
SWLGM方法的训练是在NVIDIA A5000 GPU上基于Pytorch 2.0.0框架进行的。训练SWLGM时采用了Adam优化器,学习率为0.0001。该方法使用UIEB[31]中的800对图像进行训练,并从验证集中选择最佳模型进行评估。

实验设置
数据集:以下数据集被用来测试所提出的SWLGM模型,并评估其在水下图像增强方面的性能。SWLGM是在四个公开可用的水下图像数据集上进行的评估:UIEB、UCIOD [43]、LSUI[13]

结论
本文提出了一种用于水下图像增强任务的移窗局部与全局状态空间模型(SWLGM)。SWLGM包含两级级联的移窗特征融合提取模块(SWFEB),该模块能够有效建模局部和全局图像特征,具备出色的建模能力。SWFEB由分区窗口局部Mamba模块和移窗交互Mamba模块组成,它们分别处理图像中的局部特征和全局特征。SWLGM具有……

CRediT作者贡献声明
邢泽轩:撰写——初稿、正式分析、数据整理、概念构思。徐海勇:撰写——审阅与编辑。江刚毅:项目管理。于梅:方法论。陈业耀:软件开发。罗婷:监督指导。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

邢泽轩|徐海勇|江刚毅|于梅|陈业耀|罗婷
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号