SDSSM：基于物理先验引导的稀疏双域状态空间水下图像增强方法

《Pattern Recognition》：SDSSM: Sparse dual-domain state-space modeling for physics-prior-guided underwater image enhancement

　　

• •
  基于物理先验的稀疏双域状态空间模型可提升水下图像质量。
• •
  单向状态空间模型能抑制色彩偏色，突出图像中的重要区域。
• •
  动态直方图上下文模块可校正极端亮度，平衡图像明暗度。
• •
  基于物理先验的聚合方法可在有效抑制模糊的同时增强图像细节。
• •
  在UIEB、LSUI、UFO120、U45和Challenging-60等数据集上的实验表明，该方法能实现顶尖的图像质量。

引言

海洋作为地球自然资源的重要载体，蕴藏着丰富的生物、石油和矿产资源[1]。水下光学成像技术可通过识别物种、检测水质以及实现精准定位，为海洋生物多样性研究、生态监测以及自主水下航行器导航提供支持，从而推动海洋科学技术的发展[2]。

如图1所示，悬浮颗粒以及不同波长的光衰减会导致水下图像出现模糊、雾化现象，同时色彩也会发生失真，这给人类观察和海洋研究带来了极大困难。现有的图像增强方法主要分为三类：无模型方法、基于物理的方法以及深度学习方法。

基于模型的方法会利用物理模型和先验知识来估算图像退化参数，但这些方法的假设容易受到不同水下环境的影响。由于光的散射、吸收以及杂质的存在，物理模型往往无法准确描述图像退化过程，从而导致估计结果出现偏差。而无模型方法则直接调整像素或频率特征来改善图像的色彩和对比度，但由于缺乏对图像退化机制的清晰理解，这类方法容易出现过度增强或增强不足的情况，且对不同场景的适应性较差。

用于水下图像增强（UIE）的深度学习方法可分为三类：卷积神经网络（CNN）、视觉变换器（ViT）以及结构化状态空间模型（SSM）。CNN的感受野有限，难以捕捉全局信息，也难以模拟复杂的水下光学效应，因此其在色彩校正和亮度恢复方面的效果较差。ViT虽然擅长处理全局依赖关系，但缺乏局部归纳偏置，对细节的敏感度较低，这也限制了其增强效果的精度。

近年来，结构化状态空间模型被用于分析水下图像的色彩退化问题，但仍存在一些明显局限。首先，这类模型难以突出关键的色彩通道和空间特征，导致建模效率低下。其次，大多数此类模型的设计仅基于单一颜色空间，缺乏多域融合功能，这不利于图像结构的恢复和色彩感知。最后，传统方法通常在单一尺度下运行，难以从粗到细地构建层次化的图像表征，进而限制了图像增强的精细程度。

本文提出了一种基于物理先验的稀疏双域状态空间模型（SDSSM），用于水下图像增强。其主要贡献如下：

(1) 该模型构建了一种稀疏的单向状态空间模型，通过基于稀疏性的选择策略来突出关键的色彩通道和空间特征。利用单向状态空间模型在序列表征和方向感知方面的优势，可实现准确的水下色彩特征分析、动态补偿以及色彩校正。

(2) 该模型还设计了一个基于动态直方图的上下文感知模块，通过亮度排序机制能够自适应地调节亮度失衡区域的亮度，帮助模型更好地处理复杂的亮度问题，减少水下图像中的极端亮度现象。

(3) 本文还提出了一种基于物理引导的自适应聚合模块，该模块将基于暗通道的结构增强技术与基于模糊权重的低对比度识别技术相结合。通过门控聚合机制，该模块能够突出图像中的结构细节，增强纹理质感，同时抑制水下图像中的模糊扩散现象。

章节要点

相关工作

目前，研究人员已经提出了多种水下图像增强方法，这些方法大致可以分为三类：无模型方法、基于物理的方法以及深度学习方法。

整体框架

由于水下光传播过程十分复杂，水下图像往往会出现色彩失真、亮度变化剧烈以及对比度低等问题。为了解决这些问题，本文提出了一种基于SDSSM的水下图像增强方法。该方法的架构如图2所示。

输入图像首先会被转换为HLS颜色空间，以便将亮度和色彩分离。随后，HLS格式和RGB格式的图像会同时经过两阶段下采样处理，从而生成多尺度特征。这些特征会被输入到后续的处理模块中。

数据集

本文共使用了五个具有代表性的数据集来进行训练和评估，它们分别是UIEB [18]、LSUI [19]、UFO120 [20]、U45 [21]以及Challenging-60 [18]。这些数据集是根据是否存在参考图像来分类的：UIEB、LSUI和UFO120属于全参考数据集，其中包含成对的图像；而Challenging-60和U45属于无参考数据集，仅包含单独的图像。

基于上述数据集的分类方式，所有的...

结论

本文针对由光吸收和散射引起的水下图像色彩失真、模糊以及亮度变化剧烈等问题，提出了一种新的图像增强方法。该方法将稀疏双域状态空间模型与基于物理先验的自适应聚合技术相结合。具体而言，该模型通过稀疏的单向状态空间模型来抑制色彩偏色，突出图像中的重要区域；同时，还引入了基于动态直方图的上下文融合模块，用以解决图像亮度不平衡的问题。

CRediT作者贡献说明

刘丁硕：撰写原始稿件、可视化处理、验证测试、软件开发、资源整理、方法设计、问题研究、数据整理。孔明瑞：软件开发、概念设计。潘洪宇：验证测试、数据整理。李晨龙：可视化处理、验证测试。段庆玲：撰写审稿与编辑稿件、问题研究、资金筹集工作。

利益冲突声明

所有作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究得到了中国国家重点研发计划（项目编号：2023YFD2400502）的支持。

Dingshuo Liu|Mingrui Kong|Hongyu Pan|Chenlong Li|Qingling Duan