学习基于物理模型的全局Mamba模型用于水下图像修复

《Pattern Recognition》：Learning a physical model-guided global mamba for underwater image restoration

　　

• •
  全局信息可补充Mamba的局部扫描机制。
• •
  卷积与频域调制有助于提升Mamba的学习能力。
• •
  物理成像模型被整合到前馈网络中。

引言

水下成像技术是人类了解、利用和保护海洋环境的重要工具，在海底资源勘探[1]和海洋生物研究[2]等领域发挥着重要作用。然而，在水下环境中，光吸收、散射以及悬浮物会导致图像质量下降和颜色失真；因此，提升水下图像恢复技术对于实现可靠的水下视觉感知至关重要。

早期关于水下图像恢复方法的研究主要聚焦于传统方法。基于物理模型的传统水下图像恢复方法借助从光学成像原理或数学建模中获得的物理成像模型先验知识，通过逆向推导从受损图像中重建清晰图像[3]、[4]。不过，这些方法需要同时估计多个参数，导致模型泛化能力较差。

近年来，深度学习的快速发展推动了研究范式向数据驱动方向转变。随着深度学习的兴起，卷积神经网络因其强大的特征提取能力而成为主流解决方案。然而，其局部感受野的限制影响了性能[5]。Transformer的出现带来了重大突破，其自注意力机制能够实现全局依赖关系建模，突破了CNN的局部限制，提升了水下图像恢复的性能。尽管基于Transformer的方法性能优异，但其自注意力运算的高计算复杂度使得其在所有图像恢复任务中的应用成本过高。虽然有一些研究试图通过将自注意力从空间维度转移到通道维度来降低计算开销[7]，但所得性能仍不尽如人意。最近，状态空间模型作为一种有前景的计算机视觉替代方案出现，为相关研究提供了新的方向。Mamba凭借独特的扫描机制，在保持良好计算效率的同时实现了全局特征学习。

尽管近期有一些研究试图将物理约束与深度学习方法相结合[9]、[10]，但这些方法要么架构过于简化，要么用于物理参数估计的级联设计过于复杂，影响了其可扩展性。此外，尽管Mamba采用了多方向扫描来实现全局建模，但其局部序列策略仍缺乏足够的全局上下文整合能力。为解决这一问题，我们提出了一种用于水下图像恢复的物理模型引导全局Mamba（PGMambaV2）。与现有的Mamba架构[8]、[11]、[12]不同，我们设计的空间感知全局Mamba（SAGMamba）用空间感知排序策略取代了多方向扫描机制，从而提升了计算效率。同时，它还在状态空间模型中加入了全局增强组件，并进一步整合了卷积局部调制和频域学习，以便更有效地捕捉长距离依赖关系，如图1(a)所示。此外，我们还设计了物理模型引导前馈网络（PMGFFN），通过将水下成像模型嵌入网络架构中，分层整合物理先验与深度特征，从而获得了比以往前馈网络更好的效果，如图1(b)所示。本工作的主要贡献如下：

• •
  我们提出了空间感知全局Mamba（SAGMamba），该模型通过整合全局增强的状态空间模型，为局部序列扫描提供全局上下文支持，进而提升全局特征感知能力。
• •
  我们设计了物理模型引导前馈网络（PMGFFN），该网络能够有效将物理先验融入数据驱动的学习过程，从而在物理约束条件下提升图像恢复性能。
• •
  通过整合这两种组件，我们提出了物理模型引导全局Mamba（PGMambaV2），并在水下图像增强和水下超分辨率任务中验证了其有效性。大量实验表明，我们的方法取得了最优性能。

本研究是我们之前论文[13]的扩展版本。与之前的工作相比，本文做出了几项重要改进：

• •
  我们在SAGMamba中加入了用于局部调制的卷积分支，以及用于进一步强化全局特征建模的频域分支。
• •
  我们在额外的水下图像增强数据集上对PGMambaV2进行了进一步评估，以获得更全面的验证结果。
• •
  我们还将PGMambaV2应用于水下图像超分辨率任务，证明了其在多种相关应用中的有效性。

章节摘要

基于物理模型的方法

传统的基于物理模型的水下图像恢复方法将图像增强视为一个逆问题，图像重建依赖于从水下成像物理特性中得到的先验知识。常见的先验包括暗通道先验[14]和模糊先验[15]。例如，Li等人[16]通过引入水下光学特征来改善背景光估计。而Peng等人[3]则通过深度感知的环境光估计和自适应校正来解决颜色偏差和对比度问题。然而，

整体架构

PGMambaV2的架构如图2(a)所示。该模型采用典型的U形网络结构。以一张受损的水下图像$\mathbf{I}$作为输入，该框架首先通过3×3的卷积层提取低级特征。所提出的架构采用四级对称的编码器-解码器结构，每一级都会整合$N$个SAGMamba和PMGFFN。为了便于特征恢复，编码器与解码器对应阶段之间建立了跳接连接。

数据集

对于水下图像增强任务，我们在四个数据集上进行了实验：UIEB[5]、LSUI[18]、SUIM-E[30]和U45[31]。UIEB数据集包含一个包含890对图像的完整参考子集，我们从中随机选取800对用于训练，90对用于测试；还有一个包含60张具有挑战性的受损图像的非参考子集（记为C60）。LSUI数据集则包含4279对受损图像和清晰图像，其中3879对被随机选取用于训练，400

结论

在本研究中，我们提出了用于水下图像恢复的PGMambaV2模型。具体而言，我们通过结合卷积调制和频域学习来整合全局上下文信息，从而增强了Mamba架构的功能，有效解决了原始Mamba单次局部扫描机制导致的全球感知能力有限的问题。此外，我们还将水下物理模型融入前馈网络中，实现了基于物理约束与数据驱动方法的协同整合。

CRediT作者贡献说明

谭志军：撰写——初稿、方法论、研究分析、概念设计。傅川：撰写——审阅与编辑、指导监督。郭涛：验证、形式分析、数据整理。南志雄：可视化、方法论研究。向涛：资源协调、项目管理。罗福林：撰写——审阅与编辑、指导监督、概念设计。

资金来源声明

本研究得到了中国国家自然科学基金的支持，项目编号为62371076和62201109。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

谭志军|傅川|郭涛|南志雄|向涛|罗福林