基于耦合透射率引导的跨尺度Mamba偏振水下图像增强

《Optics & Laser Technology》：Coupled-transmittance-guided polarimetric underwater image enhancement with cross-scale mamba

　　

• •
  耦合透过率将直接透过率与后向散射衰减联系起来。
• •
  PhyPAM-Net 同时恢复辐照度并估计光学退化。
• •
  偏振感知建模通过物理约束和重建保持偏振特性。
• •
  跨尺度 Mamba 捕获局部细节和长程退化特征。
• •
  增强后的偏振图像提高了水下目标检测能力。

引言

偏振成像作为一种有效的光学传感技术，在三维成像、水下感知和生物医学成像等领域的应用中受到了越来越多的关注[1]、[2]、[3]。与传统的基于强度的成像不同，偏振成像能够捕获光的额外物理属性，包括偏振度（DoP）和偏振角（AoP），这些信息为材料特性、表面几何形状和散射过程提供了互补信息[4]、[5]、[6]、[7]、[8]、[9]。这一能力在水下成像中尤为有益，因为偏振线索有助于分析复杂的散射效应，并从退化观测中恢复场景信息。

水下图像采集受到水体中光吸收和散射的强烈影响。悬浮颗粒降低了图像的对比度，模糊了精细细节，并引入了颜色失真[10]、[11]。前向和后向散射进一步降低了能见度，使得难以提取可靠的导航、探测、识别、跟踪和定位目标信息[12]、[13]、[14]、[15]。因此，恢复光学退化的水下图像是水下视觉系统和下游感知任务的关键需求[16]、[17]、[18]。图1展示了本研究所使用的偏振观测所基于的采集原理。

水下偏振图像增强利用偏振线索将场景信息与散射干扰分离开来[19]。早期的基于物理模型的方法通常依赖预设假设和手工参数估计，这可能限制了它们在复杂水下环境中的鲁棒性。这一局限性推动了基于学习的方法以更自适应的方式提取偏振相关特征[20]、[21]。

近期的研究引入了密集网络、三维卷积网络、域自适应学习策略和频域偏振特征提取来增强水下图像[22]、[23]、[24]。尽管这些深度模型减少了对手工参数估计的依赖，但其中许多仍然依赖于数据驱动的特征提取和端到端图像映射。这样的设计可能会削弱在复杂水下环境中的泛化能力，并且可能仅将偏振测量视为辅助通道，而没有显式地保留其结构和物理一致性。

物理引导的深度学习方法开始通过估计场景辐照度、背景光和透过率图等物理变量，或使用透过率感知和光照约束先验，将水下成像模型引入网络优化中[25]、[26]、[27]、[28]、[29]。这些方法加强了网络学习与水下图像形成之间的联系。然而，大多数现有方法主要将成像先验用作重建的外部约束。光学退化变量之间的内在关系，特别是直接透过率和后向散射衰减之间的关系，仍然存在建模不足的问题。

水下退化在空间上也是非均匀的，因此恢复需要同时进行局部结构恢复和全局上下文建模。Mamba 最初被引入为一种序列长度线性扩展的选择性状态空间模型，为长程依赖建模提供了高效工具[30]。其有效性通过视觉 Mamba（ViM）扩展到视觉表示学习，该模型使用双向状态空间建模来处理图像序列[31]。近期的水下图像增强研究，如 WaterMamba 和 PixMamba，进一步展示了基于 Mamba 的架构在建模全局退化模式和提升增强效率方面的潜力[32]、[33]。尽管取得了这些进展，细粒度结构信息与长程退化模式之间的交互仍未得到充分探索，而顺序状态空间建模可能对二维图像特征的排序敏感。因此，有效的水下增强需要一种表示机制，该机制同时考虑跨尺度上下文交互和方向依赖性。

本文提出了一种物理引导的偏振感知 Mamba 网络，称为 PhyPAM-Net，用于水下图像增强（UIE）。在 PhyPAM-Net 中，耦合透过率公式将直接透过率和后向散射透过率联系起来，为退化估计和偏振感知优化提供了物理基础。所得模型通过物理关联变量约束散射抑制，而偏振感知优化则纳入偏振信息以改进透过率估计，并在增强过程中保持偏振一致性。进一步地，在恢复路径中引入了跨尺度 Mamba（CSM）模块，以将局部结构信息与长程退化模式相结合，同时多方向序列建模减少了对单一序列排列的依赖。主要贡献如下：

• 1.
  从修正的水下图像形成模型推导出了耦合透过率公式，显式地将直接透过率与后向散射透过率联系起来。该公式被嵌入到网络优化中，以约束物理参数估计和图像重建，同时偏振信息为透过率估计提供辅助引导，并支持增强结果中的偏振一致性。
• 2.
  开发了 PhyPAM-Net，作为物理引导的偏振感知恢复网络，用于联合偏振-强度建模。其 CSM 模块将跨尺度上下文交互与长程依赖建模相结合，以更好地表示空间非均匀的水下退化。

章节摘要

相关工作

水下偏振图像增强通过引入与散射和场景辐照度相关的偏振线索，扩展了传统的水下图像增强方法。相应地，本节首先回顾传统的水下图像增强方法，随后介绍基于物理模型和基于深度学习的水下偏振图像增强方法。

方法

本节从光学模型到优化目标逐步建立 PhyPAM-Net。直接透过率 $T_D$ 与后向散射透过率 $T_B$ 的关系为 $T_B(x)=T_D^k(x)$，使得网络可以在共享的图像形成约束下估计 $T_D$ 和图像级耦合系数 $k$。这种耦合在同一恢复过程中控制着恢复后的辐照度、重建的观测值和偏振一致性输出。以下小节将介绍偏振相关

实验

本节从四个角度评估所提出的方法：定量比较、定性比较、消融实验以及在水下目标检测中的应用。实验在四个公开数据集（EUVP [81]、UCCS [82]、SQUID [83] 和 UFO [84]）上进行，使用标准指标与现有方法进行对比。提供了视觉结果以评估颜色恢复、对比度增强和细节保留。消融实验验证了各模块的贡献

结论

本研究从耦合光学退化建模的角度提出了用于偏振水下图像增强的 PhyPAM-Net。通过推导直接透过率与后向散射透过率之间的关系，该方法将双透过率估计问题转化为 $T_D$ 和图像级耦合系数 $k$ 的联合估计问题。这种耦合将场景辐照度恢复、观测值重建和退化估计置于同一物理约束之下，从而减少了

CRediT 作者贡献声明

李一柔：写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，软件，方法论，调查研究，形式分析，数据管理，概念化。王岩：写作 – 审阅与编辑，指导监督，资源获取，项目管理，资金获取，概念化。王春燕：形式分析，调查研究，验证，可视化，写作 – 审阅与编辑。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知的竞争经济利益或个人关系。

致谢

本工作得到了国家自然科学基金的资助（批准号 92471201、T2596034、62227813、62122007、62388101）以及中国教育部基础学科与交叉学科突破计划（JYB2025XDXM206）的支持。

李一柔目前在北京航空航天大学自动化科学与电气工程学院攻读硕士学位。她的研究兴趣包括图像处理和目标检测。

李一柔 | 王岩 | 王春燕