基于多物理模型约束的非配对水下光学图像增强网络

《Neurocomputing》：An Unpaired Underwater Optical Images Enhancement Network Based on Multi-Physical Model Constraints

　　

摘要

水下图像常因光的吸收、散射和悬浮颗粒而遭受严重退化，导致明显的颜色失真和结构模糊。这些伪影严重阻碍了基于视觉的无人水下航行器（UUV）的感知能力。尽管基于数据驱动的增强方法取得了可喜的进展，但大多数方法严重依赖于严格配对的水下数据集，而这些数据集极难获取。为克服这一局限，我们提出了一种新颖的跨域配对监督策略，利用易于获取的配对大气雾霾图像提供鲁棒的监督信号，从根本上缓解了对手下真值的依赖。基于这一核心设计，我们开发了一个轻量级非配对的 underwater 图像增强网络（U2IE Net），该网络受多物理退化模型的约束，能够无缝弥合大气雾霾与水下环境之间的域差距。具体而言，我们设计了一种基于最小高斯模糊的纹理重建机制以分离域不变的结构特征，并结合了一种自适应反射均衡方案，在严格抑制噪声和伪影的同时安全地最大化对比度拉伸潜力。在多个基准上的广泛实验表明，U2IE Net 与最先进的方案相比达到了极具竞争力的性能。在图像恢复、结构保持和物体可见性方面，我们的方法在增强质量与计算效率之间实现了最佳平衡。完整的源代码和预训练模型将在 https://github.com/JasonSxc/U2IE-Net 上公开发布。

引言

近年来，无人水下航行器（UUV）凭借其高机动性、坚固的耐压结构和日益增长的自主性，被广泛应用于执行复杂和危险水下环境中的任务 [1]。它们的广泛应用极大地推动了水下考古、生物监测、军事行动以及水下基础设施检查和维护等领域的应用 [2]、[3]。作为 UUV 的主要感知模式，水下光学图像常因光的吸收、散射和生物干扰而遭受严重退化，导致图像模糊和颜色失真 [4]、[5]。这些退化严重阻碍了对水下目标和环境的准确感知。

深度学习的成功极大地推动了水下图像增强的发展。然而，大多数有监督方法依赖于严格配对的水下图像数据集，由于水下成像过程的不可控性和动态性，这些数据集极难构建。因此，现有数据集如 UIEB [6] 和 LSUI [7] 在规模和多样性方面仍然有限。现有解决方案主要遵循三个方向：(1) 设计越来越复杂的架构，如基于 Transformer 和扩散模型的方案 [7]、[8]、[9]，以更好地利用有限的配对数据；(2) 利用水下图像形成模型（IFM）构建合成配对数据集 [12]、[13]；(3) 采用基于 CycleGAN 风格 [14] 的非配对图像翻译框架进行退化–恢复学习 [15]、[16]、[17]、[18]、[19]。然而，这些方法存在固有的局限性，包括高计算成本、合成与真实水下场景之间的域差距，以及可能无法保持结构保真度的弱监督信号。

这些方法背后的一个关键局限在于，监督信号被假定来自相同的退化域，即水下配对数据。受此观察启发，我们探索了一种替代视角：来自不同但相关退化域的监督信号是否可用于水下图像增强。

基于这一思路，我们提出了一种跨域配对监督策略，利用易于获取的配对大气雾霾图像来监督水下图像增强。由于监督信号来自大气域而非水域，我们将此框架称为跨域配对监督。为缓解大气雾霾与水下退化之间固有的物理差异，我们明确地将多物理模型约束引入学习流程，具体集成了 Retinex [20] 和水下 IMF。在此框架中，Retinex 模型主要用于约束非均匀光照并增强精细纹理细节。它将图像分解为固有分量，表示为 ?? = ?? ⊙ ??，其中 ?? 是观测图像矩阵，?? 表示 ?? 的反射分量，⊙ 表示哈达玛积，?? 表示 ?? 的照度分量。同时，散射驱动的经典水下 IFM [3] 运作方式为 ??^??_?? = ??^??_?? ⊙ ??^??_?? + ??^??_?? ⊙ (1 ? ??^??_??)，?? ∈ {r, g, b}，其中 ??^??_?? 是观测到的水下图像矩阵，??^??_?? 表示无退化的水下图像，??^??_?? 表示透射率图，??^??_?? 表示全局背景光（广播到与图像矩阵匹配的尺寸）。

基于这一策略，我们开发了 U2IE Net，一个轻量级非配对水下图像增强网络，作为所提出监督框架的实现。通过将物理先验集成到学习过程中，所提出的方法有效地弥合了域差距，同时保持了较低的计算复杂度。部分结果如图 1 所示。

本文的主要贡献总结如下：

- 我们提出了一种跨域配对监督策略，利用易于获取的配对大气雾霾图像作为监督信号，而非稀缺的配对水下图像，从根本上放宽了对高质量水下配对数据集的依赖。
- 基于该策略，我们开发了 U2IE Net，一个受多物理模型约束引导的轻量级非配对水下图像增强网络，以较低的计算成本实现了有效的恢复。
- 我们设计了一种基于最小高斯模糊的纹理重建机制和一种自适应反射均衡方案，以恢复精细纹理并改善增强结果的光照一致性。

传统方法

传统的水下图像增强方法主要依赖于物理成像模型、图像融合和颜色校正。其中，暗通道先验（DCP）[21] 及其变体 [22]、[23] 通过改进透射率图和背景光的估计来提高图像质量，尽管在复杂水下条件下的恢复精度往往有限。除了基于 DCP 的方法外，一些方法利用水下光衰减或改进的成像模型进行图像……

整体框架

基于所提出的跨域配对监督策略，U2IE Net 从配对的大气雾霾–清晰图像中学习恢复先验，并将其迁移到水下图像增强中，而无需配对的水下监督。如图 2 所示，该框架由三个逐步耦合的模块组成：Retinex 重建模块（RRM）、反射均衡模块（REM）和物理去雾模块（PDM）。RRM 首先重建物理一致的……

数据集与训练方案

所提出的 U2IE Net 使用来自大气和水下两个域的数据进行训练。遵循跨域配对监督策略，来自 RESIDE-β 数据集 [41] 的配对雾霾–清晰图像用于提供监督信号，而来自 UIEB [6]、RUIE [42] 和 UICoD [43] 的水下图像仅作为退化输入使用，无需配对的真值图像。

在评估方面，采用了多个基准数据集，包括 UIEB-60、RUIE-UCCS 和 Color-Check7 [44]。

结论

在本工作中，我们提出了 U2IE Net，一个轻量级跨域框架，用于非配对水下图像增强。该框架利用配对的大气雾霾图像作为监督，减少了对严格配对的水下数据集的依赖。在多物理模型约束的引导下，所提出的框架结合了基于最小高斯模糊的纹理重建与自适应反射均衡，以弥合大气雾霾与水下退化之间的域差距。广泛……

CRediT 作者贡献声明

Shuang Xuecheng：撰写初稿、可视化、项目管理、方法论、形式化分析、概念设计。
Jia Dayu：形式化分析。
Feng Hao：获取资金、形式化分析。
Qiao Jianan：获取资金、形式化分析。
Huang Yan：审阅与编辑、获取资金、形式化分析。

利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢

本研究部分由国家自然科学基金（批准号 52271353）、中国科学院沈阳自动化研究所机器人学国家重点实验室（批准号 2024-Z15）以及中国科学院沈阳自动化研究所基础研究计划（批准号 2023JC3G03、2022JC3K05）资助。

Shuang Xuecheng 于 2022 年从中国武汉理工大学获得学士学位。目前他正在中国科学院大学攻读博士学位，专业方向为模式识别与智能系统。他的研究兴趣集中在利用深度学习方法进行海洋探测领域的图像处理与生成。

Shuang Xuecheng | Huang Yan | Qiao Jianan | Feng Hao | Jia Dayu
中国科学院沈阳自动化研究所，机器人学与智能系统国家重点实验室，沈阳 110016，中国