MARINE-Net：一种基于物理原理的轻量级CNN-INR架构，用于水下图像修复与颜色增强

《Pattern Recognition》：MARINE-Net: Physics-guided lightweight CNN-INR architecture for underwater image restoration and color enhancement

　　•261万参数的混合CNN-INR模型，用于水下图像修复与颜色增强。•比尔-朗伯物理模型被嵌入神经网络注意力机制中，而非作为预处理步骤。•在4GB消费级GPU上端到端训练；256×256分辨率下推理速度为14.8帧/秒。•在EUVP主要数据集及LSUI跨域数据集中，其PSNR和SSIM指标优于其他11种方法。•频率感知分解机制可适应不同的水下浑浊度。

引言
水下图像在海洋生物学、海洋工程、自主机器人技术、考古学以及环境监测等领域有着广泛应用。由于两种机制同时会降低图像质量，因此拍摄水下图像比陆地摄影更为困难：基于Jaffe–McGlamery模型的波长依赖性吸收会随着深度增加而使暖色调消失[1]；而悬浮颗粒带来的前向和后向散射则会降低图像的对比度和清晰度，这一现象可通过Akkaynak和Treibitz改进后的水下成像模型来解释[2]。因此，水下图像的恢复并非单纯的修复问题，而是结构恢复与颜色增强相结合的问题。如果只侧重其中一方面，往往会在未处理的方面留下明显伪影。

在这项任务上，深度学习已经超越了仅依赖经典物理方法的技术。Water-Net[3]率先提出了用于水下图像增强的带门控的多分支CNN融合架构；FunIE-GAN[4]引入了快速对抗训练机制，并建立了EUVP基准测试集；UCOLOR[5]则嵌入了多颜色空间先验知识；PUGAN[6]通过双判别器实现了物理模型整合；U-Shape Transformer[7]则引入自注意力机制以处理长距离依赖关系。现有研究涵盖了多种不同架构：一类是如Semi-UIR[8]（167万参数）和PhaseFormer[9]（177万参数）这样的轻量级网络，它们以牺牲部分质量为代价提升效率；另一类则是UCOLOR（1.574亿参数）和PUGAN（1.678亿参数）等大型模型，虽然能实现更高质量，但需要12–24GB级别的GPU才能进行训练。而那些在消费级硬件成本下仍能保持较高性能的架构则相对较少，这就给那些内存资源有限的自主平台以及缺乏高端硬件的研究团队带来了实际应用上的挑战。

本研究由以下三点动机推动：(M1) 硬件可及性：一些高质量模型，如PUGAN[6]（1.678亿参数）和UCOLOR[5]（1.574亿参数），需要大量GPU内存，而这些内存并非随处可得，这一问题在受限计算相关研究中已有记载[10]。(M2) 质量与效率的权衡：现有的轻量级水下图像处理方法通常采用MobileNet[11]或MobileNetV2[12]这类通用移动端架构，或仅依靠单一的专用注意力机制[9]；我们尚未见到在严格4GB显存限制下，同时结合基于物理原理的调制机制与连续坐标优化技术的设计。(M3) 未被充分开发的INR潜力：由SIREN[13]提出并经过LIIF[14]和NeRF[15]进一步发展的基于坐标的表示方法，直到最近才被Chu等人[16]、PA-Diff[17]以及INGC-GAN[18]应用于水下图像处理领域，而且目前还没有任何方法将INR与基于物理引导的注意力机制以及频率自适应门控功能整合到同一个端到端网络中。

创新点说明
这种整合并非简单的叠加。CNN是在离散的栅格网格上运行的，而INR则将图像视为连续函数，比尔-朗伯衰减定律则作用于连续的空间-深度域中（t=e?βd(x)）。通过将可学习的比尔-朗伯参数嵌入CNN的注意力机制中，同时再加上一个并行运行的基于坐标的优化分支，使得离散表示与连续表示在同一个基于物理原理的优化框架下得以统一，这与那种将物理处理作为预处理、INR作为后处理步骤的顺序式架构截然不同。我们将在3.8节详细阐述这种整合方式，并在5.5节的实验分析中对其有效性进行验证。

本研究的主要目标如下：
•O1. 设计一种混合CNN–INR架构，能够在参数数量少于300万的情况下实现出色的水下图像修复与颜色增强效果。
•O2. 使用主流的记忆优化技术，在4GB消费级GPU上对所设计的模型进行端到端训练。
•O3. 将比尔-朗伯物理模型直接嵌入注意力计算过程中，而非作为单独的预处理步骤，并验证这种整合方式能否提升修复质量。
•O4. 验证该模型在各种不同的水下数据集以及不同随机种子下的泛化能力，并分析其可能的失效模式。
•O5. 提供可复现的实现代码，包括训练和评估脚本，以降低参与水下视觉研究的硬件门槛。

这些目标将通过以下四个研究问题来加以检验：
RQ1. 混合CNN–INR架构是否能在参数数量少于300万的情况下实现出色的图像修复与颜色增强效果？
RQ2. 是否可以使用主流的记忆优化技术，在4GB消费级GPU上对这类模型进行端到端训练？
RQ3. 将比尔-朗伯定律嵌入注意力机制中，而非作为单独的预处理步骤，是否能够提升图像修复质量？
RQ4. 所设计的模型是否具备良好的推理性能，并且能在不同的水下数据集上实现泛化？

•C1：轻量级且易于实现的架构。该模型仅有261万参数，可在4GB GTX 1650笔记本电脑GPU上完成端到端训练，在EUVP数据集上的PSNR值为28.34分贝，SSIM值为0.900。
•C2：基于物理原理的注意力机制。这是一种全新的注意力模块，它将可学习的比尔-朗伯参数（每通道的吸收系数α∈[0,1]3，散射系数β∈[0,1]，深度参数d∈[0,1]）嵌入注意力计算过程中，而非将其视为单独的预处理或后处理步骤。
•C3：混合CNN–INR架构。该架构通过一个可学习的标量融合机制，将具有频率感知能力的CNN主干网络与6600参数的SIREN风格INR分支相结合。在EUVP数据集上，这种融合权重 empirically收敛到α≈0.82的值（在LSUI数据集上则为0.91），并且通过独立实验验证，这一值确实是模型根据数据集特点自动学习得到的。
•C4：全面的实证验证。研究使用了EUVP、UIEB和LSUI三个数据集，设置了三种不同的随机种子，共十种基线模型，所有模型都在相同的EUVP子集上按照统一流程使用官方代码库从头开始训练，同时采用了六种有参考值和无参考值的评估指标（PSNR、SSIM、UIQM、UCIQE、NIQE、PIQE），并对每个架构组件进行了全面的功能对比分析，此外还对四种损失权重进行了十档次的敏感性测试。
•C5：可复现的成果发布。研究团队公开发布了相关代码、预训练权重、评估脚本以及数据集准备流程。

本文的其余部分结构如下：第2节回顾相关研究工作，第3节介绍模型架构与损失函数设计，第4节描述实验流程，第5节汇报实验结果、各项对比分析以及敏感性分析，第6节探讨研究问题、局限性及更广泛的意义，第7节为总结部分。

片段摘录
基于物理原理的模型与混合模型
水下图像的形成遵循Jaffe–McGlamery模型，同时还会受到比尔-朗伯传输规律t(x)=e?βd(x)的影响[1]。传统的先验处理方法包括暗通道处理[19]、Akkaynak和Treibitz改进后的成像模型[2]以及Sea-thru模型[20]，还有波长补偿技术[21]，以及那些无需学习即可使用的对数/递归滤波增强方法[22]，这些方法由于计算成本较低，成为了我们设计受限条件模型的参考依据。而近年来出现的USUIR[23]和LUIE[24]等基于学习的模型，则会在单独的预处理阶段估计相关物理参数。

问题定义
给定一张已受损的水下图像Ideg∈RH×W×3，我们需要设计一个网络Fθ，使其能够输出经过处理的增强图像Iout=Fθ(Ideg)，从而同时实现图像结构的修复与色彩问题的解决。模型参数θ是通过配对数据集，利用复合损失函数进行优化的（详见3.9节）。

架构概述
MARINE-Net（见图1）由四个模块组成：一个频率感知分解模块作为前端，一个三尺度记忆优化编码器-解码器，一个基于物理原理的注意力机制模块作为核心处理单元，以及一个轻量级的INR处理分支。此外，还有一个可学习的标量融合机制用于整合各模块的输出。

数据集
EUVP[4]（水下场景子集）：包含2185对图像，按80/20比例划分（1748张用于训练，437张用于验证），是主要训练和评估数据集。UIEB[3]：包含890对图像，用于在不进行微调的情况下进行跨域评估。LSUI[7]：包含4279对图像，最初是与U-Shape Transformer基线模型一同提出的，既可用于跨域评估，也可用于独立的从头训练过程（训练集规模为3879张图像，测试集为400张图像）。

评估指标
我们采用了以下指标进行评估：(i) 全参考指标PSNR和SSIM。主要的定量对比分析结果见表2，该表展示了MARINE-Net在EUVP验证集上的性能表现。在所有十种基线模型中，MARINE-Net的PSNR值最高，为28.34分贝，SSIM值也为0.900，且仅使用了261万参数。与PSNR值最接近的轻量级基线模型PhaseFormer相比，其PSNR值仅为25.89分贝，MARINE-Net的PSNR值高出2.45分贝；而与参数量最大的基线模型PUGAN相比，MARINE-Net的参数量减少了98.4%，但其PSNR值却提升了5.76分贝。在PSNR值上与MARINE-Net最为接近的另外两种现代模型分别是DGD-cGAN，其PSNR值为25.30分贝……

对研究问题的再探讨
关于轻量级模型的性能问题（RQ1），MARINE-Net仅需261万参数，即可在EUVP数据集上实现28.34分贝的PSNR值，这一表现优于所有其他基线模型（见表2），同时也超过了参数量最小（≤0.9百万参数）和最大（>1.5亿参数）的模型，由此可见，质量与参数量之间并不存在极端的对应关系。在资源受限的训练条件下（RQ2），在4GB GTX 1650 GPU上完成250个训练周期大约需要80小时，且整个训练过程中的显存使用量始终保持在4GB以内。至于基于物理原理的注意力机制的作用（RQ3），若去掉PGA模块，模型的PSNR值会下降1.04分贝（见表5）；而那些通过学习得到的参数……

结论
本研究旨在探究是否可以在严格的消费级硬件限制条件下，将基于物理原理的特征调制机制与基于连续坐标的优化技术相结合，以及这种组合究竟能带来怎样的优势。研究结果表明，这种组合具有三大优势。首先，那些通过学习得到的比尔-朗伯参数具有明确的物理意义：散射系数与场景的浑浊程度相关，而每通道的吸收系数则与背景颜色的主导程度相关，它们并非仅仅作为……

作者贡献声明
Suthir Sriram：项目监督与管理工作。Nivethitha Vijayaraj：项目监督工作。Swamynathan V.P.：负责文章的撰写与修改、原始草稿的编写、可视化处理、结果验证、软件开发、方法设计、实验分析、正式逻辑推导、数据整理以及概念构思工作。Gaurav Choudhary：项目监督工作。Thangavel Murugan：项目监督工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者感谢印度金奈阿姆里塔维什瓦大学阿姆里塔计算机学院计算机科学与工程系的设施支持与帮助。本项研究是Swamynathan V P在Suthir Sriram的指导下完成的毕业设计项目。

Suthir Sriram | Nivethitha Vijayaraj | Swamynathan V.P. | Gaurav Choudhary | Thangavel Murugan