PINE：基于隐式表示的水下图像与逐帧视频物理正则化神经增强

《Neural Networks》：PINE: Physics-Regularized Neural Enhancement for Underwater Images and Frame-wise Video via Implicit Representation

　　

•使用隐式神经表示（INR）估计连续水下参数场。
•逐帧推理支持原生 4K 增强。
•物理正则化防止参数场崩溃。
•PINE 在 256 × 256 分辨率的 UVEB 基准测试中达到 30.28 dB 的 PSNR。
•边缘端流程在树莓派 5 上实现 1080p 下 25.8 FPS 和 4K 下 8.1 FPS。

介绍
水下图像和视频增强是支持海洋科学和海底作业的关键技术。水下影像支撑着珊瑚礁监测、海洋生物多样性评估以及遥控和自主水下航行器（ROVs/AUVs）的感知、检查和导航任务（Hong, Luo, Hong, 2025, Liu, Xie, 2025, Thierry, Claustre, Pasqueron de Fommervault, Zilberman, Johnson, King, Wijffels, Fassbender, Lyman, et al., 2025）。糟糕的水下图像质量限制了海洋生物检测（Burns, Becker, Casagrande, Daniels, Roberts, Orenstein, Vogt, Teoh, Wood, Yin, Genot, Gruber, Katija, Wood, Phillips, 2024, Raphael, Dubinsky, Iluz, Benichou, Netanyahu, 2020）、底栖生态系统监测（Mullen et al., 2016）和生物多样性评估（Eddy et al., 2021）。近期工作涵盖基于扩散的恢复（Shao et al., 2025c）、基础模型先验（Shao et al., 2025a）、脉冲架构（Shao et al., 2026）、全局金字塔调制（Shao et al., 2025b）和零样本框架（Shao et al., 2025d），反映了为此问题开发的计算方法的广度。
水下图像的物理退化源于由波长依赖的吸收和散射控制的复杂光介质相互作用。比尔 - 朗伯定律描述了指数衰减 I(z,λ)=I0(λ)·e?β(λ)z，其中光束衰减系数 β(λ)=a(λ)+b(λ) 分解为吸收 a(λ) 和散射 b(λ) 成分，两者均强烈依赖波长（Jerlov, 1976, Mobley, 1994）。Pope 和 Fry 的决定性测量表明，纯水在 418 nm 处表现出最小吸收 0.0044 m?1，但吸收在 700 nm 处增加超过 100 倍至 > 0.5 m?1（Pope and Fry, 1997），导致红光在 5-10 米内衰减，而蓝光在清水中穿透超过 100 米。小角度的前向散射通过点扩散函数展宽降低空间分辨率，而悬浮颗粒的后向散射产生距离依赖的眩光 B(z,λ)=[b(λ)E(d,λ)/β(λ)](1?e?β(λ)z)，降低了对比度（Mobley, 1994）。衰减系数的空间异质性源于深度分层（温跃层、浮游植物层）、水平变异性（海岸梯度、河流羽流）和时间波动（潮汐混合、季节性爆发）（Zaneveld and Kitchen, 1995）。Akkaynak 和 Treibitz 的修订版水下图像形成模型通过明确分离直接透射和具有不同宽带衰减系数的后向散射，解决了大气去雾方法的根本局限性：Ic=Jc·e?βcDz+B∞c·(1?e?βcBz)（Akkaynak and Treibitz, 2018）。他们的 Sea-Thru 方法展示了使用距离依赖衰减估计的物理合理颜色恢复（Akkaynak and Treibitz, 2019）。
现有增强方法分为三大类，详细回顾见第 2 节。基于物理模型的方法如暗通道先验及其水下适应版，在统计先验下反演显式形成模型，但通常假设空间均匀的光学参数（He, Sun, Tang, 2011, Drews-Jr., do Nascimento, Moraes, Botelho, Campos, 2013）。端到端学习方法——从门控融合和对抗设计到最近的变压器架构——实现了强大的基准质量，但在固定训练分辨率的离散像素网格上操作，且物理可解释性有限（Banerjee, Nguyen, Fookes, Karniadakis, 2024, Chandrasekar, Sreenivas, Biswas, 2024, Islam, Xia, Sattar, 2020, Khan, Mishra, Mehta, Phutke, Vipparthi, Nandi, Murala, 2024, Li, Guo, Ren, Cong, Hou, Kwong, Tao, 2020b, Peng, Zhu, Bian, 2023, Qi, Li, Zheng, Gao, Hou, Sun, 2022）；近期的水下视频增强器还解决了跨帧一致性，但继承了相同的网格绑定设计（Srinath, Chandrasekar, Jamadagni, Soundararajan, Prathosh, 2025, Xie, Kong, Chen, Zheng, Yu, Yu, Zheng, 2024, Zhou, Fan, Long, Zhang, He, Jiang, Muhammad, 2025）。深度展开网络通过将迭代优化展开为具有清晰算法语义的可学习阶段来连接这两类方法（Chang, Yuan, Li, 2025, Lei, Yu, Dong, Gong, Zhou, Pun, 2024, Mei, Li, Liu, Ma, Jiang, 2025, Monga, Li, Eldar, 2021, Pham, Yu, Mai, Lee, 2025, Zhang, Ghanem, 2018）。然而，每个阶段内物理参数的空间表示仍依赖于基于离散网格的特征图。
在这三类方法中，仍然存在四个局限性：(a) 分辨率依赖处理，需要针对高分辨率（2K/4K）输入进行特定比例的训练；(b) 在离散像素网格上操作，这将网络容量与空间分辨率耦合，并将学到的映射与训练时采样网格纠缠在一起；(c) 物理参数，即使被估计，也表示为空间均匀常数或离散图，而非连续场；(d) 学到的中间表示的物理可解释性有限。
本文探索了一种替代范式用于水下图像和逐帧视频增强：结合物理正则化约束的基于坐标的隐式神经表示。我们不是将迭代优化展开为网络阶段，而是将水下光衰减建模为连续空间函数，作为图像条件坐标的函数，可以在任意位置查询并独立应用于每个视频帧。该公式借鉴了第 2 节回顾的三个研究方向：基于坐标的隐式神经表示（Chen, Liu, Wang, 2021, Chen, Chen, Liu, Xu, Goel, Wang, Shi, Wang, 2022, Mildenhall, Srinivasan, Tancik, Barron, Ramamoorthi, Ng, 2022, Sitzmann, Martel, Bergman, Lindell, Wetzstein, 2020, Tancik, Srinivasan, Mildenhall, Fridovich-Keil, Raghavan, Singhal, Ramamoorthi, Barron, Ng, 2020），物理信息神经网络的软约束机制（Raissi et al., 2019），以及可微分渲染（Loubet et al., 2019）。
我们提出了 PINE（物理正则化隐式神经增强），整合了这三个概念。PINE 采用基于坐标的 MLP，将连续空间坐标 (x, y) 映射为物理参数——透射率 t、衰减系数 β 和背景光 B∞——条件是输入帧提取的图像特征。与常规 CNN 和深度展开网络的关键区别在于将物理参数表示为连续坐标函数，而非离散特征图。这种公式化使得：(i) 从单个训练模型进行分辨率无关推理，无需重新训练即可处理从全高清到原生 4K 的视频；(ii) 通过基于坐标的表示自然强制执行参数场的空间平滑性；以及 (iii) 物理可解释性，即学到的参数对应于具有光学意义的量。
我们围绕三个支柱总结我们的贡献：技术公式、物理正则化建模和部署价值：
(1) 技术公式（隐式神经表示）。我们将单帧前馈水下增强公式化为连续物理参数场估计：基于坐标、图像条件的 MLP 在任意空间坐标预测透射率、背景光和辅助衰减。据我们所知，这是首批将水下增强公式化为连续参数场估计的摊销前馈方法之一——区别于每场景优化的多视图神经辐射场（Gupta, Manoj, Varma, Mitra, 2024, Levy, Peleg, Pearl, Rosenbaum, Akkaynak, Korman, Treibitz, 2023, Sethuraman, Ramanagopal, Skinner, 2023）以及内部使用隐式表示的生成流水线（Zhao et al., 2026）。该公式得出了分辨率无关推理：单个训练模型无需重新训练即可处理从全高清（1920 × 1080）到原生 4K（3840 × 2160）。
(2) 物理正则化建模（简化成像模型）。我们采用具有直接透射预测的简化图像形成模型，并通过受控可识别性研究（附录 B）证明其合理性：在单帧配对监督下，深度组合的替代方案 t=e?βd 即使借助外部生成的高质量伪度量深度（Depth Anything V2）也会崩溃到退化状态。波长排序（βr ≥ βg ≥ βb）和海洋学范围先验作为辅助输出的可微分软约束引入；它们的移除会导致 5.57 dB 的 PSNR 崩溃和参数场物理可解释性的丧失。
(3) 部署价值（边缘实时验证）。紧凑的 1.07M 参数架构成功经历了 INT8 量化，在配备 AI HAT+ NPU 的树莓派 5 上，增强流水线在 1080p 下维持 25.8 FPS，QHD 下 17.6 FPS，原生 4K 下 8.1 FPS。跨九倍像素范围的系统基准测试确认了架构成本模型：NPU 延迟与分辨率无关（6.61–6.71 ms），而渲染成本线性扩展（R2=0.998）。此外，受控浊度水槽实验（第 6.3.4 节）表明，在 0.35–10.3 NTU 的未见场景下，1080p 端到端速度为 15.6–16.4 FPS 且无需测试时适应。所有代码、训练权重和结果均已公开发布。

部分片段
相关工作
我们首先回顾水下图像和视频增强方法，这些方法确立了应用领域和 PINE 针对的局限性（第 2.1 节）；然后回顾隐式神经表示和物理信息学习，这些提供了我们的方法学基础（第 2.2 节）；最后将 PINE 与这两类工作相对位置定位（第 2.3 节）。

预备知识
本节建立了 PINE 所反演的水下图像形成模型以及其隐式神经场估计的物理参数。
水下图像形成。光在水中传播经历波长依赖的吸收和散射，产生了水下影像的特征性退化（Jerlov, 1976, Mobley, 1994）。
我们采用单衰减系数形成模型（Schechner and Karpel, 2005），这是修订版双系数模型的简化

框架概述
图 1 展示了 PINE 架构。PINE 通过基于坐标的隐式神经表示将水下图像恢复重新表述为连续物理参数场估计。与传统的像素到像素映射不同，我们的方法将空间变化的光学特性建模为空间坐标和图像上下文的连续函数。
该框架由四个阶段组成：(i) 结合傅里叶位置编码和分层图像

消融研究
为了严格验证每个架构组件对 PINE 性能的影响，我们进行系统的消融实验，包含定量指标和定性参数场可视化。表 2 呈现了使用相同超参数训练的四种配置的统计比较。然而，仅检查聚合指标会掩盖每个组件影响恢复质量的根本机制。因此，我们补充定量

结果
我们在 UVEB 基准测试上评估 PINE，通过以原始捕获分辨率处理视频，范围从全高清（1920 × 1080）到原生 UHD 4K（3840 × 2160）。相比之下，现有比较方法是在下采样到标准化 256 × 256 分辨率的输入上进行评估的。在 100 个测试视频中，97 个序列的退化输入和真实视频之间具有完全匹配的空间维度，因此用于配对指标计算。其余三个视频

定量评估和边缘可行性
双分辨率评估（表 3）确认了 PINE 的恢复优势在标准化（256 × 256）和原生捕获分辨率下均持续存在。这种一致性验证了性能增益不是特定评估协议或下采样插值的产物，而是反映了连续物理参数场估计的固有保真度。
从实际部署的角度来看，PINE 占据了针对资源受限

结论
本工作确立了物理正则化隐式神经表示作为水下图像和逐帧视频增强的原则性框架，解决了限制先前方法的四个约束：空间均匀参数、分辨率依赖处理、离散参数图和有限的可解释性。通过将水下光衰减建模为逐帧应用的连续空间物理参数场，PINE 实现了从全高清到

关于生成式 AI 和 AI 辅助技术在稿件准备过程中使用的声明
在本工作准备期间，作者使用了 AI 辅助语言技术，包括 DeepSeek 和 Grammarly，进行英语语言编辑和校对，以改善稿件的可读性和清晰度。作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

CRediT 作者贡献声明
Jinxin Shao：撰写 – 初稿，可视化，软件，形式分析，数据整理，概念化。
Jianming Miao：项目管理，调查，资金获取，形式分析，概念化。
Haosu Zhang：撰写 – 审查与编辑，验证，监督，资源，项目管理，资金获取，形式分析，概念化。

利益冲突声明
作者声明他们没有可能影响本文报告工作的利益冲突。

致谢
本工作得到了中国国家自然科学基金（编号 52371358 和 42227901）、南方海洋科学与工程广东省实验室（珠海）创新团队项目（编号 311020011）、广东省重点领域研发计划（编号 2020B1111010004）、国家重点研发计划（编号 2021YFC2800700）以及广东省海洋经济发展专项（编号 GDNRC [2022] 31 号）的支持。

Jinxin Shao|Jianming Miao|Haosu Zhang