UVENet：一种确保水下视频增强时序一致性的新型端到端模型

本文提出了一种创新的端到端水下视频增强（UVE）模型UVENet，通过引入特征对齐与聚合模块（FAAMs）有效解决了现有方法（如逐帧增强）导致的时序不一致问题（如闪烁伪影）。研究团队还利用水下神经渲染（UWNR）技术构建了首个合成水下视频增强数据集（SUVE），为模型训练与评估提供了关键资源。实验证明，该方法在合成与真实水下视频上均能显著提升帧质量与帧间连续性，为海洋生态研究等应用提供了更清晰、稳定的视频数据。

　　

章节摘要

相关研究

水下图像增强（UIE）。 现有的水下图像增强（UIE）方法可分为三类：基于物理模型的、无物理模型的和数据驱动的方法（Du等人，2023）。基于物理模型的方法通过估计水下图像形成模型的参数来逆转退化过程（Akkaynak, Treibitz, 2019, Drews, Nascimento, Moraes, Botelho, Campos, 2013, Galdran, Pardo, Picón, Alvarez-Gila, 2015）。无物理模型的方法则直接通过...

提出的方法

本节全面介绍我们为水下视频增强（UVE）提出的端到端模型——UVENet。给定一个来自水下视频的连续帧序列 $c{f}_t={\{x_i\in R^{3\times H\times W}\}}_{i=t?k}^{i=t+k}$，其中 $x_i$ 是第 $i$ 帧的图像，$t$ 代表中心帧的索引，$C=3$，$H$ 和 $W$ 分别是输入图像的通道数、高度和宽度。$T=2k+1$ 表示所有输入帧的总数。UVENet的目标是生成中心帧 $y_t$ 的高质量版本。

合成UVE数据集的构建

在当前的水下视频增强（UVE）研究中，广泛使用的水下图像数据集，如UIEB（Li等人，2019）和WaterGAN（Li等人，2017）主要依赖于真实水下图像的收集。这些数据集提供了成对的图像，包括水下图像及其对应的增强版或清晰版，这有助于研究人员开发和评估图像增强算法。研究人员通常采用两种方法来生成UIE中的配对数据集。一种...

数据集

我们在两个数据集上评估所提出的模型，包括SUVE和海洋视频工具包（MVK）。

结论

为了有效解决现有水下视频增强（UVE）方法的局限性（这些方法未能充分利用帧间关系并保持视频一致性），我们提出了一种新颖的端到端模型，称为UVENet。UVENet旨在同时处理多帧，并使用共享的卷积主干网络（例如，ConvNeXt）从输入视频中提取多尺度特征，从而提高每一帧的质量。为了确保帧间一致性，UVENet...

贡献者声明

Huijie Guo: 写作 – 审阅与编辑，写作 – 初稿，验证，资源，方法论，调查。 Dazhao Du: 写作 – 初稿，可视化，验证，资源，方法论，调查，形式分析，概念化。 Hongwei Dong: 写作 – 初稿，验证，资金获取。 Shouyou Huang: 可视化，方法论。 Changwen Zheng: 可视化，方法论，形式分析。 Lingyu Si: 写作 – 审阅与编辑，资源，方法论。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文报告的工作。