基于草图的极端水下图像压缩网络

《IEEE Transactions on Circuits and Systems for Video Technology》：Sketch-based Extreme Underwater Image Compression Network

水下图像压缩面临低码率、结构信息损失等挑战，本文提出SEUCN框架，通过Sparse Sketch Generation Network提取关键结构和纹理信息，结合Underwater Prior-guided Reconstruction Network增强细节和恢复水下风格，创新性引入多尺度特征词典模块实现纹理补全，实验验证其压缩效率与重建质量显著优于传统方法。

　　

摘要：

水下应用（如勘探和打捞作业）需要捕获水下图像（UWIs），以评估水下目标的形状和结构完整性等属性。然而，由于水下通信系统中可用的无线声学通道有限，水下图像传输面临重大挑战。现有的图像压缩算法在压缩比方面存在不足，导致关键结构信息丢失和重建质量较差，因此不适合实际的水下应用。为克服这些限制，我们提出了一种基于稀疏草图的极端水下压缩框架（SEUCN），该框架主要包括两个子网络：稀疏草图生成网络（SSGN）和水下先验引导的重建网络（UPRN）。为了减少冗余并确保在极低比特率下的有效压缩，SSGN通过两种方式生成适合压缩的稀疏结构草图。首先，它专注于在有限比特率的约束下提取重要的结构信息以支持分析任务；其次，它结合了水下成像模型来学习对视觉重建至关重要的纹理信息。为了恢复压缩过程中丢失的信息并实现高质量重建，UPRN旨在通过有效整合多种先验知识来增强结构细节、恢复水下风格并丰富纹理信息。特别地，考虑到具有共同目标的不同水下图像在语义和纹理上的高度相似性，字典引导的纹理恢复模块（DTRM）利用通用的水下多尺度特征字典作为纹理先验知识来补充缺失的纹理细节。大量实验表明，我们的SEUCN在保留图像细节方面表现出色...

显示更多