MISU：多输入Swin-UNet

《IEEE Journal of Oceanic Engineering》：MISU: Multi-Input Swin-UNet

水下图像增强中多分辨率特征融合与Swin Transformer结合的方法研究，提出MISU框架通过多输入策略和跨尺度特征提取实现高效增强，实验验证其PSNR和SSIM指标优于现有方法。

　　

摘要：

水下图像增强（UIE）在海洋探索的水下成像中起着至关重要的作用。然而，一种可靠的水下图像增强方法至今仍未问世，现有的方法要么在通用性和动态适应性方面存在局限，要么忽视了不同尺度下感受野和语义信息深度的差异。为了解决这个问题，我们提出了多输入Swin-UNet（MISU），这是一个高效且稳健的水下图像增强框架。MISU将粗到细的处理理念融入到水下图像增强任务中。具体来说，为了有效管理来自多个尺度的不同分辨率，我们设计了一种多分辨率输入策略。然后，引入了一个基于Swin-Transformer的模块来提取多尺度特征，从而同时聚合全局上下文信息和局部细节。我们进一步引入了一个具有可学习滤波器的特征均匀化模块，以提高多尺度特征融合的精度。通过对八个基准数据集进行广泛的实验和分析，我们证明了MISU的性能优于以往的方法，达到了最先进的水平：峰值信噪比为24.415（相比之下为24.380），结构相似性指数为0.869（相比之下为0.868）。

引言

随着水下探索领域的快速发展，诸如自主水下航行器和遥控水下航行器等基于水下图像的应用程序，对先进成像技术的需求激增。然而，由于海洋环境的复杂性，捕捉高保真度的水下图像仍然具有挑战性。光在水介质中的传播受到悬浮颗粒物引起的散射和吸收的显著影响。如图1(a)和(d)所示，前向和后向散射导致水下图像模糊、对比度低且分辨率降低[1]。此外，水下成像还面临着可见光谱中光衰减差异带来的其他挑战，从而导致颜色偏移、伪影和亮度低的问题[即图1(b)、(c)和(e)]。显然，这些失真严重影响了水下图像的视觉清晰度，进而阻碍了水下视觉任务的安全性和效率。因此，能够有效改善水下图像视觉质量的水下图像增强（UIE）非常受欢迎，并已成为研究和海洋工程领域中的一个有益课题。