可解释的交叉注意力引导 ConvNeXt-Transformer 水下图像复原模型

《Scientific Reports》：XCAT-UIR: explainable cross-attention guided ConvNeXt-transformer framework for underwater image restoration systems

　　

摘要

水下图像在海洋探索中发挥着重要作用，但由于水下环境中的光吸收和散射，其图像质量通常会遭受严重损失。然而，由于各种失真问题，水下图像复原仍然是一个极具挑战性的课题。导致信息退化的主要原因包括波长相关的颜色衰减、光散射效应以及物体模糊。目前，深度学习方法被广泛用于图像增强，其利用隐藏特征可被学习以提升图像质量的理念。然而，深度学习方法的黑箱特性限制了人们对模型如何产生复原输出的理解。本研究提出了一种可解释的交叉注意力引导的ConvNeXt-Transformer水下图像复原模型（XCAT-UIR）。所提出的XCAT-UIR方法的主要目标是提高图像的可见度，纠正颜色失真，保留精细细节，并改善退化水下图像的整体质量。该方法首先执行预处理以提升图像质量，便于后续分析。随后，采用ConvNeXt和Swin Transformer技术从预处理后的图像中提取局部纹理信息和全局上下文信息，以增强特征理解能力。基于卷积和基于Transformer的特征提取网络的集成提升了复原模型的表征能力。此外，交叉注意力融合模型用于整合来自ConvNeXt的局部特征和来自Swin Transformer的全局特征，以生成具有判别性的融合特征表示。进一步地，残差重建模块从融合特征中重建增强后的水下图像，同时保留重要细节并减少信息损失。最后，Grad-CAM和交叉注意力图被用于增强与复原相关区域以及局部-全局特征交互的可视化证据。为确保所提出模型性能的改进，使用基准数据集进行了广泛的实验分析。大量的对比研究表明，所提出的模型在多种评估指标上相比近期方法取得了显著的性能提升，表明其在水下图像复原方面具有优越性。