跨层次结构-细节感知变换器在单图像去模糊中的应用

《ACM Transactions on Intelligent Systems and Technology》：Cross-Hierarchical Structure-Detail-Aware Transformer for Single Image Deblurring

针对传统单图像去模糊方法在多尺度、多深度场景下效果受限的问题，本文提出跨层级结构细节感知Transformer（CSDFormer），通过多层特征提取和双向交叉尺度信息交换模块，有效恢复图像结构和细节，实验表明其性能优于现有方法。

　　

摘要

由于相机抖动和物体运动的影响，图像会出现模糊现象，这种模糊通常具有方向性和不均匀性，从而降低了整体视觉质量。尽管近年来提出了许多单图像去模糊方法，但它们的效果仍然有限，尤其是在涉及不同尺度、深度层次以及背景与物体难以区分的真实世界场景中。为了解决这些问题，我们提出了一种新型的跨层次结构-细节感知Transformer（CSDFormer）用于单图像去模糊。该模型在多个尺度和层次上进行操作，同时关注大尺度和局部模糊以及不同的模糊程度。我们引入了结构感知特征提取（SaFE）模块和细节感知特征提取（DaFE）模块，以逐层在不同尺度间提取关键特征（跨层提取）。为了实现不同尺度间的有效特征交换，我们设计了两种跨尺度信息交换模块：细粒度到粗粒度的跨尺度LSTM信息交换（CsLSTM-IE）模块和粗粒度到细粒度的跨尺度信息交换模块。这些模块通过从细粒度到粗粒度再逐步反向学习特征，旨在恢复图像的结构和纹理细节。实验结果表明，CSDFormer模型在合成数据和真实世界数据集上的表现均优于现有最先进方法，无论是在定量还是定性方面。它在去除各种尺度和深度的模糊、恢复背景以及保留细节方面都表现出色。