DeRestormer：通过可变形注意力机制重新审视多功能图像恢复技术

《Pattern Recognition》：DeRestormer: Revisit Versatile Image Restoration via Deformable Attention Mechanism

图像修复框架DeRestormer基于可变形注意力机制，动态调整采样位置以适应不规则退化模式，结合耦合细化块和可变形卷积实现多尺度特征融合，在四类图像修复任务中均达到SOTA性能。

　　

林晓|陈一琳|黄伟|杨启哲|龚静宇

上海师范大学信息、机械与电气工程学院，中国上海

摘要

由于现实世界中图像退化的复杂性和多样性，图像恢复仍然面临重大挑战。然而，这些退化通常表现为空间上不均匀、局部集中且不规则的图案，这就需要一种能够根据底层退化几何结构调整特征采样方式的恢复模型，同时保持计算效率。在本文中，我们设计了一种基于可变形恢复Transformer的新图像恢复框架，称为DeRestormer。DeRestormer通过可变形注意力机制适应不规则但局部的退化，学习了一小部分采样位置来预过滤并突出关键元素，从而使模型能够更好地关注信息丰富的区域并高效处理复杂的退化模式。此外，我们在瓶颈阶段引入了可变形卷积，以动态调整不同尺度上的采样位置，从而实现灵活的多尺度聚合和细粒度细节与全局上下文的有效整合。在13个数据集上的4项任务中进行的大量实验证明了DeRestormer的有效性，因为它在广泛的图像恢复场景中均达到了最先进的性能。我们的项目和预训练模型可在以下链接获取：https://github.com/Kingsley-Cyl/DeRestormer。

引言

图像恢复在计算机视觉中起着至关重要的作用，因为许多下游任务本质上假设输入图像是高质量且清晰的，而现实世界的图像获取通常会受到各种退化因素（例如雨迹、雪花、雾和运动模糊）的影响。

传统的图像恢复方法依赖于从简化的物理或统计模型中获得的先验知识，但它们往往难以捕捉现实世界图像退化的固有复杂性。基于CNN的方法由于其分层特征提取能力，极大地提高了图像恢复性能。然而，CNN中卷积的固定几何结构限制了它们对多样化退化模式的适应性[1]。最近，基于Transformer的方法在各种视觉任务中取得了令人印象深刻的结果，因为它们能够建模长距离依赖性[2]，[3]。尽管如此，Transformer在整个图像中通常涉及密集的注意力计算，但未能专注于局部不规则的退化。

根据我们的观察，图像退化通常会影响每个像素周围的局部区域。然而，基于CNN的方法受到刚性几何卷积的限制，而基于Transformer的方法虽然利用了整个图像的相关性，但未能专注于局部区域。如图1所示，标准卷积在固定邻域内聚合信息，而密集的自注意力为所有位置分配全局分数。相比之下，可变形卷积引入了内容自适应采样，根据局部结构调整有效感受野。因此，我们认为理想的图像恢复特征提取方法应关注局部区域，并结合对各种退化模式的可变形适应。其中，采样位置应根据输入特征图动态调整，以关注结构上有意义且语义相关的区域。

受此启发，我们设计了一个基于可变形注意力机制的图像恢复框架，称为DeRestormer。DeRestormer旨在明确利用特征采样策略，通过动态空间采样和可学习的偏移量来适应不规则分布的特征[4]。

具体来说，DeRestormer的主要结构基于耦合细化模块（CRBs）。每个CRB包括一个空间-频率融合模块（SFFM）和一个基于可变形的恢复Transformer（DRT）。SFFM用于提取互补的空间和频率域特征，DRT用于捕捉局部不规则模式并通过可变形自注意力机制利用上下文信息。此外，我们提出了一种可变形聚合机制（DAM），它连接编码器和解码器，以进一步增强多尺度特征融合。DAM使用不同核大小的可变形卷积来整合多尺度上下文信息，显著提高了恢复性能。

在13个数据集上的4项图像恢复任务中进行的大量实验证明了所提出的DeRestormer的有效性和优越性，证明了可变形注意力机制在图像恢复中的重要性。

我们的主要贡献总结如下：

• •
  我们提出了一种基于可变形注意力机制的多功能图像恢复框架，称为DeRestormer。它可以在图像恢复过程中关注局部区域，并根据不同的退化模式进行变形。
• •
  我们重新设计了图像恢复的编码器和解码器的瓶颈部分，并设置了一个具有不同核大小的可变形聚合机制，以实现多尺度信息融合。
• •
  我们在不同的图像恢复任务上进行了大量实验，并证明了我们的方法相对于现有最先进图像恢复方法的有效性。

部分摘录

图像恢复

图像退化是一个具有广泛子任务的研究领域，早期的图像退化恢复方法基于不同的退化类型提出了许多先验假设。随着卷积神经网络的快速发展，数据驱动的方法逐渐出现，提高了不同图像恢复任务的结果性能，但仍受特定退化先验假设的限制，这使得

网络架构

我们提出的DeRestormer的整体结构如图2所示。具体来说，给定任何输入图像$I\in R^{3\times H\times W}$，我们的流程包括以下步骤：

(1)

输入金字塔构建。退化图像$I\in R^{3\times H\times W}$通过两次级联重采样操作下采样，得到$I^{\prime }\in R^{3\times \frac{H}{2}\times \frac{W}{2}}$和$I^{″}\in R^{3\times \frac{H}{4}\times \frac{W}{4}}$，形成三级表示，以实现粗略和精细的恢复特征。

(2)

基本尺度阶段。在每个分辨率下，首先使用3×3卷积产生浅层特征

实验

为了证明我们提出的网络的有效性，我们使用13个数据集在四个图像恢复任务上进行了实验，即去雪、去雨、去雾和去运动模糊。在本节中，我们首先介绍实验设置和评估指标。然后，我们将定量结果和与当前最先进恢复方法的定性结果进行比较。

消融研究

对于消融实验，我们探讨了最终去雪性能的各个组成部分及其相关细节。为了确保不同比较设置之间的公平性，我们在CSD数据集上进行了所有消融研究，该数据集的补丁大小为256×256，并对所有模型设置进行了200个时代的训练。

局限性和未来工作

尽管取得了显著的定量改进，但仍存在一些局限性。目前，DeRestormer依赖于特定于任务的权重来减轻不同退化之间的负面传递，而不是使用单一的统一模型。在鲁棒性方面，该模型在极端、超出分布条件的情况下或在缺乏局部线索的纹理区域内可能会遇到困难。在这种跨域场景中，不准确的退化识别可能会

结论

在本文中，我们在图像恢复任务中使用了与可变形相关的操作，并提出了DeRestormer，这是一种基于Transformer的多尺度架构，用于解决不同的图像恢复任务。一方面，我们提供了耦合细化模块来同时利用频率信息和可变形注意力进行更好的特征提取。另一方面，我们重新设计了不同尺度之间的特征融合方法，并在多尺度中引入了可变形卷积

CRediT作者贡献声明

林晓：监督、资源获取、资金筹集。陈一琳：方法论、调查、形式分析、数据管理、可视化、写作——原始草稿。黄伟：资源管理、数据管理。杨启哲：方法论、验证、监督、写作——审阅与编辑。龚静宇：调查、监督、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了中国国家自然科学基金（项目编号62477013、62502313、62502159）、上海自然科学基金（项目编号24ZR1456100、25ZR1402135）、重庆市自然科学基金（项目编号CSTB 2025NSCQ-GPX0445）、上海市科学技术委员会资助的项目（项目编号24DZ2305900）以及上海市促进产业高质量发展专项基金（2211106）的支持。