MDIR：面向一体化图像恢复的多维退化表示学习

《Neurocomputing》：MDIR: Multi-dimensional degradation representation learning for all-in-one image restoration

　　

• •
  MDIR 是一种新颖的框架，利用多维退化表示学习技术。
• •
  采用混合尺度结构建模与自适应特征重校准，实现退化感知的特征引导。
• •
  结合空间与频率联合注意力机制和多尺度通道增强，实现任务自适应的特征平衡。
• •
  实验结果表明，MDIR 在保真度和泛化性方面均表现出色。

引言

图像复原是一项经典且具有挑战性的计算机视觉任务，其目标是从受噪声 [1]、[2]、雨 [3]、[4] 和雾霾 [5]、[6] 等因素退化的输入中恢复高质量图像。传统方法 [7] 通常依赖人工设计的先验来求解此逆问题。随着深度学习的兴起，基于数据驱动的方法已成为主流，利用大规模数据集学习从退化图像到期望输出图像的潜在映射关系。早期的基于深度学习的方法通过开发任务专用模型，在单一复原任务中取得了显著进展 [1]。然而，这些方法在泛化能力方面往往表现不足，需要针对每种退化类型单独训练模型，在涉及多种复杂退化的实际场景中效率低下，难以实际应用。

为解决这一局限性，研究人员提出了一些通用方法 [8]、[9]，能够处理多种退化任务。然而，对于每种退化类型，通常仍需单独训练模型并进行重新训练，这极大地增加了计算成本。最近，一体化图像复原方法 [10]、[11] 作为一种有前景的解决方案应运而生。这些模型通常整合多种机制来同时处理不同类型的退化问题。早期工作，如 AirNet [10]，采用对比学习范式来实现统一的图像复原。随后，PromptIR [11] 和 InstructIR [12] 引入了高效轻量级的提示机制，实现在多种退化类型下的自适应复原。此外，近期研究利用大规模预训练的视觉-语言模型 [13] 生成任务相关提示，从而提升了退化感知先验的利用效率，进一步提高了复原精度。

上述一体化方法在退化图像复原方面取得了显著进展。然而，它们通常在一个集成模型内学习各种退化类型，而不同退化类型在频率分布和空间特征方面存在显著差异（例如，雾霾对应低频模糊，而噪声引入高频扰动），导致任务间特征冲突与干扰，最终限制了整体复原性能。因此，我们提出了一种新颖的图像复原框架，称为面向一体化图像复原的多维退化表示学习（MDIR）。与依赖学习到的退化提示或任务特定嵌入的提示类方法不同，MDIR 直接从未退化图像特征中构建这些表示，无需外部提示或显式的退化类型预测。通过在统一的表示空间内组织异构的退化相关信息，MDIR 旨在减少不同复原任务之间的干扰，提升统一复原性能。

我们的方法利用多视角退化表示来动态引导退化特定特征和内容相关特征的提取与选择，从而实现不同退化类型的灵活分离。具体来说，MDIR 首先引入结构感知引导模块，从多视角提取多尺度退化线索，有效解决单一领域表示在处理异构退化类型时的局限性。随后，一个具有多分支架构的协同域注意力模块聚合空间、通道和频率领域的层次特征，动态调整其贡献权重，以增强复原的鲁棒性和在多种退化场景下的泛化能力。

如图 1 所示，MDIR 优于现有的图像复原方法，在多种退化场景中展现出优越的性能。我们的主要贡献总结如下：

• •
  我们提出了 MDIR，一种统一的图像复原框架，通过多维退化表示学习自适应地跨域整合特征。该设计使单一模型能够有效应对多样化和复杂的退化场景，实现强大的泛化能力和高保真复原。
• •
  我们引入了结构感知引导模块（SAGM），采用混合尺度卷积机制，结合动态选择和特征重校准。该模块从输入特征中自适应地提取退化相关线索，生成稳定且具有泛化性的表示，有效引导后续的复原过程。
• •
  我们提出了协同域注意力模块（CDAM），利用可学习的动态加权来协调跨域信息，并在不同退化条件下促进互补性特征协作。该机制显著增强了模型在多任务图像复原场景中的适应性和鲁棒性。

章节摘要

单任务图像复原

单任务复原方法通常只针对一种特定的图像退化类型，旨在从退化输入中重建高质量图像。过去几十年间，该领域受到了广泛关注。经典方法，例如 [7]，通过引入人工设计的先验将复原建模为优化问题。尽管有效，但这些方法通常计算成本高昂，且对参数设置高度敏感。随着快速

所提流程概述

所提出的一体化 MDIR 方法基于带有跳跃连接的 U-Net 架构——详见图 2(a)。我们模型中的底层神经网络由两个关键组件增强：结构感知引导模块（SAGM）——见第 3.2 节，和协同域注意力模块（CDAM）——见第 3.3 节。

给定退化输入图像 $$，网络首先应用卷积 $$ 提取浅层特征 $$，其中 $$ 表示空间分辨率，$$ 为通道维度。

实验

为了严格评估所提出的 MDIR 方法的有效性，我们遵循近期最先进研究 [10]、[35] 所确立的实验协议，考虑两种互补设置：（1）一体化和（2）单任务。一体化设置训练单一统一模型来同时应对多种退化类型，从而突出其在异构复原场景中的泛化能力。相比之下，单任务设置采用单独训练的

结论

本文提出了 MDIR，一种新颖的一体化图像复原统一框架，旨在通过全面的多视角表示学习来鲁棒地处理多样化和复杂的退化类型。其核心在于，SAGM 利用混合尺度动态选择和特征重校准来自适应地捕捉异构结构模式，同时抑制内容干扰。互补地，CDAM 整合联合空间-频率建模与多尺度通道

CRediT 作者贡献声明

燕翔：撰写——审阅与编辑，监督，调查，概念化。刘金：撰写——初稿，软件，方法学，概念化。秦翰林：撰写——审阅与编辑，验证，监督。袁帅：撰写——审阅与编辑，监督。崔宇宁：撰写——审阅与编辑，监督。任文琦：撰写——审阅与编辑，监督。Naveed Akhtar：撰写——审阅与编辑，监督。Ajmal Mian：撰写——审阅与编辑，监督。

生成式人工智能和人工智能辅助技术在写作过程中的声明

在撰写本工作期间，作者使用了 Gemini 进行语法检查和错误纠正。在使用该工具/服务后，作者对内容进行了审阅和编辑，并对出版物的内容承担全部责任。

利益冲突声明

作者声明他们不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文所报告的工作。

致谢

作者对编辑和匿名审稿人提出的宝贵意见和建议表示诚挚的感谢。本工作得到了中央高校基本科研业务费专项资金（项目编号 QTZX26084）、陕西省重点研发计划项目（项目编号 2022JBGS2-09）以及陕西省科学技术计划项目（项目编号 2023KXJ-170）的部分资助。

燕翔 于2012年和2018年分别在中国西安电子科技大学获得学士和博士学位。2016年至2018年，他作为访问博士生在澳大利亚西澳大利亚州珀斯的计算机科学与软件工程学院学习，与 Ajmal Mian 教授紧密合作。目前，他担任西安电子科技大学副教授。他的研究方向包括图像处理、计算机视觉和深度学习。

燕翔|刘金|秦翰林|袁帅|崔宇宁|任文琦|Naveed Akhtar|Ajmal Mian