用于图像复原的感知残差去噪扩散模型

《Neurocomputing》：Perceptual residual denoising diffusion model for image restoration

　　

摘要
扩散模型因迭代细化过程能够建模复杂的退化，在图像修复方面展现出巨大潜力。其中，残差去噪扩散模型（RDDM）利用残差信号引导修复，但其像素域残差可能稀疏，导致修复区域空间不一致。为解决这些局限性，我们提出了感知残差去噪扩散模型（PRDDM），它在紧凑的感知潜在空间中计算退化图像与清晰图像之间的残差。我们进一步引入了频谱专家混合模型（FSMoE），其中频率分离的描述符将拼接的频谱表示路由到自适应专家，在利用退化相关频率线索的同时保留跨频带上下文。为提高全局一致性，我们设计了一种稀疏锚点自注意力（SASA）机制，在捕捉长距离依赖的同时抑制冗余的注意力响应。在阴影去除、去模糊和雨滴去除任务上的广泛实验表明，PRDDM 实现了具有竞争力的修复性能，在 PSNR 和 SSIM 等结构保真度指标上取得了稳定的提升。此外，潜在空间扩散在修复质量、内存消耗和推理成本之间提供了实用的权衡。

引言
图像修复（IR）是计算机视觉中的一项关键任务，旨在从由恶劣天气、运动模糊或低光照条件等各种现实场景导致的退化输入中重建清晰、高质量的图像。这些退化包含各种伪影，包括雨滴 [1]、模糊 [2] 和阴影 [3]。这些退化的不可逆性和复杂性带来了重大挑战，特别是在修复过程中保留精细细节和结构一致性方面。虽然传统方法 [4], [5] 估计退化过程以进行重建，但其对现实场景适应性的局限推动了基于深度学习的方法 [6], [7], [8] 的发展。

可靠的评估对于修复也很重要，因为 PSNR 和 SSIM 强调信号和结构保真度，但不能完全捕捉感知质量。深度特征感知指标和最近的图像质量评估研究提供了对修复图像质量的补充视角 [9], [10], [11], [12], [13], [14], [15]。知识共享、持续学习和图注意力 IQA 模型改善了跨异构失真的盲质量预测，但它们不是配对全参考指标的替代品。因此，当比较方法的修复图像可用时，我们报告 LPIPS，并避免仅根据 PSNR/SSIM 得出感知结论。

深度学习方法通过从大规模数据中学习强大的先验，取得了显著进展，为复杂、非线性的退化过程提供了解决方案。尽管如此，建模多尺度和非线性退化过程仍然是一个巨大的挑战。

最近的 Transformer 和频域修复网络，如 Uformer [16]、Restormer [17]、图像去雨 Transformer（IDT）[18]、MB-TaylorFormer V2 [19] 和 SFIR [20]，提供了强大的非扩散参考。因此，我们将 PRDDM 定位为残差扩散修复框架，并在报告的可复现设置下将其与可用的任务特定基线进行比较，同时避免在修复输出不可用时进行不支持的指标估计。

最近的统一和任务自适应修复方法通过动态模型权重、任务自适应展开、退化感知提示、非配对最优传输和高效分层融合来解决退化异构性 [21], [22], [23], [24], [25], [26]。开放世界图像分离和统一视频去雨进一步将此方向扩展到未见过的视觉组件和混合时间退化 [27], [28]。这些研究激发了自适应退化建模，但它们的目标与我们不同。PRDDM 使用通用架构，分别为阴影去除、去模糊和雨滴去除设置单独的任务适配检查点；它不呈现为单一联合训练的全能检查点。

扩散模型 [29] 最近因其在建模复杂数据分布和迭代细化机制方面的能力而在图像修复中受到关注，使其特别擅长处理噪声、模糊和低光照等多样化退化。例如，Wang 等人 [30] 提出了 DDNM，这是一种用于任意线性图像修复问题的零样本框架，利用预训练的扩散模型作为生成先验，无需额外训练。同样，Zhang 等人 [31] 引入了 DiffTSR，结合了图像扩散模型（IDM）和文本扩散模型（TDM）来修复高分辨率文本图像。然而，对预训练模型的依赖以及对扩散过程缺乏细粒度控制可能会限制其在需要定制修复流水线的任务中的适应性。其他基于扩散的方法 [32] 也在各种任务中取得了令人满意的结果，突显了扩散模型在生成高质量、逼真输出方面的优势。

条件扩散也已应用于配对框多目标跟踪、运动和外观引导的视频异常检测、可控风格化运动生成和自回归序贯医学图像分析 [33], [34], [35], [36]。这些工作展示了扩散条件的灵活性，尽管它们不是协议匹配的修复基线。关于无注意力全局融合、现代图像/视频质量基准测试和脉冲视觉模型的相关研究同样强调，全局建模、评估覆盖范围和实用效率必须单独分析 [37], [38], [39]。

虽然大多数基于扩散的图像修复方法通过将退化图像作为辅助信息纳入来引导生成过程，但它们很大程度上保留了标准的去噪扩散框架，限制了其在细微退化场景下的灵活性。为此，Liu 等人 [40] 提出了残差去噪扩散模型（RDDM），引入了双扩散框架，将过程解耦为残差扩散和噪声扩散。这种分离增强了可解释性和灵活性，使模型能够在修复中平衡确定性和多样性。通过通过独立的系数调度统一图像生成和修复任务，RDDM 以最小的训练资源实现了强大的性能。

尽管 RDDM 取得了令人鼓舞的结果，但我们观察到其残差，其中 是退化图像， 是真值，在几个修复任务中实质性地集中在零附近。由于退化通常只影响图像的一部分，直接减法会产生许多近零残差像素，如图 1 所示。对于像素，我们从归一化为 的 RGB 值计算。平均绝对残差是所有测试像素上 的平均值， 是对应的阈值比例。如表 1 所示，近零残差占据了像素的很大一部分，特别是在去模糊和雨滴去除中。这种稀疏指导可能会削弱残差扩散，并使修复区域与其周围背景的一致性降低。例如，图 2 显示了阴影去除后明显的亮度和颜色差异，这促使我们在紧凑的感知潜在空间中表示残差。

扩散修复内存占用大，RDDM 进一步通过两个协调分支预测残差和噪声分量 [40]。因此，其原始修复设置使用批量大小为 1，增加了实际训练时间成本，并促使在空间紧凑的潜在张量上进行扩散。

鉴于这些挑战，我们引入了感知残差去噪扩散模型（PRDDM），它在图像修复的语境中重新定义了残差的概念。PRDDM 不再直接在像素域计算残差，而是使用共享编码器对退化图像和清晰图像进行感知压缩，将它们转换为紧凑的潜在表示，从而保留结构和感知内容。感知残差随后计算为这些潜在张量之间的差异，提供紧凑的特征级指导，而不受像素空间中许多近零差异的直接主导。与主要学习生成先验并将退化图像作为外部条件使用的传统潜在扩散模型 [32], [41] 不同，PRDDM 保留了 RDDM 的残差扩散公式，仅将残差载体从像素替换为感知潜在值。这种设计直接针对图像修复中的残差稀疏问题，而不仅仅是降低图像分辨率。

为了进一步增强修复质量，我们提出了频谱专家混合模型（FSMoE），利用退化区域和背景内容之间的频率差异，将频率条件信息注入残差预测。此外，鉴于许多基于扩散的方法倾向于修复局部区域而忽略全局一致性的观察，我们引入了稀疏锚点自注意力（SASA）机制。该组件强调长距离依赖，从而提高修复图像的整体连贯性。这些组件的详细描述见 3.1 感知残差去噪扩散模型，3.2 频谱专家混合模型，3.3 稀疏锚点自注意力。

总之，本工作的贡献如下：
•提出了一种基于感知残差的残差去噪扩散方法，以解决现有方法的局限性。
•引入了频谱专家混合模型（FSMoE），以推导分离的频率描述符并自适应路由跨频带特征用于残差预测。
•此外，设计了一种稀疏锚点自注意力（SASA）机制，以增强全局修复性能。
•在阴影去除、雨滴去除和去模糊任务上进行了广泛实验，结果表明与强基线相比具有竞争力的修复性能和一致的结构保真度提升。

章节片段
残差去噪扩散模型
残差去噪扩散模型（RDDM）[40] 通过结合双扩散过程来统一图像修复和生成，扩展了传统的去噪扩散模型。在传统的 DDPM 中，前向过程逐渐向输入图像添加噪声，导致噪声目标图像。相比之下，RDDM 引入了一个残差项，代表退化图像 和原始图像 之间的差异，同时伴随噪声。具体来说，RDDM 中的前向过程

方法
PRDDM 的流水线如图 3 所示。我们首先将退化图像和清晰图像映射到紧凑的潜在空间，并将它们的差值定义为感知残差。然后在潜在空间中训练残差去噪扩散过程，并将去噪后的潜在值解码以产生修复后的图像。此外，FSMoE 将退化输入分解为多个频率子带，从这些频谱描述符计算路由分数，并自适应激活专家进行残差

数据集和设置
我们在三个不同图像修复任务的测试集上评估我们的方法：(i) ISTD 数据集 [3]，包含 1330 张训练图像和 540 张测试图像，分辨率 为 ，用于阴影去除；(ii) RainDrop 数据集 [1]，包含 861 张训练图像和 249 张测试图像，分辨率 为 ，用于雨滴去除；以及 (iii) GoPro 数据集 [2]，包含 2103 张训练图像和 1111 张测试图像，分辨率 为 ，用于去模糊。

除非另有说明，PRDDM 表示

讨论
实验结果表明 PRDDM 在应对几个图像修复挑战方面的有效性。感知残差、频谱专家混合模型（FSMoE）和稀疏锚点自注意力（SASA）共同提高了结构保真度，特别是在 PSNR 和 SSIM 下，而额外的 RainDrop LPIPS 结果提供了跨任务更一致的感知质量评估。

感知残差用解码器对齐的替代直接像素差异指导

结论
本工作介绍了感知残差去噪扩散模型（PRDDM），这是一个将基于残差的去噪扩散公式扩展到感知潜在空间的框架。通过集成感知压缩、频率感知专家路由和稀疏锚点自注意力，PRDDM 在阴影去除、去模糊和雨滴去除任务中实现了具有竞争力的性能，在结构保真度指标上具有稳定的优势。结果表明，潜在残差

CRediT 作者贡献声明
易杰：写作 – 审阅与编辑，写作 – 原稿起草，验证，方法学。杨云云：写作 – 审阅与编辑，监督，资源，资金获取。张林：写作 – 审阅与编辑，可视化。

竞争利益声明
作者声明他们没有已知的竞争财务利益或可能影响本论文报告工作的个人关系。

致谢
本研究得到国家自然科学基金（批准号 62371156）的支持。深圳市科技计划（批准号 JCYJ20240813105132043）提供了额外支持。

易杰于 2023 年在哈尔滨工业大学（深圳）理学院获得学士学位。他目前正在哈尔滨工业大学（深圳）理学院攻读数学硕士学位，研究方向为图像修复。他当前的研究兴趣包括深度学习、图像修复和图像生成。

易杰 | 杨云云 | 张林
哈尔滨工业大学（深圳）理学院，中国 518055