面向真实世界图像超分辨率的像素自适应噪声与退化感知

《Neurocomputing》：Pixel-adaptive noise and degradation awareness for real-world image super-resolution

　　

摘要
真实世界图像超分辨率（Real-ISR）由于内在的异质性和空间非均匀退化，以及生成式恢复中的保真度 - 感知权衡，仍然具有高度挑战性。尽管最近的工作通过大感受野或生成先验隐式学习空间变化退化，但这些策略往往无法捕捉真实退化的细粒度、特定区域特性。我们还观察到，这种隐式 formulation 往往将退化建模与生成式恢复纠缠在一起，导致控制性和可解释性有限。为此，我们提出将退化视为统一的空间先验，显式地控制扩散过程的初始化和引导，而不是将其视为松散耦合的条件。为此，我们引入了 PANDA，一个基于潜在扩散的 Real-ISR 框架，通过显式、紧凑且分块表示，一致地将这种退化先验集成到恢复管道中。这种表示通过内容感知信号 - 噪声混合实现像素自适应初始化，通过轻量级 ControlNet 风格路径提供空间对齐引导，并支持自适应残差调制以平衡保真度和感知质量。通过在一个统一框架内联合建模感知退化的初始化和条件，PANDA 在低步数采样下实现了始终如一的结构保持、真实的细节恢复和改进的鲁棒性，同时保持完全潜在、轻量级和训练稳定。在标准的 Real-ISR 基准上，PANDA 在保真度 - 感知平衡和增强的鲁棒性方面优于现有方法。额外的预测器敏感性、分布外、采样预算、注册定性评估和失败案例分析进一步验证了所提出的感知退化设计的表现和局限性。

引言
真实世界图像超分辨率（Real-ISR）旨在从受到异质、空间非均匀且往往不可预测的真实世界因素退化的输入中重建忠实且感知上令人信服的高分辨率图像。尽管许多研究试图对这种复杂退化进行建模，但大多数现有方法将退化视为潜在先验，通过大感受野、随机噪声先验或生成式监督隐式学习。例如，对抗性训练模型如 ESRGAN 和 Real-ESRGAN 在判别器和感知损失中隐式编码退化统计信息，而 BSRGAN 及相关框架通过随机组合退化来近似真实性，而不是显式表示它们 [1], [2]。即使是像 RealSR 和 DRealSR 这样的数据集驱动努力 [3], [4]，也是依赖从配对数据中学习退化行为，而不是以可控或可解释的形式定义它。

然而，这种潜在退化先验往往会模糊特定区域的线索，使得模型难以区分和适应局部变化的伪影。如图 1 所示，传统方法通常依赖全局退化建模，这无法捕捉真实世界退化的空间异质性质。这一局限性促使人们逐渐转向显式退化建模和空间自适应条件。

早期框架如 SRMD [5]、SFT-GAN [6] 和 IKC [7] 显式参数化模糊或噪声图，并将它们纳入空间条件分支，揭示了真实图像很少遵循均匀的退化过程。最近，基于扩散的框架通过利用强大的生成先验，通过迭代去噪产生真实且多样的纹理，进一步推动了 Real-ISR 的发展 [8]。StableSR [9]、DiffBIR [10] 和 PASD [11] 等方法表明，通过将生成先验与对齐或噪声调度结合，可以实现真实的细节恢复，而 ControlNet 风格架构突显了结构化、空间对齐条件的重要性 [12], [13], [14]。

尽管如此，当前的基于扩散的方法通常依赖沉重的多分支架构或全局初始化策略，这可能在面对多样化的真实世界退化时限制其效率、稳定性和鲁棒性。除了架构复杂性外，大多数现有的“退化去除”或条件机制在图像级别操作，忽略了真实退化的内在非均匀性质。在实践中，真实照片表现出由光学、运动、去马赛克和压缩引起的区域相关伪影，然而大多数管道在推理期间将图像视为均匀的。这种全局处理可能会模糊平滑区域的结构，或在严重退化区域过度幻觉纹理。虽然像 SRMD 这样的早期工作在概念上允许空间变化退化图，但使用基于 GAN 的模拟器或两阶段恢复方案训练的主流 Real-ISR 框架仍然缺乏显式的分块退化表示，该表示能将局部退化线索与生成先验对齐 [1], [2], [10]。此外，许多基于扩散的 Real-ISR 系统和 ControlNet 风格改编没有显式建模退化过程本身。它们通常从全局噪声开始采样，或依赖通用引导（例如，边缘、深度、分割），这与退化仅松散相关，导致最终时间步的条件较弱和训练 - 测试不匹配 [8], [11], [12]。这种全局和非退化感知条件阻碍了保真度 - 感知平衡，并减少了有限采样预算下的鲁棒性。总之，这些局限性突显了一个关键的研究缺口：Real-ISR 急需一个显式、紧凑且空间自适应的退化表示，以有效地桥接退化理解和生成式恢复。

考虑到上述问题，我们提出了 PANDA，它在基于扩散的 Real-ISR 模型中引入了像素自适应噪声初始化和分块退化感知。详细地说，PANDA 是一个完全潜在、最小侵入式的扩散框架，学习紧凑的、输入依赖的退化表示，并一致地使用它来尊重区域相关退化并加强引导。具体地，PANDA 首先预测一个紧凑的分块退化表示，捕捉图像跨度的空间非均匀退化特性。该表示被转换为潜在对齐特征图，并用于引导终端初始化和去噪条件。内容自适应残差注入（CARI）通过通过像素级保留掩码混合 LQ 潜在变量和高斯噪声来定义输入条件终端分布。去噪器在同一条件终端家族样本上训练，因此推理时使用的预热启动与 CARI 感知训练期间使用的终端分布相匹配。此外，区域依赖退化表示通过轻量级 ControlNet 风格路径在早期 U-Net 块中进行像素级空间路由注入，以适度的开销提供保持对齐的异构退化引导。

本文的主要贡献总结如下：
•我们估计了一个分块退化表示并将其映射到潜在对齐特征图，从而将退化过程显式建模为与生成管道对齐的空间变化先验。
•我们引入了内容自适应残差注入，它预测像素级保留掩码以定义输入条件终端分布，并在同一分布上训练去噪器，改善了低采样预算下的保真度 - 感知平衡。
•我们在浅层 ControlNet 路径中引入了轻量级像素级空间路由器。它根据区域依赖退化线索聚合三个卷积专家，并将路由的残差注入到相应的主 U-Net UpBlock，从而在不使用重型多层控制的情况下实现保持对齐的引导。
•在标准 Real-ISR 基准上的广泛实验表明，PANDA 实现了强大的保真度 - 感知权衡，低步数采样下改进的鲁棒性，以及少步扩散中有利质量 - 开销平衡。

本文其余部分组织如下。第 2 节回顾相关工作。第 3 节提出所提出的 PANDA 方法。第 4 节详细说明训练协议和实验设置。第 5 节报告实验结果和消融。第 6 节讨论局限性和见解。

章节片段
真实世界图像超分辨率
早期的深度图像超分辨率方法主要关注合成退化，如双三次下采样，在受控设置下实现了强大的性能。然而，这些方法往往难以泛化到真实世界低质量图像，其中退化是未知的、复杂的和空间非均匀的。为了更好地研究这个问题，引入了如 RealSR 和 DRealSR 等数据集，以从真实成像系统捕获真实的退化模式 [3], [4]。

为了弥合这一差距
概述
如图 2 所示，我们提出了 PANDA，一个感知退化的潜在扩散框架，用于真实世界图像超分辨率。与将退化视为隐式或辅助条件的现有方法不同，我们将退化建模为统一的空间先验，显式地控制扩散的初始化和去噪过程。这种视角允许模型根据具有不同退化特性的区域自适应调整恢复行为，从而实现训练协议（第一阶段）：预训练分块退化预测器

平衡的退化空间。类似于 DASR [15]，我们通过将退化空间划分为三个严重性机制（轻微/中等/严重；）来平衡它。在采样时，我们首先均匀选择一个机制，然后在机制特定范围内绘制模糊（核宽度/类型）、噪声（方差/类型）和压缩（质量）的参数，以及重采样选项，类似于 BSRGAN 和 Real-ESRGAN [1], [2]。这避免了对重度退化的偏见，并改善了对清晰或

实验设置
我们在 PyTorch 中实现了 PANDA。优化使用带有余弦调度和梯度裁剪的 AdamW [48]；启用混合精度训练 [49] 和激活检查点 [53] 以提高内存效率。模型在 4 个 NVIDIA V100 GPU 上以批量大小为 4 更新 500 K 次迭代。

训练和测试数据集。对于 Real-ISR 任务，我们在 DIV2 K [54]、Flickr2 K [55]、OST [6] 和 FFHQ 前 10,000 张人脸图像 [56] 的组合上训练我们的 PANDA 模型。遵循 Real-ESRGAN

讨论与局限性
我们的像素自适应初始化减少了训练和推理时使用的条件终端状态之间的不匹配，浅层空间 -MoE 控制以适度的开销注入退化先验。尽管如此，仍存在几个局限性。首先，33 维描述符涵盖建模的模糊、噪声、JPEG 和调整大小家族，而不是真实成像伪影的完整空间。表 11 和图 5 中的 OOD 结果显示了在长运动模糊、摩尔纹/去马赛克等。

CRediT 作者贡献声明
张俊浩 (Junhao Zhang)：写作 - 审查与编辑，写作 - 原创草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念化。刘天一 (Tianyi Liu)：写作 - 审查与编辑，写作 - 原创草稿，软件，方法论，形式分析，数据整理，概念化。叶金辉 (Kim-Hui Yap)：写作 - 审查与编辑，写作 - 原创草稿，监督，资源，项目管理，

竞争利益声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些可能会影响本文报告的工作。

张俊浩 (Junhao Zhang) 于 2021 年获得了中国电子科技大学和格拉斯哥大学的双工学学士学位。他目前正在新加坡南洋理工大学电气与电子工程学院攻读博士学位。他的研究兴趣包括计算机视觉、故障诊断和生成式 AI。

Junhao Zhang|Tianyi Liu|Kim-Hui Yap|Lap-Pui Chau|Ce Zhu
新加坡南洋理工大学电气与电子工程学院，新加坡 639798，新加坡