OODDiffusion：一种基于深度扩散技术的盲图像超分辨率方法，运用了分布外学习与可控采样流程

《Image and Vision Computing》：OODDiffusion: A deep diffusion-based blind image super resolution scheme using out-of-distribution learning and controllable sampling process

　　塞佩尔·加马里|阿里雷扎·埃斯迈尔泽希|M.奥迈尔·艾哈迈德|M.N.S.斯瓦米加拿大魁北克省蒙特利尔市康考迪亚大学电气与计算机工程系摘要图像超分辨率技术旨在提升质量低下的退化图像的空间分辨率，进而改善其视觉效果。由于在现实场景中图像退化过程往往未知，因此盲超分辨率任务近年来在学术界受到了广泛关注。扩散模型因其能够生成逼真纹理和结构的能力而彻底改变了盲超分辨率任务的处理方式。然而，现有大多数方法只能处理在网络训练过程中使用的一组已知退化操作所产生的退化图像信号。因此，当应用于训练过程中未曾遇到的真实世界图像退化时，它们的性能会显著下降。为此，我们提出了一种新方法，该方法利用分布外检测与处理的概念，对训练集中已知的退化图像以及现实中未见过的高质量退化图像进行高效超分辨率处理。我们所提出的方案采用了分解置信度概念来进行分布外检测。此外，我们认为通过在扩散过程中使用可控噪声图，可以有效管理分布外数据，从而产生高质量结果。实验结果表明，所提方法在多个基准数据集上的表现均优于现有的最先进方法。引言图像超分辨率是一种计算机视觉任务，旨在去除退化图像中的伪影，同时提升其视觉质量。近年来，得益于端到端的参数优化过程以及大量训练数据样本的支撑，深度神经网络在包括图像超分辨率在内的多个领域取得了显著成果[1]，[2]，[3]，[4]，[5]，[6]，[7]，[8]，[9]，[10]，[11]，[12]，[13]，[14]，[15]，[16]。一些深度超分辨率网络被设计用于处理具有特定已知范围内退化的低分辨率图像，这类方法被称为非盲超分辨率。相比之下，盲超分辨率方法则是为了解决具有未知退化的低分辨率视觉信号问题而开发的。由于现实场景中图像退化模型和参数往往未知，因此盲超分辨率方法通常比非盲方法更为重要。SRMD[17]作为首个开创性的深度盲图像超分辨率网络，通过整合关于退化过程的先验信息，提升了其处理各种图像退化操作的学习能力。IKC[7]作为一种深度盲超分辨率网络，采用了另一种方法，即通过迭代改进模糊核的估计值。[18]的作者们提出了一种名为KDSR的深度盲图像超分辨率方案，该方案利用知识蒸馏方法将退化过程的表示从教师网络传递到学生网络。ZSSR[19]框架则运用零样本学习概念来实现盲超分辨率，在推理阶段可直接从输入的退化低分辨率图像生成训练对，从而快速优化网络参数。生成对抗网络的发展[20]展现了其在高效转换数据分布方面的强大能力，使得这些网络成为通过学习低质量输入的分布来生成高质量图像的宝贵工具。BSRGAN[21]引入了一种专为盲超分辨率任务设计的实用GAN基础网络，它能够模拟复杂且逼真的退化操作，大大提升了超分辨率模型处理未知退化的能力，使BSRGAN成为解决现实世界中盲超分辨率问题的基准方法。在此基础上，RealESRGAN[22]通过针对具有未知、复杂且逼真退化的多样化低质量视觉信号进行训练，进一步推动了盲超分辨率技术的发展。借助基于GAN的架构和对抗学习技术，RealESRGAN在保留细节和减少野外观测图像伪影方面表现出更优异的性能。尽管基于GAN的方法已取得显著成效，但它们的训练稳定性问题以及在保留细节方面的挑战促使研究人员探索其他策略，以提高盲图像超分辨率技术的稳定性和有效性。最近，扩散模型彻底改变了深度神经网络的生成能力。通过逆转逐步加噪的过程，这些模型能够迭代地将随机噪声转化为高质量数据，为包括盲图像超分辨率在内的各种图像生成任务提供详细且逼真的输出结果。在扩散模型在盲超分辨率任务中取得成功的基础上，许多最先进的方法都对StableDiffusion[23]的参数进行了调整。DiffBIR[24]是一种值得注意的方法，它通过采用两阶段框架来增强Stable Diffusion的功能，该框架结合了基于变换器的神经网络与生成型扩散先验，从而在提升视觉信号纹理真实度的同时保持结构完整性。另一项创新方法ResShift[25]则通过引入残差移动机制来增强盲超分辨率处理过程，该机制能够在扩散步骤中动态调整残差，以适应不同的退化模式。这一机制还与一种具备退化感知能力的特征提取器相结合，使模型能够识别并应对特定的退化类型，进而提升恢复图像的视觉质量和稳定性。尽管在盲图像超分辨率领域已经取得了显著进展，但如前文所述，大多数最先进的方法仍然依赖于训练过程中有限种类和范围的退化情况。例如，DiffBIR[24]主要处理诸如模糊、下采样、高斯噪声和JPEG压缩等退化类型，且每种退化类型都受到特定参数范围的限制。然而，现实世界中的图像退化往往极为复杂、多样且难以预测，这使得那些在固定退化模式下训练得到的模型很难实现有效泛化。因此，开发一种能够处理具有不同类型和程度退化的低分辨率图像的深度盲超分辨率框架至关重要。为了解决这一问题，已有几项研究提出了退化预测框架，旨在推断潜在的退化类型并据此调整超分辨率处理流程（例如[7]，[21]，[22]，[24]，[26]）。然而，这些方法难以应对现实世界中图像退化的固有复杂性和不确定性，往往无法实现精确预测。此外，对精确退化建模的依赖还会带来额外的瓶颈，降低这些方法在实际应用中的稳定性。鉴于现有盲超分辨率网络的局限性，本文提出了一种新颖的盲超分辨率方案，该方案利用分布外检测与自适应处理技术，生成具有更高高频细节且伪影更少的的高分辨率图像。具体而言，我们将有限种类的合成退化操作定义为分布内操作，而所有其他退化类型，包括未见过的合成退化和真实世界中的退化，都被视为分布外操作。在第一阶段，我们引入了分布外检测模块，用于区分由分布内操作导致的低分辨率图像与受到未知退化影响的图像。与传统专注于语义分布变化的分布外检测方法不同，我们的目标是检测退化程度的分布不匹配情况，也就是判断输入的退化是否属于训练数据中的退化范畴。为此，我们借鉴了Generalized ODIN[27]中的分解置信度公式，并结合了从初始恢复图像中提取的特征稳定性信号。具体来说，我们会计算提取出的特征表示与其经中值滤波处理后的对应特征表示之间的余弦相似度。这一方法捕捉到了盲超分辨率的一个重要特性：由分布内操作导致的图像往往会产生稳定的中间表示，而未知退化则会引入残余伪影，使得这些中间表示更容易受到平滑处理的影响。在第二阶段，我们采用了可控噪声调度策略来平衡噪声去除与纹理保留之间的关系。具体而言，我们发现经过S形函数加权处理的噪声调度策略能够提升模型对现实世界图像退化的抵抗能力，从而进一步增强所提盲超分辨率方案的整体效果。除了调度策略本身之外，我们方法的另一项关键创新之处在于将特征级的分布外信号与扩散采样过程相结合。我们并未将分布外检测作为独立的分类工具，而是让检测结果直接通过自适应调度器的选择来调控生成过程。这样一来，特征分析与生成推理之间就形成了闭环互动，模型能够根据检测到的退化类型动态调整其恢复策略。据我们所知，此前尚未有盲超分辨率框架采用这种以特征为驱动、具备分布外意识的控制方式。本文的贡献可总结如下：•我们通过引入特征稳定性信号，将分解置信度公式应用于盲超分辨率领域的分布外检测任务，实现了超越传统基于输出层置信度的退化感知检测功能。•我们提出了一种具有明确路由机制的、由分布外检测引导的扩散框架，该框架会根据检测到的图像分布类型（分布内或分布外）来确定相应的恢复采样策略。•我们针对分布外退化情况设计了一种自适应噪声调度策略，该策略采用S形函数加权的方式，重点关注扩散过程中的中间阶段，从而提升模型对退化与分布不匹配情况的抵抗能力。•大量实验表明，与近期基于扩散技术的盲超分辨率方法相比，所提方法在感知质量指标和无参考质量指标方面的表现更为出色。本文的其余部分结构如下：第2节将回顾与我们所提出的基于扩散技术的盲图像超分辨率方案相关的现有研究成果。第3节将详细介绍所提出方法的网络架构、学习算法以及具体实现细节。第4节将展示各类消融实验和对比实验的结果。最后，第5节将对本文的工作进行总结性论述。相关工作在本节中，我们将简要回顾与我们的盲图像超分辨率方法相关的现有最先进研究成果。所提出的盲图像超分辨率方案在本节中，我们将详细描述所提出的盲图像超分辨率方案。实验结果在本节中，我们通过开展多种消融实验和对比研究，来评估所提出的盲图像超分辨率方案中所采用各项技术的有效性。结论盲图像超分辨率技术旨在提升受到未知退化过程影响的低分辨率图像的质量。在现实场景中，这类退化过程往往缺乏模型描述，使得这项任务极具挑战性。在本文中，我们提出了一种全新的基于扩散技术的盲超分辨率框架，该框架能够区分那些受到训练过程中出现过的分布内退化影响的图像，以及那些遭受分布外失真影响的图像。通过自适应地控制噪声……CRediT作者贡献声明塞佩尔·加马里：撰写——初稿、可视化、验证、软件开发、方法设计、研究实施、形式分析、数据整理、概念构思。阿里雷扎·埃斯迈尔泽希：撰写——审阅与编辑、可视化、验证、方法设计、研究实施、形式分析、概念构思。M.奥迈尔·艾哈迈德：撰写——审阅与编辑、监督指导、资源协调、项目管理、方法设计、研究实施。M.N.S.斯瓦米：撰写——审阅与编辑、监督指导、研究实施、资金支持声明利益冲突声明作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：M.奥迈尔·艾哈迈德称获得了加拿大自然科学与工程研究委员会的财政支持；M.N.S.斯瓦米也声称获得了加拿大自然科学与工程研究委员会的资助。如果有其他作者，他们也声明自己没有已知的可能构成利益冲突的财务利益或个人关系。