基于生成对抗网络的单一图像超分辨率技术，采用深度残差嵌套密集网络（Deep Residual-in-Residual Dense Network）

《Optik》：Generative Adversarial Network based Single Image Super Resolution using Deep Residual-in-Residual Dense Network

单图像超分辨率任务中，提出了一种基于残差密集网络的深度优化模型D-RRDN，通过增加残差密集块深度至5层、引入学习型边缘提取器和跨层先验整合三个改进，显著提升高阶特征提取与保留能力，实验表明在PSNR、SSIM和LPIPS指标上优于现有方法。

　　

作者：Khushboo Singla、Rajoo Pandey、Umesh Ghanekar

印度哈里亚纳邦库鲁克谢特拉国立技术学院电子与通信工程系，邮编136118

摘要

本文提出了一种深度残差-残差密集网络（Deep Residual-in-Residual Dense Network, D-RRDN），该网络通过三种主要改进措施进一步提升单图像超分辨率（Single Image Super Resolution, SISR）性能。第一种改进是优化残差-残差密集块（Residual-in-Residual Dense Block）以增强高分辨率图像中的层次特征提取能力；第二种改进是用学习到的边缘提取器替换梯度运算符，以更好地保留高频细节；第三种改进是将合适的中间层信息作为先验从单层传递到网络的多个层，确保输出图像中保留重要的结构复杂性。这些改进共同提升了网络在细节提取和保留方面的能力。大量仿真实验表明，与现有最先进模型相比，该网络在PSNR（峰值信噪比）、SSIM（结构相似性指数）和LPIPS（视觉质量感知度）指标上具有更好的性能。

引言

单图像超分辨率（SISR）是计算机视觉领域的一项具有挑战性的任务，其目标是提高低分辨率（LR）图像的像素密度和视觉质量，生成相应的高分辨率（HR）图像。这一技术在生物识别[1]、生物医学成像[2]和遥感[3]等多种应用中具有重要意义。然而，SISR是一个病态问题，因为对于一个LR图像，可能存在无限多个HR图像，反之亦然。此外，从LR图像中提取HR图像的高频细节是一项具有挑战性的任务。鉴于此，研究人员探索了多种技术，包括传统技术和基于学习的技术。传统技术包括基于插值的算法[4]，这些算法易于实现，但生成的HR图像通常较为模糊。为了进一步提高HR图像的质量，研究人员提出了基于数学模型的重建导向算法[5]。这些方法的主要挑战在于处理大图像的复杂性，因为计算量较大。随后，基于学习的算法（主要是神经网络[6]）出现，用于处理高维图像，但它们在特征保留和学习方面能力有限。

在过去十年中，卷积神经网络（Convolutional Neural Networks, CNNs）[7]因其能够自动从输入数据中提取和学习特征而受到广泛关注。通过改进CNN的架构[8]、损失函数[9]和方法[10]，人们已经提升了高分辨率图像的质量。研究人员还增加了卷积层的数量[11]，以从输入的LR图像中捕获更多特征。CNN技术在捕捉高频细节方面非常有效，从而提高了生成HR图像的质量。然而，这类图像的感知质量会因边界平滑和不必要的伪影而下降。此外，它们在将LR图像放大$\times$4倍时难以达到可接受的质量。为了解决这些问题，生成对抗网络（Generative Adversarial Networks, GANs）技术应运而生，该技术专注于生成视觉上令人信服的$\times$4倍大小的HR图像[12]。GAN通过对抗训练学习LR图像和HR图像之间的复杂非线性映射，从而在HR图像中生成自然的外观，成为解决SISR相关挑战的有力工具。最近的一项研究[13]全面探讨了多种基于GAN的SISR方法，并对其架构设计、算法和不同损失函数进行了详细分析。目前，在GAN方法中，研究人员正在通过添加额外的特征分支来改进生成器的结构。例如，结构保持超分辨率（Structure Preserving Super Resolution, SPSR）网络[14]就采用了这种方法，利用梯度信息来改善HR图像中的结构细节。尽管如此，SPSR在生成深度层次化和真实的特征方面仍存在不足。为了弥合真实图像特征与生成HR图像特征之间的差距，本文提出了新的D-RRDN模型，该模型能够提取更深的层次特征并生成更高质量的高频内容，从而在输出HR图像中呈现出更真实的细节。

所提出的D-RRDN网络的主要贡献如下：

• 1. 提出了一种新的残差-残差密集块（DResidual-in-Residual Dense Block, DRRDB）层，该层包含五个残差密集块和残差连接，用于捕捉数据中的更复杂非线性映射。
• 采用学习到的边缘提取器来保留输入LR图像中的边缘。
• 通过多跳连接将中间层信息作为先验传递到网络的不同层，从而同时提升视觉质量和特征保留能力。

本文的其余部分安排如下：第2节介绍相关研究；第3节阐述所提出的模型；第4节展示并讨论实验结果；第5节进行消融研究；第6节得出结论。

相关研究

相关技术

近年来，包括CNN[15]、变换器[16][17]和GAN[18]在内的机器学习技术在特征提取和特征学习方面取得了重要进展。如图1所示，GAN能够生成$\times$4倍大小的图像，并具有更高的重建精度和视觉质量。GAN由生成器和判别器两个网络组成，通过对抗训练生成高质量的HR图像。生成器网络学习图像之间的映射关系

提出的模型

本节介绍了所提出的深度残差-残差密集网络（D-RRDN），详细说明了其设计组件，并解释了网络中使用的目标函数。

实验结果

为了评估所提出网络的有效性，本节首先描述了其在标准数据集上的训练过程，然后将其性能与本研究中考虑的各种最先进网络进行了比较分析。最后，将该网络应用于医学成像和人脸识别领域。

消融研究

本研究评估了D-RRDN架构中使用的边缘提取器和先验的有效性，并探讨了将DRRDB作为基础网络ESRGAN的基本构建模块的影响。

(A) 先验在D-RRDN中的有效性：通过从网络中移除先验并用SPSR网络推荐的先验替换，评估了先验在D-RRDN中的有效性。这产生了两种版本的D-RRDN网络

结论

本研究提出了一种新的网络“D-RRDN”，它是SPSR网络的改进版本，通过实施三项改进来实现这一目标。第一项改进是增加了基本构建块（即SPSR网络中的残差-残差密集块RRDB）的深度，这在现有文献中尚未被探索。本研究找到了RRDB的最佳深度（5个RRDB层），并将其命名为深度残差-残差密集块（Deep Residual-in-Residual Dense Block），以获得更好的层次特征

作者贡献声明

Khushboo Singla：撰写 – 审稿与编辑、初稿撰写、可视化、验证、监督、软件开发、资源管理、项目规划、方法论设计、数据分析、概念构建。 Rajoo Pandey：撰写 – 审稿与编辑、初稿撰写、可视化、验证、监督、软件开发、资源管理、项目规划、方法论设计、数据分析、概念构建。 Umesh Ghanekar：撰写 – 审稿

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。