用于高效图像超分辨率的分层表示分配方法

《Pattern Recognition》：Hierarchical representation allocation for efficient image super-resolution

　　

Nianzu Qiao|Changyin Sun|Liang Lin

• •
  我们提出了一种基于分层表示分配的高效超分辨率设计，该设计在分支级和区域级对轻量级增强进行明确组织，从而在严格的计算预算下实现更有效的资源利用。
• •
  我们设计了一个分配引导的空间调制模块，该模块在针对特定分支的处理之前先进行分支级的预分配。在AGSM中，结构导向的多尺度组织与细节导向的统计调制相互协作，以在不同统计环境下提升互补的增强效果。
• •
  我们设计了一个基于分配条件的细粒度局部精细化模块，用于区域级的精确增强。该模块以连续的局部区域作为精细化基础，并通过信道响应、空间响应、局部方差以及原有的分配信息来调整区域权重，从而在几乎不增加额外开销的情况下更好地恢复边缘和复杂纹理。

引言

超分辨率技术最初是为了提升成像系统的空间分辨率而提出的。如今，它已成为众多多媒体和视觉应用中的核心技术，应用领域包括医学成像、智能显示、遥感[1]、[2]以及视频处理[3]、[4]。随着对实时处理和设备端部署需求的不断增加，超分辨率模型也被要求在严格的计算和内存限制下依然能够实现良好的重建质量。

早期的超分辨率方法主要依赖于传统的机器学习技术，比如基于特征融合的方法[5]、基于模糊核估计的方法[6]以及基于稀疏表示的方法[7]。随着深度学习的快速发展，现代超分辨率方法在重建精度方面取得了显著提升。其中，基于GAN的方法注重感知质量，但可能会引入伪影和不稳定的细节；而基于Transformer的方法虽然能够捕捉长距离依赖关系，却往往存在较高的计算复杂度和较大的内存开销。尽管已经有一些轻量级的Transformer变体被提出，如Omni-SR[8]和HiT-SR[9]，但它们通常需要在复杂度与重建精度之间做出艰难抉择。

相比之下，基于CNN的超分辨率方法因其出色的整体效率和可部署性而仍然具有吸引力。然而，高效的CNN超分辨率模型仍面临一个实际问题：自然图像中的空间信息是多样化的，包括大范围的结构模式（如轮廓和布局）、对边缘敏感的过渡以及精细的局部纹理。当这些不同的特征在有限的通道容量下通过统一的增强流程进行处理时，不同的特征类型可能在共享的轻量级变换中无法得到充分区分。这种竞争可能会导致纹理过度平滑或结构一致性不足，尤其是在特征空间受到严格限制的轻量级系统中。

基于这一观察，本文从分层表示分配的角度研究高效超分辨率技术。在这里，分层表示分配指的是根据输入条件，在两个相互关联的层级上对轻量级特征增强能力进行组织：分支级响应调制和区域级局部精细化。前者在针对特定分支的处理之前，引导不同类型的特征向结构导向和细节导向的处理方向发展；后者则在部分通道精化预算的限制下，进一步优化连续局部区域内的复杂局部响应。这种分配机制是一种灵活且有结构的调制/精细化方式，而非对特征表示的硬性分解。

我们没有将特征增强视为统一的变换过程，而是明确地在两个相互关联的层级上对轻量级超分辨率增强进行组织。在第一层级，我们设计了分配引导的空间调制模块，该模块在针对特定分支的处理之前先进行分支级预分配，从而分离出结构导向和细节导向的响应。在AGSM中，结构导向的多尺度组织负责在多个尺度上增强大范围的结构特征，而细节导向的统计调制则通过轻量级的统计变换来捕捉局部细节特征。在第二层级，我们引入了基于分配条件的细粒度局部精细化模块，该模块通过利用局部统计信息和原有的分配信息，对连续的局部区域进行精确的强化处理，从而进一步优化复杂的局部响应。通过将AGSM和ACFGLR整合为一个统一的特征增强模块，并将这些模块堆叠起来，所提出的网络实现了良好的性能与效率平衡，如图1所示。该方法的独特之处在于其对轻量级增强能力的层次化分配。与那些依赖更强运算符、更大感受野或事后注意力机制的现有方法不同，我们的方法在特征变换之前和过程中就对响应进行了分配。AGSM实现了对结构导向和细节导向响应的分支级预分配，而ACFGLR则利用局部统计信息和原有的分配信息，将这种分配扩展到区域级精细化处理。因此，该方法形成了一个从分支到区域的统一分配框架，而非简单地将多尺度处理和局部精细化相结合。

本文的主要贡献如下：

• •
  我们提出了一种基于分层表示分配的高效超分辨率设计，该设计在分支级和区域级对轻量级增强进行明确组织，从而在严格的计算预算下实现更有效的资源利用。
• •
  我们设计了一个分配引导的空间调制模块，该模块在针对特定分支的处理之前先进行分支级预分配。在AGSM中，结构导向的多尺度组织与细节导向的统计调制相互协作，以在不同统计环境下提升互补的增强效果。
• •
  我们设计了一个基于分配条件的细粒度局部精细化模块，用于区域级的精确增强。该模块以连续的局部区域作为精细化基础，并通过信道响应、空间响应、局部方差以及原有的分配信息来调整区域权重，从而在几乎不增加额外开销的情况下更好地恢复边缘和复杂纹理。

章节摘要

相关研究

目前，基于深度学习的超分辨率重建算法主要可以分为三类：基于CNN的超分辨率算法、基于GAN的超分辨率算法以及基于Transformer的超分辨率算法。

方法论

现有的轻量级超分辨率网络通常在高度统一的变换流程中对特征进行增强。虽然这类设计效率较高，但诸如大规模结构模式、对边缘敏感的过渡以及精细的局部纹理等不同的空间特征仍需在相同的轻量级变换中处理。在有限的通道和计算资源条件下，这些不同的特征可能无法得到充分区分，从而导致资源利用效率低下。

实验分析

如图2所示，所提出的方法根据FEU模块的数量分为轻量级版本和完整版本。由于该方法旨在成为一种高效的超分辨率算法，因此我们选择了参数数量相近的现有基准方法作为对比，以确保公平性。具体而言，所提方法的轻量级版本会与一些代表性的基于CNN的超分辨率方法进行比较，包括SRCNN[10]、FSRCNN

结论

在本文中，我们提出了一种基于分层表示分配的高效单图像超分辨率框架，旨在在轻量级约束条件下更好地处理多种多样的空间特征。通过引入分配引导的空间调制模块和基于分配条件的细粒度局部精细化模块，该框架从分支级调制逐步过渡到区域级精细化，从而实现更有效的特征增强效果。

CRediT作者贡献说明

Nianzu Qiao：撰写——初稿、方法论、研究分析、概念构思。Changyin Sun：撰写——审阅与编辑、可视化、方法论。Liang Lin：撰写——审阅与编辑、验证、监督。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。