一种基于多尺度特征调制的图像超分辨率轻量级网络

《Digital Signal Processing》：A Lightweight Network for Image Super-Resolution Based on Multi-Scale Feature Modulation

　　

# 摘要

用于单幅图像超分辨率重建的轻量级卷积网络在计算效率方面表现良好，但往往难以捕捉全局上下文和长程依赖关系。为了解决这一问题，我们提出了一种轻量级的多尺度特征调制网络（MSFMN），该网络在高效计算的同时能够建模全局和局部信息。具体而言，我们提出了一种多尺度特征调制模块（MSFM）。该模块通过双分支协同机制融合局部信息和全局信息，即局部特征提取分支和全局特征提取分支。具体来说，局部分支采用深度可分离卷积操作来捕捉高频细节，而全局分支通过层次化多尺度卷积实现长程上下文建模，其感受野逐步扩大。获得的多尺度全局特征随后被上采样到原始分辨率，并转化为空间调制权重，自适应地调制局部特征，以全局上下文信息引导重建。此外，为了增强特征交互的有效性并实现高效特征融合，我们提出了一种双分支前馈网络。最后，通过将多尺度特征调制模块与双分支前馈网络相结合，构建了一个统一特征聚合模块，以实现代表性特征的筛选。实验结果表明，与SRConvNet在2倍放大因子下相比，我们的方法实现了更优异的性能，PSNR最大提升为0.42dB，参数减少约21%。

# 引言

单幅图像超分辨率重建（SISR）旨在从降质的低分辨率（LR）图像中恢复高分辨率（HR）图像，这是计算机视觉领域的一项关键技术，并在许多实际应用中也受到了广泛关注[1]。近年来，基于深度学习的方法在SISR领域取得了显著进展。自Dong等人[2]首次提出基于卷积神经网络（CNN）的超分辨率（SR）模型（SRCNN）并将其应用于SR领域以来，许多优秀的基于深度学习的SR模型不断涌现。例如，Kim等人[3]提出了一种非常深的用于SR的CNN模型（VDSR），通过残差学习机制缓解了深度网络的梯度消失问题，使训练过程更加稳定。随后，基于密集连接网络层的设计，Zhang等人[4]不仅实现了特征的循环复用和高效传播，还显著增强了特征的交互性能。此外，Wang等人[5]提出了一种用于SR的增强生成对抗网络（ESRGAN），通过引入相对平均判别器优化了训练过程，提高了捕捉高频细节的能力。然后，Zhang等人[6]创新性地提出了一种残差通道注意力网络（RCAN），通过通道注意力模块增强了关键特征的学习，提高了纹理细节的表征能力。然而，这些方法依赖于大量的可学习参数和高昂的计算成本，使其在资源受限的移动和边缘设备上的部署面临挑战。

为了解决这个问题，许多研究人员关注轻量级网络设计，旨在减少模型复杂度和计算成本的同时保持超分辨率性能。例如，Hui等人[7]提出了一种信息蒸馏模型，通过多轮信息蒸馏实现了不同尺度信息的高效聚合，增强了模型对图像内容的语义理解。受格状滤波器的启发，Luo等人[8]引入了格状块，通过结构化参数共享和特征交互显著减少了计算负载，为轻量级网络设计开辟了新途径。此外，Zhang等人提出了一种可重参数化的边缘卷积块[9]，通过卷积、通道扩展和压缩等操作提取多路特征，增强了特征表示。尽管这些方法显著降低了模型的计算成本，但往往导致SR性能的下降。此外，由于卷积层数有限且空间卷积较小，感受野的探索不足也限制了模型的学习能力，从而限制了模型实现高质量图像重建的能力。

最近，视觉Transformer（ViT）在SISR任务中展示了出色的性能[10]。ViT通过多头自注意力（MHSA）机制[11]，以更少的参数实现了更深的网络架构和更强的全局依赖建模能力。然而，由于MHSA的计算复杂度随输入尺寸的平方增长，在重建高分辨率图像时会消耗大量内存。为降低计算成本，研究人员提出了许多解决方案，包括基于窗口的自注意力[12]、转置自注意力[13]等。尽管如此，这些方法在图像超分辨率中学习特征依赖时仍然消耗大量时间。

考虑到Transformer通过自注意力捕捉长程依赖，而CNN通常更适合轻量级计算，我们研究是否可以通过多尺度卷积调制在不引入计算昂贵的注意力算子的情况下融入长程上下文信息。尽管在之前的SISR研究中已经探索了多尺度特征聚合、非局部调制和多尺度注意力，但它们在构建上下文信息和应用于局部特征的方式上存在差异。在SAFMN[14]模型中，多尺度特征通过通道分组构建，并生成了空间调制信息。非局部调制方法通常通过显式计算全局位置相关性来建模长程依赖，而多尺度注意力方法则主要关注在不同尺度上或沿空间与通道维度学习选择性权重。相比之下，我们的轻量级模型采用双分支架构，提取具有不同感受野的互补特征，并通过特征融合与调制促进跨分支交互，无需显式全局相关性计算或独立的多尺度注意力机制。因此，所提出的方法在架构和特征交互两方面都与SAFMN存在显著差异。

基于上述考虑，我们提出了一种新颖的多尺度特征调制网络（MSFMN）。该网络通过层次化建模不同尺度的特征图来捕捉全局上下文信息，并进一步以空间变化的权重调制原始分辨率的特征，使全局语义能够引导局部重建。具体而言，通过深度可分离卷积提取局部细节特征，通过感受野逐步扩大的层次化多尺度卷积获得全局上下文特征。然后，多尺度特征被上采样并转换为调制权重，以动态地重新加权局部特征，从而在保持精细纹理的同时有效建模长程依赖关系。为了进一步优化特征表示并减少计算负担，我们引入了一种双分支前馈网络（DBFN），它可以在降低特征维度的同时进一步细化特征。

本文的主要贡献和创新如下：

- 提出了一种多尺度特征调制模块，通过多尺度卷积设计层次化构建多尺度上下文特征，并生成空间调制权重来调制原始分辨率特征，从而有效建模长程依赖关系，并准确捕捉局部细节特征。
- 引入了一种双分支前馈网络来增强特征交互并实现高效特征融合，以较低的计算开销进一步细化调制后的特征。
- 构建了一个轻量级SR重建网络，在确保优异重建效果的同时实现了高效计算的目标。

# 章节摘录

## 基于CNN的超分辨率

SRCNN首次实现了从LR图像到HR图像的端到端映射，其性能显著优于传统方法。随后，Dong等人采用反卷积操作替代传统插值上采样[15]，而Shi等人通过将上采样集成到网络的末端直接学习像素级映射关系[16]。两者都提高了效率和实时性能。VDSR[3]引入了全局……

## 方法

在本章中，我们将详细介绍MSFMN的网络架构。如图1所示，MSFMN网络由三个部分组成：浅层特征提取、深层特征提取和图像重建。具体而言，浅层特征提取模块由一个3×3卷积层组成，应用于输入的低分辨率图像$ILR \in R^{H \times W \times C_{in}}$以提取浅层特征$FS \in R^{H \times W \times C}$，其中H、W、$C_{in}$和C分别代表图像高度、宽度、输入通道数和通道数。

## 实验

在本章中，我们首先介绍实验环境的配置和参数设置。然后我们对比和评估不同SR方法在公共数据集上的重建结果性能。最后，我们分析并讨论本文提出的模型结构。

## 结论

在本文中，我们为轻量级图像超分辨率提出了一种多尺度特征调制机制。在深层特征提取过程中，我们通过并行分支构建多尺度表示，并采用对称和非对称卷积扩展感受野，从而高效建模长程依赖关系。所得的上下文特征随后被用于自适应调制局部特征，在保持细粒度细节的同时增强了全局表征能力……

## CRediT作者贡献声明

Lei He：写作——审阅与编辑，监督。Wei Luo：写作——初稿撰写，验证，软件，方法学，可视化。Daolun Li：监督。Wenshu Zha：监督。Jieqing Tan：监督。Jun Shi：监督。Min Hu：监督。

## 数据可用性

数据应要求提供。

## 利益冲突声明

作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Lei He于2015年获得合肥工业大学博士学位。她目前在合肥工业大学数学学院担任副教授。她目前的研究重点是数字图像处理和情感识别。

Lei He | Wei Luo | Daolun Li | Wenshu Zha | Jieqing Tan | Jun Shi | Min Hu