MuSeNet：基于多尺度自调制网络的轻量级单图像超分辨率技术

《Signal Processing: Image Communication》：MuSeNet: Lightweight Single Image Super-Resolution based on Multi-Scale Self-Modulation Network

提出基于多尺度自调制网络（MuSeNet）的轻量级单图像超分辨率方法，通过跨尺度多注意力（CSMA）实现多尺度特征高效交互，结合三向自适应调制（TSAM）增强全局与局部特征融合，交互式多尺度卷积（IMSConv）提取多尺度信息，迭代蒸馏模块（EIMD）优化特征，显著提升PSNR和SSIM指标。

　　

黄耀民|周正|穆杰巴·阿萨德|郑平|顾浩|易富迪|张莉|江贺

四川省数据恢复重点实验室，内江师范学院数学与信息科学系，中国内江

摘要

近年来，单图像超分辨率（SISR）技术取得了快速进展。主流的SISR方法通常采用浅层特征提取，并通过标准3×3卷积核进行图像重建，其形式相对固定。这些方法缺乏不同尺度特征之间的相互作用。多尺度卷积可以通过使用不同尺度的卷积核来增强图像中不同位置信息之间的联系，但如果没有有效的特征作为输入，多尺度卷积将无法充分挖掘深层信息。因此，高效的特征融合同样重要。为了解决这些限制，本研究提出了一种基于多尺度自调制网络（MuSeNet）的轻量级SISR方法，该方法利用跨尺度多注意力（CSMA）来实现多尺度特征信息的高效交互和特征融合的效果。具体而言，MuSeNet引入了三向自适应调制（TSAM），它包含三个并行分支：动态自注意力（DSA）用于全局特征增强，空间特征调制（SFM）用于高频细节恢复，以及局部细节提取（LDE）用于精细的空间细化。TSAM通过有效的自调制获得融合特征，并将这些特征输入到交互式多尺度卷积（IMSConv）单元中，以实现低参数下的多尺度特征提取。此外，还设计了一个增强型迭代多蒸馏（EIMD）模块，通过轻量级注意力机制和空间增强技术逐步从多注意力组合调制（MACM）中提取自调制特征。在标准基准测试上的广泛实验表明，MuSeNet取得了最先进的性能。特别是在Urban100和Manga109数据集上，当放大倍数为3时，MuSeNet在PSNR和SSIM方面的性能分别比第二好的SISR方法提高了0.20dB/0.0021和0.49dB/0.0023。

引言

单图像超分辨率（SISR）在计算机视觉领域受到了广泛关注，并已成功应用于医学成像和遥感等多个领域[1][2][3]。主流的SISR方法主要是基于学习的，从低分辨率（LR）输入学习到高分辨率（HR）输出的映射函数，以实现高效图像重建。这些方法主要包括三个部分：浅层特征提取、深层特征提取和图像重建。浅层特征提取和图像重建都使用3×3卷积核进行特征提取，这使得网络结构相对固定，缺乏不同尺度特征之间的相互作用。多尺度卷积可以通过使用不同尺度的卷积核来增强图像中不同位置信息之间的联系，但如果没有有效的特征作为输入，多尺度卷积将无法充分挖掘深层信息[4]。因此，采用有效的框架和方法来实现高效的特征融合同样重要。

为了解决这些限制，本研究提出了一种基于多尺度自调制网络（MuSeNet）的轻量级SISR方法[5][6]。该网络利用跨尺度多注意力（CSMA）来实现多尺度特征信息的高效交互和特征融合的效果，同时参数较少。

具体来说，我们提出了三向自适应调制（TSAM）来实现有效的特征融合。TSAM从全局结构到细节层面协同提取多级特征。DSA分支通过动态加权机制自适应地增强全局结构特征。为了弥补DSA在局部细节建模方面的不足，LDE分支提供丰富的局部信息以进行精确的图像重建。同时，SFM分支基于特征掩码对特征进行调制，从而增强高频细节的恢复，并提高学习到的特征的清晰度和多样性。

为了克服传统卷积的尺度限制，三个分支的输出被融合并通过交互式多尺度卷积（IMSConv）单元进行处理，以实现多尺度交互并为全局注意力提供更丰富的空间上下文。卷积块注意力模块（CBAM）[7]、通道-空间注意力模块和CSMA被集成到一个称为多注意力组合调制（MACM）的残差块中。CSMA模块为CBAM提供复杂的特征嵌入，通过粗到细的选择策略来细化关键特征，从而提高重建精度。

最后，在多个残差块之前和之后部署了增强型迭代多蒸馏（EIMD）模块。EIMD通过少量参数逐步从MACM中提取和细化自调制特征。

本工作的主要贡献总结如下：

• (1)
  TSAM在重用浅层特征的同时捕获全局和局部信息。
• (2)
  动态权重和IMSConv提取多尺度特征并丰富多样性。
• (3)
  EIMD通过层次化的注意力强化来优化特征蒸馏。
• (4)
  提出了一种新的轻量级SISR方法。

相关工作

轻量级是SISR方法的一个重要考虑因素，许多先进的模型已经被提出以提高其效率。参数少于100万的模型在国际上被视为轻量级模型。IMDN [8]使用信息多蒸馏模块逐步分割、提取和聚合特征图，以在低参数条件下进一步提高重建性能。随后，Liu等人[9]和Kong等人[10]提出了RFDN和RLFN

整体架构

如图1所示，给定低分辨率输入$I_L$和所需的超分辨率输出$I_S$。网络首先应用3×3卷积提取浅层特征$F_0$。该过程表示为：$F_0$其中$F_0$表示浅层特征提取器。提取的浅层特征$F_0$随后被传递到EIMD模块以获得一级深度特征$F_0$。这个过程表示为：$F_0$其中$H_S\left(I_L\right)$表示浅层特征提取器。提取的浅层特征随后被传递到EIMD模块以获得一级深度特征$F_0$。这个过程表示为：$F_0$