MAANet：一种轻量级多轴自适应网络，用于高效图像超分辨率处理

《Neurocomputing》：MAANet: A lightweight multi-axis adaptation network for efficient image super-resolution

　　何慕岩|程航|狄晓光|肖一鸣|马玉玉|王银诺|王志豪中国哈尔滨工业大学控制与仿真中心，哈尔滨150080摘要现有的轻量级超分辨率架构通常采用同质化模块堆叠，这限制了特征的多样性以及多维度信息的捕捉能力。此外，这类方法还存在空间聚合难题：局部窗口机制虽高效但缺乏内容感知能力，而基于聚类的方法则灵活但计算成本较高。为解决这些问题，我们提出了多轴自适应网络（MAANet）。该网络基于多轴处理模块（MAPB），采用“全局-局部”多层层次结构，从三个不同的感知维度整合特征，这些维度被称为“轴”。(1) 在全局层面，多轴核心模块（MACM）利用动态核合成模块（DKSB）在核轴上生成具有内容自适应性的核，同时运用频谱-空间调制单元（S2MU）在频率轴上构建全局周期性先验，从而并行捕获长距离上下文信息。(2) 在局部层面，空间轴上的自适应平铺变换模块（ATTB）能够高效地将计算资源分配到纹理丰富的区域，以实现精确的细节优化。(3) 我们还引入了双动态融合上采样模块（D2FUB），将内容感知重建能力延伸到最终的上采样阶段，其在保持较低复杂度的同时，其重建质量优于常用的PixelShuffle运算符。大量实验表明，MAANet在重建性能和计算效率方面均达到了当前最优水平。与SRConvNet-L（×4）相比，MAANet的PSNR值可提升最多0.28 dB，且仅需约70%的浮点运算量和59%的参数数量，其运行速度更是CATANet（×4）的4.7倍。代码地址：https://github.com/chrimy666999/MAANet引言单图像超分辨率（SISR）是一项重要的计算机视觉任务，旨在从低分辨率图像重建出高分辨率图像。它在从移动摄影[19]到医学成像[47]的诸多领域都有广泛应用。从形式上讲，SISR属于一个病态逆问题，因为多个高分辨率解可能对应同一个低分辨率输入[20]。深度学习方法，尤其是卷积神经网络（CNN）和视觉变换器（ViTs），在SISR任务中取得了当前最佳性能。通过堆叠诸如RCAN[55]中的残差模块或SwinIR[25]中的注意力机制等专用模块，这些模型能够有效捕捉复杂的长距离依赖关系，显著优于传统的插值法[30]和重建法[41]。然而，这样的优异性能往往伴随着较高的计算和内存开销。庞大的模型规模，表现为大量的参数数量和过高的浮点运算量（FLOPs），使得其在资源有限的移动设备或嵌入式系统中难以部署。因此，亟需高效的轻量级超分辨率方法。尽管已经有许多高效的模块被提出，但轻量级超分辨率研究仍受限于同质化网络设计。主流方法通常通过堆叠单一的处理机制来构建深度网络。我们认为，这种统一的结构限制了模型的潜力，本质上制约了特征的多样性。例如，那些专注于全局建模的CNN方法[22]、[38]、[46]、[49]、[57]虽然擅长捕捉特定实例的纹理，但可能会影响整体结构。相反，频域方法[9]、[23]、[39]、[58]虽然在构建全局周期性先验方面表现良好，却容易过度平滑高频局部细节。因此，一种能够有效结合这些互补能力的统一框架至今仍未被开发出来。此外，空间处理方法在平衡空间适应性与时效性方面也存在困难。标准的局部窗口机制[25]受限于固定的感受野，而基于聚类的方法[29]、[52]虽然具有灵活性，但会带来较高的计算开销。为应对这些挑战，我们提出了基于多轴自适应设计理念的新型轻量级网络MAANet。它的关键组件是多轴处理模块（MAPB），这是一种内部结构复杂的混合单元[48]，采用“全局-局部”多层层次结构[3]，整合了三种为不同感知维度设计的专用机制。具体而言，我们将这些维度视为三个功能轴：(1) 核轴：用于捕捉长距离、特定实例的纹理；(2) 频率轴：用于构建整体结构表示及全局周期性先验；(3) 空间轴：负责优化精细的局部细节。在全局层面，MAPB整合了多轴核心模块（MACM），以并行处理前两个轴：动态核合成模块（DKSB）在核轴上动态生成具有内容自适应性的核，而频谱-空间调制单元（S2MU）则在频率轴上实现高效、线性复杂度的频谱调制。在局部层面，为克服传统空间处理的僵化性以及基于聚类的方法的高计算成本，MAPB在空间轴上采用了自适应平铺变换模块（ATTB），能够将计算资源灵活地分配到纹理丰富的区域。如图1所示，这种多轴设计不仅提升了特征的多样性，还减少了冗余的参数设置，从而使MAANet能够在重建精度和计算成本之间实现良好的平衡。总之，我们的主要贡献如下：•为解决因堆叠同质化模块而导致特征多样性受限的问题，我们提出了以MAPB为核心的MAANet。与具有独立处理路径的混合设计不同，这种异构单元具备协同整合能力和动态自适应特性。它将动态卷积（核轴）、频率调制（频率轴）以及基于方差的自适应空间平铺（空间轴）集成在同一个核心模块中，从而能够同时捕捉全局结构先验和局部精细细节。•为克服静态上采样中固定采样位置的问题，我们引入了双动态融合上采样模块（D2FUB）。通过融合直接预测分支和预混动偏移预测分支，D2FUB将内容感知重建能力延伸到了最终阶段，其在参数数量和浮点运算量更少的情况下，性能仍优于常用的PixelShuffle运算符。•大量实验表明，MAANet在轻量级超分辨率方法中具备了出色的重建质量和效率。与SRConvNet-L（×4）相比，它的PSNR值最高可提升0.28 dB，且仅需要70%的浮点运算量和59%的参数数量。由于避免了基于聚类的聚合方式中的不规则内存访问，MAANet的运行速度分别是SPIN和CATANet的7.1倍和4.7倍，并且在真实世界的超分辨率任务中也能保持稳定性能。相关工作随着深度学习的发展，图像超分辨率技术取得了显著进展。表1总结了部分代表性的轻量级SISR方法。以下内容将对这些研究方向进行综述，为MAANet的设计提供依据。提出的方法我们的目标是开发一种既轻量又高效的超分辨率模型，以克服单纯重复使用同质化模块所带来的局限性。我们的核心思路是，高保真度的重建需要来自不同感知维度的协同表征。为此，我们提出了MAANet，这是一种异构架构，能够沿着核轴、频率轴和空间轴三个方向自适应地提取并融合特征。数据集我们使用了两种训练配置。MAANet指的是在DIV2K[1]数据集上训练的默认模型，而MAANet+则表示在DF2K数据集上训练的相同架构，即DIV2K与Flickr2K数据集的结合体。除非另有说明，MAANet指的都是用于消融实验、效率测试以及真实场景评估的、在DIV2K数据集上训练的默认模型。低分辨率图像是通过对高分辨率参考图像进行双三次下采样得到的。我们在五个标准测试集上进行评估：Set5[6]、Set14[51]、B100[4]、Urban100[17]。对核心多轴设计的消融分析为了研究多轴框架的协同效应，我们进行了跨轴消融实验（表5，a-c行）。在移除某个特定轴时，我们会增加网络的深度（将MAPB的数量从8个增加到11个或14个），以使模型相对于基准模型（527K/111.0G）拥有相当或略高的参数数量和浮点运算量。如表5所示，尽管增加了模型容量（最高可达570K/127.0G），但一旦移除任意一个轴，模型的性能都会出现明显下降。这说明……局限性MAANet是一种基于多轴自适应框架的轻量级超分辨率方法，它整合了在核轴（DKSB）、频率轴（S2MU）和空间轴（ATTB）上运行的不同类型模块。尽管MAANet在精度与效率之间取得了良好的平衡，但它仍然存在两个局限性。首先，其重建精度仍低于那些拥有更多参数的重量级模型，比如HAT[8]和PFT[31]。其次，该方法使用了动态机制和基于注意力的组件，包括……结论在本文中，我们提出了MAANet，这是一种用于高效图像超分辨率处理的轻量级多轴自适应网络。它的核心组件是MAPB，这是一种内部结构复杂的单元，旨在解决同质化堆叠架构中特征多样性不足的问题。通过整合动态核合成功能（核轴，DKSB）、全局调制功能（频率轴，S2MU）以及自适应处理功能（空间轴，ATTB），MAPB能够有效地协同实现局部细节提取与全球结构建模。我们还提出了CRediT作者贡献声明何慕岩：撰写——初稿、可视化、验证、方法论、研究分析、正式分析、数据整理、概念构思。程航：资源协调、方法论。狄晓光：撰写——审阅与编辑、监督指导、资源管理、项目统筹、方法论、资金申请、概念构思。肖一鸣：正式分析、数据整理。马玉玉：可视化、数据整理。王银诺：验证、数据整理。王志豪：数据整理。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究部分得到了中国航空科学基金（项目编号2022Z071077002）以及中央高校基本科研业务费（项目编号HIT.NSRIF202243）的支持。何慕岩出生于中国重庆，2024年获得中国东北大学智能制造工程学士学位，目前就读于哈尔滨工业大学控制与仿真中心，攻读硕士学位。他的研究兴趣主要包括图像修复，尤其是图像超分辨率处理和低光环境下的图像增强技术。