面向高效图像超分辨率的类ViT统一多尺度学习网络:在重建质量与计算效率间取得优越权衡

《Pattern Recognition》:A ViT-like unified multi-scale learning network for efficient image super-resolution

【字体: 大 中 小 】 时间:2026年04月24日 来源:Pattern Recognition 7.6

编辑推荐:

  近期,基于视觉Transformer (ViT) 的超分辨率 (SR) 模型虽重建性能优异,但自注意力机制带来的巨大计算与内存开销,限制了其在资源受限场景中的应用。为解决此难题,研究人员开展了一项关于“类ViT的统一多尺度学习网络 (UMLN)”的研究。他们提出了一种新颖的混合特征聚合模块,通过高效的卷积操作生成全局权重矩阵,模拟自注意力的全局建模能力,并设计了CGDConv模块以有效捕获局部与非局部上下文信息。实验表明,该模型在多个公开基准数据集上超越了现有高效SR方法,在匹配最先进轻量级ViT模型性能的同时,显著降低了计算成本。这项研究为在边缘设备上实现高质量、高效率的图像超分辨率提供了有前景的解决方案。

  
想象一下,你用手机拍了一张珍贵的照片,但放大后却模糊不清。这时,图像超分辨率(SISR)技术便能大显身手,它致力于从一张低分辨率图片中“无中生有”地恢复出清晰的高分辨率细节。这项技术在医疗影像、遥感测绘和高清视频增强等领域有着广泛应用。传统的卷积神经网络(CNN)曾是该领域的主力,但它们有一个“先天不足”——有限的感受野,难以有效建模图像中相距较远的像素之间的依赖关系。近年来,异军突起的视觉Transformer(ViT)凭借其强大的全局建模能力,在超分辨率任务上取得了突破性进展。然而,其核心的自注意力机制计算复杂度极高,犹如一台“油老虎”跑车,性能虽强,但功耗巨大,难以在手机、监控摄像头等资源受限的边缘设备上“飞入寻常百姓家”。
于是,一个核心矛盾摆在了研究者面前:如何能在保留ViT强大全局建模能力的同时,大幅削减其惊人的计算成本?这正是发表于《Pattern Recognition》的论文《A ViT-like unified multi-scale learning network for efficient image super-resolution》所要解决的关键问题。由Rui He, Zhenyang Zhu, Xiaoyang Mao所在的研究团队提出了一种名为“类ViT的统一多尺度学习网络(UMLN)”,旨在鱼与熊掌兼得,实现重建质量与计算效率的优越平衡。
为达成这一目标,研究人员采用了几个关键技术方法:首先,他们设计了混合特征聚合(HFA)模块作为核心,该模块包含多尺度模式注意力(MPA) 和高频信息增强(HIE) 两个分支,分别负责模拟自注意力机制以捕获全局特征,以及利用改进的卷积模块(CGDConv)提取局部细节。其次,他们创新性地提出了统一多尺度特征提取与加权聚合(UMFEWA)策略,与以往为不同尺度特征配备独立处理模块的方法不同,UMFEWA让所有尺度共享同一个处理模块,显著减少了参数冗余。最后,整个网络架构由堆叠的深度特征提取块(DFEB) 构成,每个DFEB包含HFA模块和一个门控深度卷积前馈网络(GDFN),用于进行深层次的特征提取与非线性变换。模型在包含3450张高分辨率图像的DF2K数据集(DIV2K与Flickr2K的组合)上进行训练,低分辨率图像通过双三次下采样合成,并使用AdamW优化器及与SMFANet相同的损失函数进行优化。
研究结果通过多个层面验证了UMLN的有效性:
  • •
    定量性能对比:在Set5、Set14、BSD100、Urban100和Manga109这五个标准测试集上,UMLN在×2、×3、×4倍超分辨率任务中,其峰值信噪比(PSNR)和结构相似性(SSIM)指标均超越了IMDN、SAFMN、SMFANet等先进的CNN基高效模型。即便是与SwinIR-light、SRFormer-light、HiT-SIR等轻量级ViT模型相比,其扩大通道后的版本UMLN-L在多数数据集上也能达到相当甚至更优的性能,同时计算量(FLOPs)显著更低。例如,在×4任务上,UMLN-L相比SRFormer-light在Manga109上PSNR平均提升0.14 dB,而计算复杂度仅为其68%。
  • •
    视觉质量与感知评估:从“barbara”、“img_092”等样例的视觉对比来看,UMLN和UMLN-L在恢复复杂纹理和精细结构方面表现出色,其重建结果更接近真实高分辨率图像,而其他对比方法则容易出现模糊或失真。在衡量感知质量的LPIPS指标上,UMLN在CNN基模型中表现优异,而UMLN-L虽略逊于顶尖的ViT模型,但其设计更侧重于保真度(PSNR/SSIM)与效率的权衡。
  • •
    全局上下文建模能力分析:通过局部归因图(LAM)和扩散指数(DI)分析表明,UMLN在重建图像某个局部区域时,所能利用的低分辨率图像上下文范围(DI值)大于其他CNN基方法,证明其设计的UMFEWA机制有效增强了模型的全局信息捕获能力。
  • •
    效率与性能的权衡:在运行时间和GPU内存消耗的实测中,UMLN系列模型在保持高性能的同时,满足了实时处理的需求。例如,UMLN-L的平均处理时间远低于HiT-SIR,GPU内存占用也仅为后者的约23.5%,凸显了其在实际部署中的效率优势。
  • •
    消融研究与模块分析:论文通过详实的消融实验验证了HFA模块中MPA和HIE分支、UMFEWA策略、CGDConv设计以及DFEB中GDFN的有效性。特别对比了UMFEWA与MDRN、SAFMN所用多尺度策略的差异,证明了其统一处理、共享参数的设计在减少参数量的同时提升了效率。
归纳研究的结论与讨论部分,本工作的核心贡献在于提出了一种不依赖昂贵自注意力操作的、CNN基的“类ViT”高效超分辨率网络。其重要意义体现在:第一,方法论创新:通过统一的跨尺度交互与加权聚合机制(UMFEWA),在CNN框架内实现了高效的长距离依赖建模,巧妙地模拟了ViT的全局特征聚合范式。第二,效率突破:所提出的HFA模块和CGDConv等组件,在保证强大特征提取能力的前提下,极大压缩了模型参数与计算开销。第三,实用价值:UMLN在多个基准测试上达到了与最先进轻量级ViT模型相媲美甚至更优的重建质量,同时具备了更低的计算复杂度和内存需求,为高质量图像超分辨率技术在资源受限的边缘计算设备(如智能手机、物联网设备)上的实时部署扫清了关键障碍,推动了超分辨率技术从实验室走向实际应用。这项研究为如何在不牺牲性能的前提下设计高效、轻量的视觉模型提供了一个富有启发性的范例。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号