利用轻量级SwinIR技术结合基于博弈论的空间与通道注意力融合算法实现图像超分辨率

《Digital Signal Processing》：Image Super Resolution using a Lightweight SwinIR aided with Game Theory-based Fusion of Spatial and Channel Attention

　　

摘要

单图像超分辨率（SISR）在计算机视觉中仍然是一个关键挑战，因为要在保持计算效率的同时实现高重建质量需要权衡各种因素。本文提出了一种新颖的轻量级超分辨率架构，该架构将博弈论原理与SwinIR框架相结合，以解决这些限制。所提出的方法引入了一种基于博弈论的融合代理，该代理自适应地结合了基于窗口的自注意力机制和通道注意力机制，将它们视为协作代理来优化特征表示。通过利用基于变换器的注意力机制和策略性优化，该架构在参数开销最小的情况下实现了更高的重建质量。该模型在DIV2K数据集上进行了训练，采用了感知损失和L1损失相结合的方法，同时在ConvMLP模块中使用了深度可分离卷积来提高效率，而无需添加dropout或随机深度正则化。全面的评估表明，所提出的方法仅使用220万个参数，就实现了31.52 dB的峰值信噪比（PSNR）和0.823的结构相似性指数（SSIM），显著优于NTIRE 2024和2025挑战赛中的现有超分辨率方法。

引言

单图像超分辨率（SISR）是计算机视觉中的一个基本任务，它从低分辨率（LR）输入重建高分辨率（HR）图像，在医学成像、卫星图像、监控和遥感等领域具有关键应用[1]，[2]。传统的插值方法（如双三次上采样）无法恢复高频细节和细纹理，导致图像模糊[2]，[3]。深度学习彻底改变了SISR的性能，早期的基于CNN的方法（如超分辨率卷积神经网络（SRCNN）已经证明学习到的特征显著优于传统方法[4]，[5]。在此基础上，非常深度的超分辨率（VDSR）通过残差学习扩展了网络深度[6]，而EDSR通过去除不必要的组件进一步改进了架构，达到了最先进的性能[7]。

最近的进展将注意力机制集成到残差网络中，以选择性地关注重要特征和空间区域，从而提高重建质量。Senthilkumar等人[7]提出了EDRN，结合了残差学习和通道注意力模块，并使用亚像素卷积进行高效的上采样。Steenhout和Asghari[2]探索了ESPCN，它在低分辨率空间中进行端到端的超分辨率处理，使用像素重排实现了具有显著更低计算成本的竞争力性能[8]。尽管有这些进展，但仍存在关键挑战：在重建质量和计算效率之间取得平衡，以及在不同的图像特征下实现结构保真度[9]，[10]。像PSNR这样的像素级指标通常与感知质量相冲突，因为基于CNN的方法可能会产生缺乏真实细节的过度平滑结果[11]，[12]。

生成对抗网络（GAN）通过对抗训练来解决感知质量问题，引入了生成更真实纹理的感知损失函数[13]，[14]。基于变换器的架构（如SwinIR）通过利用多头自注意力机制来捕捉长距离依赖性和全局上下文，从而在第2节中讨论的基于CNN的局部感受野具有优势。

贡献：本文提出了一种新颖的方法，将基于变换器的架构与博弈论融合原理相结合，以解决现有的SISR限制。主要贡献如下：

•

引入了一个基于纳什均衡的融合模块，以策略性地结合基于窗口的空间注意力和通道注意力，以实现上下文自适应的特征优化。

•

结合了一个轻量级的ConvMLP前馈块，通过深度可分离卷积在保持局部空间结构的同时降低计算成本。

•

采用了一种结合感知损失和L1损失的混合训练目标，以在像素级保真度和感知重建质量之间取得平衡。

•

针对NTIRE 2024–2025高效超分辨率方法的广泛基准测试表明，该方法仅使用220万个参数就实现了竞争性的重建质量。

本文的组织结构如下：第2节回顾了CNN、注意力、GAN和基于变换器的SR方法。第3节详细介绍了所提出的架构。第4节展示了实验结果。第5节进行了总结并概述了未来的研究方向。

章节片段

相关工作

图像超分辨率（SR）是低级计算机视觉中最活跃的研究领域之一，其目标是从低分辨率图像恢复高质量的高分辨率图像[15]，[16]。该领域取得了显著进展，特别是通过集成深度学习技术，这些技术在过去的十年中彻底改变了SR方法[17]，[18]。

提出的方法

单图像超分辨率（SISR）旨在从其低分辨率（LR）对应图像重建高分辨率（HR）图像，其中空间维度满足和，放大倍数为s。虽然最近基于变换器的架构显示出更好的性能，但它们的计算复杂性限制了在资源受限环境中的部署。

本文提出了一种轻量级的超分辨率架构，该架构集成了基于纳什均衡

数据集

实验使用了DIV2K数据集[43]。它包含900张2K分辨率的RGB图像，其中800张用于训练，100张用于验证。低分辨率（LR）图像是通过应用4×的下采样因子生成的。该数据集内容多样，是图像超分辨率任务的标准基准。

训练协议和超参数

所提出的模型在Kaggle笔记本环境中进行了训练，使用了包括16GB Nvidia Tesla的强大框架

结论

本文提出了一种新颖的轻量级超分辨率架构，它将博弈论原理与基于变换器的注意力相结合，在保持异常参数效率的同时实现了最先进的性能。所提出的基于博弈论的融合代理通过自适应加权策略性地结合了基于窗口的自注意力和通道注意力输出，以优化特征表示。该模型仅使用220万个参数和9.36 GFLOPs

未引用的算法

算法5

CRediT作者贡献声明

Rajdeep Pal：概念化、方法论、软件、研究、验证、写作 – 原始草案。Jotiraditya Banerjee：方法论、软件、研究、验证、写作 – 原始草案。Ram Sarkar：概念化、方法论、写作 – 审查与编辑、监督、项目管理。

利益冲突声明

作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。

Rajdeep Pal|Jotiraditya Banerjee|Ram Sarkar