用于轻量级图像超分辨率的协作跨域网络

《Image and Vision Computing》：Collaborative cross-domain network for lightweight image super-resolution

　　

•协作跨域网络 (CCNet) 协同集成了傅里叶变换和小波变换，用于轻量级超分辨率重建。
•结构感知傅里叶 Transformer 和边缘感知小波 Transformer 共同优化全局宏观结构并细化高频纹理。
•CCNet 在重建性能和模型效率之间展现了最佳平衡，保持了极低的参数量和计算成本。

引言
图像超分辨率 (SR) 是一项基础的计算机视觉任务，旨在从低分辨率 (LR) 输入中恢复高分辨率 (HR) 图像。这项技术在医学成像 [1]、[2]、遥感 [3]、安全监控 [4] 和文本增强 [5] 等各种实际领域都展现了显著的应用价值。然而，大多数现有 SR 方法 [6]、[7] 相关的巨大计算开销严重阻碍了其在资源受限设备上的部署。
为了解决这些局限性，我们的工作致力于轻量级 SR 任务。我们旨在提升重建性能，同时缩小模型规模并加速推理速度。大多数现有 SR 方法主要在空间域中运行，严重依赖空间监督和重建。这种设计不可避免地限制了网络在特征提取过程中的感受野。为了弥补这一局限性，当前模型往往诉诸于大量堆叠网络模块，这不仅增加了模型复杂度，还严重降低了计算效率。因此，设计高效且轻量级的 SR 模型仍然是一个紧迫的挑战。
在本文中，我们通过整合频域方法 [8]、[9] 来处理轻量级 SR 任务。我们的见解受到近期引入额外频域信息（通常在傅里叶或小波域）以丰富特征表示的 SR 方法的启发。具体而言，基于傅里叶变换的方法 [10]、[11]、[12]、[13] 可以有效调节全局频率分布，从而优化整体图像结构。而基于小波变换的方法 [14]、[15]、[16]、[17] 擅长提取高频特征并恢复精细纹理 [18]。然而，我们观察到大多数当前频域 SR 网络通常仅采用单一类型的频率变换。这种单一的特征表示机制使得现有模型无法在全局优化整体结构和局部重建高频细节之间取得最佳平衡。
为了充分利用频率分析在轻量级 SR 重建中的优势，并解决高频纹理恢复与整体结构保持之间的平衡挑战，我们提出在小波和傅里叶域中同时重建特征。具体而言，小波变换有效地将特征分解为高频和低频子带，便于对其相互关系进行精确建模。同时，通过结合傅里叶变换和傅里叶域监督，我们提供了一种调节全局频率分布的高效机制。
基于上述观察，我们提出了一种用于轻量级图像 SR 的协作跨域网络 (CCNet)。具体而言，我们的 CCNet 主要由两个核心模块组成：结构感知傅里叶 Transformer (SFT) 和边缘感知小波 Transformer (EWT)。这两个模块分别利用傅里叶变换来优化宏观结构，以及利用小波变换来精确恢复高频边缘和纹理。此外，在网络优化阶段，我们共同采用傅里叶域损失和空间图像重建损失。这种设计不仅确保了局部像素级精度，还有效地调节了全局频率分布，从而实现了更平衡、高质量的图像重建。此外，我们的网络结合了子带感知位置编码和跨子带调制来提取小波域特征，提供了子带特定的上下文偏差，促进了高频和低频信息的互补融合，实现了对频域特征的高效处理。如图 1 所示，与最先进 (SOTA) 的方法相比，我们的网络在具有极具竞争力的参数量 (Params) 和计算复杂度 (FLOPs) 的情况下实现了最高的 PSNR。总之，本文的主要贡献总结如下：
1. 我们发现结合小波变换和傅里叶变换能有效平衡全局宏观结构优化和局部高频细节重建。
2. 我们提出了一种基于傅里叶变换的 SFT 和一种基于小波变换的 EWT，分别用于优化全局宏观结构和细化高频纹理。
3. 在合成和真实世界数据集上的大量实验表明，我们的 CCNet 在保持极低参数量和 FLOPs 的同时，优于现有的轻量级 SR 方法。

章节片段 高效超分辨率
近年来，在轻量级超分辨率架构的开发方面取得了显著进展，这主要源于将这些模型部署在资源受限硬件上的迫切必要性。早期的轻量级模型严重依赖卷积神经网络 (CNN) 的稳健非线性映射能力。DRCN [19] 通过在有开创性的深度递归结构中整合参数共享策略，有效地限制了模型复杂度。EDSR [6] 移除了网络架构
网络架构
如图 2 所示，我们提出的 CCNet 主要利用结构感知傅里叶 Transformer (SFT) 和边缘感知小波 Transformer (EWT) 来动态调节不同频域中的特征。给定一个低分辨率 (LR) 输入图像 $I_{LR} \in \mathbb{R}^{H \times W \times 3}$，我们的方法旨在获得一个空间域中的高分辨率 (HR) 输出 $I_{SR} \in \mathbb{R}^{sH \times sW \times 3}$ 以及相应的频域输出 $I_{Fre}$，其中 $s$ 表示超分辨率缩放因子。
具体而言，我们首先提取数据集
数据集
在我们的实验中，我们采用了广泛使用的 DIV2K [47] 数据集进行模型训练。该数据集包含 900 张高质量的 2K 分辨率图像，其中 800 张用于训练，剩余 100 张用于验证。为了全面评估我们方法的有效性，我们在五个标准基准数据集上进行了广泛测试：Set5 [48]、Set14 [49]、BSD100 [50]、Urban100 [51] 和 Manga109 [52]。这些数据集涵盖了多样化的场景，从自然景观到讨论
讨论
尽管我们的协作跨域网络 (CCNet) 在图像超分辨率方面取得了极具竞争力的性能，但在计算效率和特征解耦方面仍有进一步优化空间。目前，我们边缘感知小波 Transformer (EWT) 中的自注意力机制在所有小波频率子带上是统一应用的。这种统一的处理范式可能无法充分利用每个频带的独特特征。在未来的工作中，结论
结论
在本文中，我们提出了一种用于轻量级图像超分辨率的协作跨域网络 (CCNet)。为了克服依赖单一频域变换的局限性，我们优雅地集成了结构感知傅里叶 Transformer (SFT) 和边缘感知小波 Transformer (EWT)。我们的研究表明，通过充分利用傅里叶变换和小波变换的互补优势，CCNet 成功地实现了最佳平衡之间 CRediT 作者贡献声明
Yunlei Sun：写作 – 审阅与编辑，验证，概念化。Yunda Li：写作 – 初稿，方法论。Ruifeng Chen：数据整理。Yangxingyue Liu：资源。Chao Liu：调查。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文中报告的工作。
致谢
这项工作得到了中国国家自然科学基金委员会的资助，项目编号：62372469。
Yunlei Sun|Yunda Li|Ruifeng Chen|Yangxingyue Liu|Chao Liu