《Digital Signal Processing》:SCMNet: Deformable Spatial-Channel Collaborative Modulation for Efficient Image Super-Resolution
编辑推荐:
摘要近期的图像超分辨率(SR)方法已取得显著进展。然而,在严格的复杂度约束下,高效的SR方法在恢复复杂结构和高频细节方面仍面临困难。一个关键挑战在于缺乏内容自适应的特征调制机制。基于固定网格采样的大核注意力(LKA)限制了空间自适应性,而可变形变体通常仅在输入特征分辨率下预测
摘要
近期的图像超分辨率(SR)方法已取得显著进展。然而,在严格的复杂度约束下,高效的SR方法在恢复复杂结构和高频细节方面仍面临困难。一个关键挑战在于缺乏内容自适应的特征调制机制。基于固定网格采样的大核注意力(LKA)限制了空间自适应性,而可变形变体通常仅在输入特征分辨率下预测空间偏移,从而引入额外的计算开销。与此同时,通道调制方法往往未能充分考虑通道特定的高频响应。为应对这些问题,我们提出一种空间-通道协同调制(Spatial-Channel Collaborative Modulation, SCCM)模块,用于自适应空间采样和通道调制。具体而言,可变形大核空间注意力(Deformable Large Kernel Spatial Attention, DLKSA)在降采样后的特征空间中预测通道共享的空间偏移。随后将预测的偏移上采样至原始分辨率,以调整采样位置。该设计在降低偏移预测开销的同时保持自适应空间建模能力。高频能量描述符(High-Frequency Energy Descriptor, HFED)量化每个通道的归一化高频能量。所得描述符作为自适应通道调制的频率先验,强化高频响应更强的通道。SCCM进一步采用可学习的融合权重来协调DLKSA与HFED,实现对结构与高频细节表示的互补增强。大量实验表明,基于SCCM构建的高效超分辨率网络——空间-通道调制网络(SCMNet)——在重建性能与模型复杂度之间取得了良好平衡。在五个基准数据集的×4超分任务上,SCMNet+在SwinIR-light基础上将平均PSNR提升了0.23 dB,同时仅使用约62%的参数。
引言
单图像超分辨率(Single Image Super-Resolution, SISR)旨在从低分辨率(LR)输入图像重建出细节丰富、视觉质量高的高质量分辨率(HR)图像 [1]。近年来,超分方法 [2], [3] 在重建性能方面已取得重大进展。然而,其庞大的模型尺寸和较高的计算开销阻碍了它们在资源受限场景中的部署。例如,RCAN [4] 包含15.59M参数和超过400层,限制了其在轻量化设置中的适用性。因此,在保持重建质量的同时实现高效轻量化的设计,已成为SR研究中的一个关键挑战。
为降低模型复杂度,已有方法通过轻量化架构设计 [5]、参数共享 [6]、模型蒸馏 [7] 以及结构性重参数化 [8] 来改善效率。然而,大多数轻量化网络缺乏足够的内