《Electronics》:Enhanced Lightweight Image Super-Resolution via Residual Aggregation and Wavelet Loss
编辑推荐:
图像超分辨率(super-resolution, SR)旨在从低分辨率输入重建高分辨率图像,其技术已从卷积神经网络(convolutional neural network, CNN)演进到基于Transformer的架构。尽管取得了进展,轻量化Transfo
图像超分辨率(super-resolution, SR)旨在从低分辨率输入重建高分辨率图像,其技术已从卷积神经网络(convolutional neural network, CNN)演进到基于Transformer的架构。尽管取得了进展,轻量化Transformer SR仍然面临挑战:局部或基于窗口的操作提供的长距离交互有限;常规查询-键-值(query-key-value, QKV)投影带来参数和计算冗余;仅使用像素域损失无法对精细结构施加足够的频域约束。研究人员提出RAW,一种基于残差聚合与小波损失的轻量化SR网络。RAW采用局部聚合保留邻域纹理,通过中尺度分组残差注意力(mesoscale grouped-residual attention)在建模区域依赖的同时减少投影冗余,并利用非局部稀疏聚合以受控成本捕获长距离信息。通过将平稳小波变换(stationary wavelet transform, SWT)损失与RGB域L1损失相结合,所提模型在不增加推理分支的情况下对结构和高频信息进行监督。在标准基准上的实验表明,重建质量与计算复杂度之间具有竞争力的权衡。对于4×SR,RAW相较于基线将参数数量和MACs分别减少了14.3%和15.4%,同时在Manga109上将PSNR和SSIM分别提高了0.22 dB和0.0015。
轻量化图像超分辨率(super-resolution, SR)旨在以低参数量与计算代价从低分辨率输入重建高质量图像。随着深度学习发展,SR从卷积神经网络(convolutional neural network, CNN)过渡到Transformer架构,但轻量化Transformer SR仍存在三重问题:局部或窗口操作的长距离交互能力有限;常规查询-键-值(query-key-value, QKV)投影引入参数和计算冗余;像素域L
1损失对高频频域结构约束不足。已有研究虽在分组注意力、多尺度聚合和小波损失方面取得进展,但仍缺乏在统一轻量框架中同时协调局部、中尺度、非局部与频域建模的方案。为此,研究人员提出RAW,将残差聚合与小波域监督相结合,以平衡重建质量、参数效率和计算成本。
研究人员构建了残差聚合块(residual aggregation block, RAB)作为核心模块,依次包含局部聚合块(local aggregation block, LAB)、中尺度残差分组聚合块(mesoscale residual grouping aggregation block, MRGAB)和非局部稀疏聚合块(non-local sparse aggregation block, NLSAB)。LAB通过逐点/深度卷积和SE通道注意力保留邻域纹理;MRGAB在RGSA子模块中采用分组残差线性(grouped residual linear, GRL)投影,替换常规QKV投影以削减冗余;NLSAB基于局部敏感哈希(locality-sensitive hashing, LSH)的稀疏注意力在受控成本下捕获长距离信息。训练阶段,在RGB域L
1损失基础上引入单层二维Symlet-19平稳小波变换(stationary wavelet transform, SWT)损失,对低频结构与水平、垂直、对角高频细节施加显式约束,且不增加推理分支。在DIV2K(800张训练图、100张验证图)上训练,在Set5、Set14、B100、Urban100、Manga109五个基准上测试。结果表明,RAW在4×SR下相对基线将参数量和乘累加操作(multiply-accumulate operations, MACs)分别减少14.3%和15.4%,并在Manga109上使峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性(structural similarity, SSIM)分别提高0.22 dB和0.0015,以紧凑计算开销取得具有竞争力的重建性能。
关键方法包括:(1) 三级聚合:LAB用深度可分离卷积与SE通道注意力提取局部纹理;MRGAB用GRL投影实现分组残差QKV交互;NLSAB用LSH分桶稀疏注意力捕获非局部依赖。(2) SWT复合损失:单层sym19 SWT对亮度通道分解为低频LL子带与LH/HL/HH方向高频子带,与RGB域L
1损失加权联合训练,仅在训练阶段使用。(3) 训练配置:DIV2K 800/100训练/验证划分,Adam优化,批大小64,80万次迭代,随机水平翻转/旋转增强,LR由双三次下采样生成。
4.2 与最先进方法的比较(Comparison with State-of-the-Art Methods)
在×2、×3、×4任务上与EDSR-baseline、LatticeNet、ShuffleMixer、ESRT、MFCC、AFAN、FDSCSR、SPAN、PCRN、EFRDN、MWDIN、RTFN、DCAE-Multi等13种方法比较。RAW在多数基准上取得持平或更优的PSNR/SSIM,在Manga109上所有尺度均最优,表明其对结构化内容的高频细节和边缘恢复具有优势。同时参数量低于多数对比方法,体现质量与复杂度之间的竞争力。视觉比较中,在Set14-barbara、Set14-ppt3、Urban100-img034上,对比方法出现纹理变形、颜色偏差、字符边缘模糊、窗框几何失真;RAW则恢复更准确的色彩、清晰的字符轮廓和更规则的几何结构。
4.3 消融实验(Ablation Study)
采用固定添加顺序的四种配置:Model 1为基线,Model 2加入GRL投影,Model 3增加SWT损失,Model 4再加入NLSAB形成完整RAW。GRL使参数从792 K降至732 K、MACs从45.29 G降至41.67 G,但若干数据集PSNR/SSIM略降,说明其是效率导向组件;SWT损失不增加推理开销,分别使Set5、Set14、B100、Urban100、Manga109的PSNR提高0.01、0.01、0.02、0.08、0.10 dB;NLSAB进一步将参数降至680 K、MACs降至38.32 G,并在五个基准上一致提升PSNR。最终模型在效率与质量间取得有利平衡。
讨论与结论部分指出,RAW的贡献不是提出GRL本身,而是将已有投影策略与LAB、NLSAB和训练期SWT监督相协调,分别覆盖局部、中尺度、非局部和频域建模需求。完整配置体现的是GRL、SWT监督与NLSAB共同带来的效率-保真度折中;GRL虽降低参数与计算量,但可能造成数据集相关的微小PSNR/SSIM波动。研究结论为:RAW在4×SR下相对基线将参数量和MACs分别减少14.3%和15.4%,在Manga109上PSNR和SSIM分别提高0.22 dB和0.0015;在五个标准基准上以紧凑计算开销取得有竞争力的重建性能,证明其能在轻量架构中有效整合局部、中尺度、非局部和频域信息,对资源受限的图像恢复应用具有实际潜力。局限性方面,模型仅在双三次下采样退化模型下评估,真实复杂退化(噪声、模糊、压缩伪影)下的表现有待探索;未来将扩展至更真实退化场景,优化推理效率,并系统研究Haar、Daubechies等不同小波基及相应子带权重方案。