AASPNet：基于自适应注意力对称渐进网络的弱监督图像超分辨率方法

《Electronics》：AASPNet: Adaptive Attention-Based Symmetric Progressive Network for Weakly Supervised Image Super-Resolution

　　

近年来，深度卷积神经网络(DCNNs)在单图像超分辨率(Single Image Super-Resolution, SISR)任务上取得了显著进展。大多数现有方法采用全监督(Fully Supervised)范式，即学习低分辨率(Low-Resolution, LR)图像到其对应高分辨率(High-Resolution, HR)图像之间的非线性映射。该方法的主要缺陷在于需要大量真实高分辨率图像作为监督信号(Ground-Truth Supervision)，这限制了其在广泛场景下的应用。为解决此问题，研究人员提出了一种名为AASPNet(Adaptive Attention-Based Symmetric Progressive Network)的弱监督(Weakly Supervised)框架。该网络由两部分组成：一个上采样过程(Upsampling Process)和一个下采样过程(Downsampling Process)。每个过程均由若干训练单元(Training Units)级联构成，但仅首个单元接受真实HR图像的监督。换言之，仅需×2尺度的监督信息，AASPNet即可生成×4及×8尺度的HR重建结果。上下采样过程间的对称性被双向利用：首先，它提供一致性约束(Consistency Constraints)以帮助恢复更精确的HR图像；其次，通过跨自监督(Cross Self-Supervision)机制，利用上下采样过程间图像级与特征级(Feature-Level)的一致性，以弱监督方式恢复HR图像。此外，研究人员引入了自适应注意力策略(Adaptive Attention Strategy)来筛选有用特征，从而提升HR图像质量。在多个基准数据集上的实验表明，该弱监督AASPNet的性能接近当前最优的全监督DCNN方法。

论文解读：AASPNet——基于自适应注意力对称渐进网络的弱监督图像超分辨率研究

一、研究背景与意义

单图像超分辨率(Single Image Super-Resolution, SISR)旨在从低分辨率(Low-Resolution, LR)输入中恢复高分辨率(High-Resolution, HR)图像，广泛应用于计算机视觉、增强现实及机器人领域。传统基于深度卷积神经网络(Deep Convolutional Neural Networks, DCNNs)的SISR方法多为全监督(Fully Supervised)模式，需依赖大量配对的LR-HR真实图像进行训练。获取HR真值(Ground Truth, GT)通常需要昂贵的高分辨率传感器及繁琐的数据采集过程，导致全监督方法在实际应用中受限。无监督(Unsupervised)方法虽无需配对数据，但重建精度通常较低。为此，研究人员开展本研究，提出一种弱监督(Weakly Supervised)框架AASPNet，仅需×2尺度配对数据进行预训练，即可在×4、×8等大倍率缩放下实现高性能重建，显著降低对HR真值数据的依赖。该论文发表于《Electronics》期刊。

二、主要关键技术方法

研究人员采用对称渐进式网络架构，包含级联的上采样单元(Upsampling Units, U_i)与下采样单元(Downsampling Units, D_i)，基本单元以×2为基频进行特征提取与尺度变换。训练分两阶段：第一阶段在×2尺度进行全监督预训练，结合L₁图像损失与跨特征对称损失(Feature Loss, L_feat)初始化共享权重；第二阶段在目标尺度(如×4需两个×2单元级联)进行弱监督微调，仅首单元接收GT监督，后续单元通过图像级循环一致性损失(Image Loss, L_img)与特征级对称损失约束。上采样单元内置自适应残差组(Adaptive Residual Group, Adaptive RG)，由改进的自适应RCAB块(Adaptive RG Block, 含可学习残差门控标量α_k)与Pixel-Shuffle操作构成。下采样单元含特征提取卷积、步长(stride=s)为s的卷积降维及重建卷积。整体损失函数为L_total=λ₁L_img+λ₂L_feat，其中λ₁=1, λ₂=0.1。模型在DIV2K与Flickr2K数据集上训练，测试于Set5、Set14、BSDS100、Urban100、Manga109及真实世界DRealSR数据集，评价指标为峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity Index Measure, SSIM)。

三、研究结果

3.1 Overview（概述）

研究人员设计了包含对称上下采样双流过程的AASPNet。对于目标放大倍数S(如×4)，需N=log₂S个×2基本单元级联。上采样过程F_up将LR逐步恢复至HR，下采样过程F_down将HR逆向映射回LR。仅第一个上采样单元的输出与GT计算L₁损失，其余单元依靠跨过程一致性约束实现弱监督学习。结论：对称双流结构与级联基本单元可有效传递×2预训练知识至大倍率重建任务。

3.2 Symmetric Consistency（对称一致性）

依据上下采样互为逆运算的原理，对应单元的输出图像及首尾层特征应满足对称性。研究人员提取各单元首层特征f_U,i¹、f_D,i¹与末层特征f_U,i^L、f_D,i^L作为对称约束对象。结论：引入对称信息一致性是弱监督下保证重建稳定性的关键正则化手段。

3.3 Upsampling Unit（上采样单元）

上采样单元由M个Adaptive RG(含K个RCAB与可学习标量α_k的Adaption操作)及末端Pixel-Shuffle(×2上采样)组成。Adaption操作定义为F_ada(F_att)=F_in+α_k·CA(F_in·W)，其中CA为通道注意力(Channel Attention)。结论：引入逐块可学习残差门控α_k使网络能自适应调节注意力细化特征的贡献，优于标准RCAB的固定残差连接。

3.4 Downsampling Unit（下采样单元）

下采样单元由m层卷积特征提取、步长为s(s=2)的卷积降维操作及n层卷积重建LR图像构成。经消融确定m=n=1可在参数量与重建保真度间取得平衡(降采样PSNR约60dB)。结论：下采样单元捕获的高质量特征通过特征一致性损失辅助上采样分支优化。

3.5 Cross Information Consistency（跨信息一致性）

总损失包含图像损失L_img=∥I_HR-I_U,1∥₁+Σ_i=2^N∥I_U,i-I_D,i∥₁与特征损失L_feat=Σ_i=1^N(∥f_U,i¹-f_D,i¹∥₁+∥f_U,i^L-f_D,i^L∥₁)。结论：联合图像级与特征级对称约束显著提升弱监督下大倍率重建精度，最佳权重比为λ₁=1, λ₂=0.1。

3.6 Weight Sharing（权值共享）

由于不同倍率下LR图像的像素值分布相似(附直方图验证)，级联的各×2基本单元共享相同权重。结论：权值共享大幅减少参数量(AASPNet约比RCAN少一半参数)，且使首单元受GT监督的信息向后传递，促进级联收敛。

3.7 Training Process（训练流程）

两阶段训练：Stage 1预训练单对U₁-D₁于×2配对数据；Stage 2扩展N个共享权重的单元并在目标尺度以弱监督目标函数微调。结论：预训练提供优良初始化，结合权值共享使仅需×2 GT即可支持×4、×8等任意2的幂次倍率重建，非2幂次倍率(如×3)可通过×2+×2组合实现。

3.8 Implementation Details（实现细节）

特征通道数64，优化器为Adam(β₁=0.9, β₂=0.999)，学习率1×10^-4，训练1000 epoch。

四、讨论与结论

研究人员在合成退化(Bicubic, Blur-Downscale)及真实拍摄DRealSR数据集上与Bicubic插值、ESPCN、SRResNet、EDSR、RCAN、SAN、DRN、SRFormer等全监督方法及ZSSR、Weakly RCAN等弱/无监督方法对比。定量结果表明：AASPNet在×2、×4尺度各基准数据集上的PSNR/SSIM接近或达到全监督SOTA水平(平均PSNR差距在×2时约0.05dB，×4时约0.15dB)，明显优于ZSSR与简单级联弱监督RCAN；在真实DRealSR上较全监督方法低0.2–0.4dB，系弱监督信息不足所致。消融实验证实Adaptive RG块(α_k)、预训练初始化、权值共享及特征损失均对性能有正向贡献。

论文结论为：研究人员提出的AASPNet是一种有效的弱监督SISR框架，通过对称渐进式上下采样双流架构、跨图像-特征级一致性约束及带可学习残差门控的自适应注意力模块，仅需×2尺度Ground Truth监督即可在×4、×8等倍率获得媲美全监督方法的重建质量，且因权值共享参数量更少。该研究降低了SISR对高成本HR标注数据的依赖，拓展了SR模型在实际场景中的适用性。