《Photonics》：Efficient Reference-Based Super-Resolution via Adaptive Texture-Smooth Skipping and Transformer Architecture
编辑推荐：
基于参考图像的超分辨率重建（RefSR）通过利用高分辨率参考（Ref）图像的纹理信息来增强低分辨率（LR）图像，为计算成像中退化测量的快速高保真重建提供了有前景的解决方案。然而，现有RefSR方法主要关注提升重建性能而忽视计算效率，限制了实际部署。本研究发现，
基于参考图像的超分辨率重建（RefSR）通过利用高分辨率参考（Ref）图像的纹理信息来增强低分辨率（LR）图像，为计算成像中退化测量的快速高保真重建提供了有前景的解决方案。然而，现有RefSR方法主要关注提升重建性能而忽视计算效率，限制了实际部署。本研究发现，LR图像中的纹理平滑区域无需Ref辅助即可良好重建，由此提出一种高效RefSR方法——跳过低频超分辨率（SLSR）。研究人员设计了一个低频跳过模块（LSM），基于角二阶矩（ASM）测量的纹理复杂度自适应地绕过纹理平滑图像块。此外，提出了一种多信息增强Swin Transformer（MEST），联合利用目标特征、梯度特征和迁移纹理特征以忠实地提取高频细节。引入梯度损失以保持梯度保真度。在CUFED5、Sun80和Urban100数据集上的大量实验表明，SLSR在显著降低计算成本的同时实现了极具竞争力的性能。值得注意的是，在CUFED5上，SLSR以最低的FLOPs在PSNR方面超越次优方法0.16 dB。SLSR的高效高保真重建能力表明其在计算成像和纳米结构材料表征中具有潜在应用前景，这些领域对快速纹理恢复有迫切需求。
研究背景方面，参考图像超分辨率重建（RefSR）通过利用高分辨率参考（Ref）图像中的纹理信息来增强低分辨率（LR）图像，克服了单图像超分辨率（SISR）的局限性。该机制可受益于计算成像领域，因为在该领域中类似结构的高分辨率参考图像通常可得，且从退化测量中进行快速重建是可期待的。然而，现有RefSR方法优先考虑重建质量而非计算效率，阻碍了实际部署。在整个LR图像上进行纹理匹配和迁移会带来大量开销，而基于Transformer的特征提取器忽视了RefSR任务的特殊性；仅靠迁移纹理无法充分表征Ref和LR特征。研究人员观察到LR图像中的纹理平滑图像块无需Ref辅助即可良好重建，这促使研究人员跳过此类图像块以减少计算量，从而开展本研究。
研究人员开展了以下研究：设计了低频跳过模块（LSM），基于角二阶矩（ASM）自适应地绕过纹理平滑图像块；提出了多信息增强Swin Transformer（MEST），整合目标特征、梯度特征和迁移纹理特征，并引入梯度损失以增强保真度；在CUFED5、Sun80和Urban100数据集上进行了广泛实验。研究结论表明，SLSR在显著降低计算成本的同时实现了极具竞争力的性能，在CUFED5上以最低FLOPs超越次优方法0.16 dB的PSNR。其重要意义在于：SLSR的高效高保真重建能力表明其在计算成像和纳米结构材料表征中具有潜在应用前景，这些领域对快速纹理恢复有迫切需求；其低计算开销和高纹理保真度也使其成为集成光子电路中实时片上光信号处理与监测的有前景候选方案。
关键技术方法方面，研究人员采用以下主要技术方法：构建非对称编码器-解码器架构，编码器包含三个高频特征提取管道（HFEP），解码器包含两个基于Swin Transformer的特征重建管道（FRP）；LR图像经亚像素卷积上采样后由卷积提取浅层特征；Ref特征通过堆叠卷积提取以减少计算量；在高频特征提取管道中利用LSM基于ASM进行纹理平滑图像块跳过；通过余弦相似度计算进行特征匹配以迁移纹理；采用MEST融合多源信息；引入梯度损失。训练数据来源于CUFED数据集（11,871对HR-Ref图像对），评估在CUFED5、Sun80和Urban100数据集上进行。
研究结果方面：
3.1 纹理平滑图像块重建分析：研究人员通过对比IMDN（SISR）和MASA（RefSR）在CUFED样本上的重建表现，发现纹理平滑图像块上两种方法PSNR均约为44.7 dB，表明Ref信息对纹理平滑区域的重建并非必要；在高频图像块上MASA显著优于IMDN。对CUFED训练集以32步长滑窗分析发现约34.22%的图像块IMDN与MASA的PSNR差异≤0.05 dB，这促使研究人员通过跳过纹理平滑图像块来提升效率而不损失性能。
3.2 整体架构：SLSR采用非对称编码器-解码器结构，LR图像经亚像素卷积上采样后提取浅层特征。编码器包含三个HFEP提取高频图像块特征，解码器包含两个基于Swin Transformer的FRP重建HR图像。每个HFEP首先利用LSM跳过纹理平滑图像块并提取高频特征，通过余弦相似度匹配从Ref特征图中检索最相关纹理产生迁移特征，将迁移特征与目标特征及梯度特征共同输入MEST，最后合并高频与纹理平滑图像块。前两个HFEP后接下采样以增大感受野。
3.3 低频跳过模块（LSM）：LSM基于纹理复杂度自适应跳过纹理平滑图像块。首先提取梯度特征，经卷积降维后展开为8×8图像块（步长8），归一化后基于灰度共生矩阵（GLCM）计算每个图像块的ASM值，将ASM值最大的前30%识别为纹理平滑图像块予以跳过。该30%跳过比例源自3.1节分析中CUFED训练集约34.22%图像块无需Ref辅助即可重建的统计发现。ASM衡量纹理均匀性，高ASM表示平滑区域可由SISR单独处理。该掩码为非参数化的，不携带梯度，梯度仅通过非跳过图像块传播，类似于硬注意力机制。
3.4 多信息增强Swin Transformer（MEST）：为克服标准Swin Transformer仅处理单一特征的局限，MEST融合三种信息源：高频图像块特征、梯度特征和迁移纹理特征。MEST基于多个集成ME-MSA模块的Swin Transformer块构建。ME-MSA模块首先由梯度特征空间校准迁移纹理特征，再由目标特征引导校准后的特征，采用标准多头注意力公式化流程。
3.5 损失函数：研究人员在重建损失、感知损失和对抗损失之外引入梯度损失，应用于三个HFEP对应的三个尺度上，以保持梯度保真度。
4.2 定量结果：SLSR-rec在CUFED5上取得最佳PSNR和SSIM（27.79 dB和0.826），超越次优PSAM-rec（27.63 dB）0.16 dB；在Sun80上取得最高PSNR（30.18 dB）和最佳SSIM（0.816）；在Urban100上PSNR达26.18 dB，与CMRSR-rec并列最佳。模型复杂度方面，SLSR具有最低FLOPs（330.1G）和运行时间（127.5 ms），相比MASA降低10.4%计算量，相比TTSR降低68.4%，同时保持顶级性能。整体效率优势源于四方面因素的组合：轻量级参考特征提取、高频图像块缩减集上的高效余弦相似度匹配、LSM跳过纹理平滑图像块、紧凑的MEST架构。
4.3 定性结果：在CUFED5 025_0上重建的人脸轮廓更清晰、皮肤纹理更自然；Sun80 abbey_sun_asztnlqhlrvirneh上叶片细节更锐利自然；Urban100 img_058上建筑结构保持更好、失真更少。
4.4.1 LSM有效性：将LSM替换为随机跳过后重新训练，LSM优于随机跳过，证实有针对性的纹理平滑跳过在减少计算的同时保持性能。ASM一致地识别纹理平滑区域而保留高频图像块。
4.4.2 GLCM特征比较：ASM取得最佳性能，CON表现最差。ASM在所有三个阶段一致跳过纹理平滑图像块，展现出更优的均匀纹理识别能力。
4.4.3 MEST有效性：将MEST替换为标准Swin Transformer后性能持续下降。MEST产生更锐利的纹理。梯度特征空间校准迁移参考纹理以抑制未对齐或虚假纹理，目标特征随后引导注意力朝向目标图像中的高频结构。在CUFED5 042_0图像上，MASA几乎完全丢失船桅水平横杆，而SLSR成功重建了清晰锐利的结构边缘，误差热图显示SLSR结构误差显著更小，高频特征响应更锐利连续。
4.4.4 梯度损失：带梯度损失的模型产生更清晰的细节，梯度损失在三个尺度上强制重建图像与HR图像的梯度图之间的一致性，惩罚标准像素级损失可能无法捕获的结构失真。
4.4.5 跳过比例影响：跳过30%纹理平滑图像块使整体FLOPs降低7.9%（从358.3G降至330.1G），性能下降可忽略；50%跳过则导致性能退化。30%为合适阈值。
讨论部分总结：研究人员提出的SLSR是一种高效RefSR方法，通过自适应跳过纹理平滑图像块在保持性能的同时减少计算。LSM通过ASM识别纹理平滑图像块，MEST融合多信息源增强高频特征提取，梯度损失进一步提升保真度。在CUFED5、Sun80和Urban100上的广泛实验表明SLSR相比现有高效RefSR方法以显著更低计算成本实现了优越重建质量。未来方向包括：自适应或分阶段跳过比例学习、鲁棒特征提取以处理退化输入、扩展至SR视频、在真实光学成像数据上评估。此外，该方法在计算显微术和超表面辅助成像系统中具有集成潜力，其低计算开销和高纹理保真度使其成为集成光子电路中实时片上光信号处理与监测的有前景候选方案。研究结论翻译：研究人员提出了SLSR，一种高效RefSR方法，自适应跳过纹理平滑图像块以减少计算同时保持性能。LSM通过ASM识别纹理平滑图像块，MEST融合多信息源增强高频特征提取，梯度损失进一步提升保真度。在CUFED5、Sun80和Urban100上的广泛实验表明SLSR相比现有高效RefSR方法以显著更低计算成本实现了优越重建质量。
