CAMDNet：面向轻量级图像超分辨率的连贯性感知多频带细节补偿网络

《Pattern Recognition》：CAMDNet: Coherence-aware multi-band detail compensation network for lightweight image super-resolution

　　

• 针对SISR提出了一种轻量级的先验引导框架。
• 多带DCT先验定位尺度感知的细节响应。
• 结构一致性引导模糊区域的补偿。
• CAMD调制通过逐层标量增益注入先验。
• CAMDNet以紧凑复杂度改善了纹理丰富的×4超分辨率。

引言

单图像超分辨率（SISR）从低分辨率观测重建高分辨率图像，其实际部署通常需要具有有限参数和计算量的轻量级模型。在这样的约束下，挑战不仅在于如何设计紧凑算子，还在于紧凑模型如何识别应将有限容量分配到细节补偿的区域。早期的轻量级方法主要依赖高效的卷积设计来减少冗余并提高特征复用。例如，CARN [1] 采用级联残差连接实现高效特征传播，IMDN [2] 逐步蒸馏信息特征，RFDN [3] 简化残差特征蒸馏，LatticeNet [4] 引入晶格式特征交互。这些基于CNN的方法实现了高效性，但细节定位和补偿强度仍隐含在学习到的局部滤波中。

近期的基于Transformer和Mamba的轻量级SR方法显著改善了特征交互。基于Transformer的模型，如SwinIR [5] 和SRFormer [6]，引入移位窗口或高效自注意力来建模局部和非局部依赖关系。状态空间模型，如MambaIR [7] 和MambaIRv2 [8]，进一步探索了用于图像修复的序列建模。混合器式方法，包括LAMNet [9] 和UPS [10]，从不同维度重组特征交互。这些方法增强了特征聚合，但修复网络仍需要从学习到的特征中推断高频细节位于何处、哪些区域需要补偿以及补偿应有多强。在严格的轻量级约束下，这种隐式的细节补偿决策对于复杂纹理和重复结构变得不太可靠。

频域线索提供了一种自然的途径来暴露高频响应，并最近被引入到轻量级SR中。EFATSR [11] 和CAFT [12] 等方法表明，频率感知建模可以补充空间特征聚合并改善纹理修复。然而，频率响应强度并不一定表示可修复的细节。高频响应可能来自清晰的方向性边缘、重复的建筑模式、漫画线条纹理或退化诱导的混合方向结构。这些情况需要不同的补偿决策，因此轻量级SR需要频率感知的细节定位与结构感知的可靠性线索相结合。图7利用具有不同DCT响应和一致性组合的代表性补丁类别可视化了这一区别。第4.4节中的区域级分析证实，在频率丰富的区域中，低一致性区域表现出系统性地更高的重建误差，并从所提出的正一致性项中获得了最大的增益。

我们提出CAMDNet，一个面向轻量级SISR的一致性感知多带细节补偿网络。CAMDNet从无参数的多带DCT能量先验和低分辨率输入中推导低一致性线索。DCT先验提供了粗、中、细粒度上的尺度感知频率响应，而低一致性线索有助于识别可能受益于额外补偿的结构模糊区域。这些先验通过CAMD调制注入到轻量级基础修复层中，其中一致性项被正约束，以将显式的频率和一致性线索转化为特征补偿，仅使用逐层可学习的标量增益。所得框架在紧凑的修复流水线中将空间特征混合与先验引导的细节补偿分离开来。

主要贡献总结如下：

• 我们为轻量级SR提出了一种一致性门控的细节补偿原则。频率响应强度和结构可靠性被视为解耦的线索，因此高响应区域根据结构模糊性进行补偿，而不是均匀增强。我们进一步提供了直接的经验证据，表明低一致性的高响应区域系统性上更难修复。

• 我们提出CAMDNet，通过将空间特征混合与显式的先验引导补偿解耦为两个互补分支来实现这一原则。确定性的多带DCT能量先验和低一致性线索通过CAMD调制注入，其中一致性项被正约束。

• 在五个SISR基准上的定量和定性实验表明，CAMDNet实现了有竞争力的精度-复杂度权衡，尤其是在具有挑战性的×4设置下。

章节片段

轻量级图像超分辨率

SISR已从早期的基于CNN的映射方法（如SRCNN [13]、FSRCNN [14] 和VDSR [15]）发展到高容量骨干网络：EDSR [16] 和RDN [17] 扩展了残差和密集聚合特征，而RCAN [18]、SAN [19]、HAN [20] 和NLSA [21] 分别引入了通道、二阶、整体和非局部稀疏注意力。虽然这些模型实现了强大的重建质量，但其计算成本促使为实际部署设计更紧凑的模型。轻量级基于CNN的……

CAMDNet的整体架构

图2展示了CAMDNet的整体框架。给定一个低分辨率图像 ??LR∈???×??×3，CAMDNet首先通过3×3卷积提取浅层特征 ??0。并行地，它从同一个低分辨率输入推导出一个无参数先验集合 ??={??16,??8,??4,??}，其中 ??16、??8 和 ??4 是不同块粒度上的多带DCT能量响应图，?? 是低一致性线索。这些先验在低分辨率分辨率下从输入图像计算一次，并在整个深度特征提取过程中重复使用。

训练数据

CAMDNet在DIV2K [47] 上训练，用于×2、×3和×4倍的双三次插值图像超分辨率。我们根据倍率裁剪成对的LR-HR训练补丁，HR补丁大小固定为192×192。随机水平翻转和旋转用于数据增强。除非另有说明，训练使用四块GPU，每块GPU的批量大小为8。训练目标为?1重建损失：?=‖??SR???HR‖1。

评估协议

我们使用五个标准基准：Set5 [48]、Set14 [49]、BSD100 [50]

结论

我们提出了CAMDNet，一个面向轻量级图像超分辨率的一致性感知多带细节补偿网络。CAMDNet通过将无参数的DCT能量先验与低一致性线索相结合，将显式的细节补偿引导引入紧凑的SR模型。所提出的CAMD调制仅使用逐层可学习的标量将这些先验注入到轻量级特征补偿中，其中一致性项被正约束用于补偿。这一设计解耦了空间……

CRediT作者贡献声明

Yin Libin：概念化、方法论、软件、验证、原创草稿撰写。Jin Wushuai：方法论、调查、验证、审阅与编辑撰写。Li Jie：监督、项目管理、审阅与编辑撰写。Wang Hanzi：监督、审阅与编辑撰写。Gao Xinbo：监督、经费获取、项目管理、审阅与编辑撰写。

未引用参考文献[55]

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所述的工作。

致谢

本工作部分由新一代人工智能-国家科技重大专项（项目编号：2025ZD0123601）支持，部分由中国国家自然科学基金（项目编号：U25A20531）支持。

Yin Libin于2025年从中国西安电子科技大学获得电子信息工程学士学位。他目前正在中国西安电子科技大学电子工程学院视觉信息处理实验室攻读硕士学位。他的研究兴趣包括图像超分辨率、深度学习和计算机视觉。

Yin Libin | Jin Wushuai | Li Jie | Wang Hanzi | Gao Xinbo