FreqSR:用于单图像超分辨率的频率感知网络
《Computer Vision and Image Understanding》:FreqSR: Frequency-aware network for Single-Image Super-Resolution
【字体:
大
中
小
】
时间:2026年10月24日
来源:Computer Vision and Image Understanding 3.6
编辑推荐:
基于频率的方法进行超分辨率单图像处理。引入小波变换来帮助从退化图像中恢复细节。采用傅里叶变换以全局建模方法优化低频和高频分量。
## 引言
单图像超分辨率(SISR)旨在从给定的低分辨率图像中恢复高分辨率图像。SRCNN(Dong等人,2014)开创性地利用卷积神经网络(
基于频率的方法进行超分辨率单图像处理。引入小波变换来帮助从退化图像中恢复细节。采用傅里叶变换以全局建模方法优化低频和高频分量。## 引言单图像超分辨率(SISR)旨在从给定的低分辨率图像中恢复高分辨率图像。SRCNN(Dong等人,2014)开创性地利用卷积神经网络(CNN)产生令人满意的恢复结果,此后众多方法(Lim等人,2017,Liang等人,2021)取得了巨大进展并推动了真实世界超分辨率的发展。尽管基于CNN的方法(Lim等人,2017)能够恢复局部细节,但仍存在两个缺点。首先,感受野有限,基于CNN的方法缺乏建模长程依赖的能力。一些方法(Zamir等人,2022,X. Chen等人,2023)已经证明,大的感受野是必不可少的,它提供了互补信息来指导高频信息的提取。此外,这种方法表现得像高通滤波器(Park和Kim,2022),从而忽略了同样对SISR任务至关重要的低频信息。与静态提取信息不同,基于注意力的方法利用Hadamard积(Zhang等人,2018)或自注意力(SA)(Liang等人,2021)来自适应地获取空间信息。SwinIR(Liang等人,2021)采用窗口划分策略来有效降低开销,同时实现最先进的(SOTA)性能。然而,仍存在两个缺陷。如图1(b)(c)所示,它在过滤大量高频分量的同时几乎无法获取长程信息。尽管一些基于频率的方法采用离散傅里叶变换(DFT)(Cooley和Tukey,1965)或离散小波变换(DWT)来过滤不必要的频率并保留信息性分量,但这两种变换算子都没有结合起来实现全面的频率过滤。因此,我们专注于促进局部和全局频率过滤以进一步提升超分辨率性能。在本文中,我们设计了一种名为FreqSR的新型全知频率过滤SISR模型,该模型基于提出的频率感知块(FAB),由低频滤波器(LFF)和高频滤波器(HFF)组成。具体来说,为了扩大感受野并增强提取低频信息的能力,LFF利用DFT自适应地选择信息性频率并全局影响每个像素以增强表征。这种策略提供了更相关的频率并实现了显著的性能提升。此外,HFF作为高通滤波器聚焦于边缘等细节。HFF局部将输入分解为近似系数和三个详细系数,并采用门控机制自适应地提取方向感知细节。HFF提供了互补的高频信息并增强了局部细节的表征。为了从浅层中提取更精细的细节,我们提出了一种轻量级的频率感知混合器(FAM),它使用DWT与经典卷积层相比提供了额外信息(见图2)。如图1(a)(b)所示,我们的FreqSR表现得像高通滤波器,它明显提升了提取高频分量的能力,同时捕获了更长的相关性。如图1(d)所示,我们的FreqSR比SwinIR(Liang等人,2021)提高了0.25 dB,表明了长程依赖和高频分量 importance。总之,我们工作的主要贡献如下:- 我们提出了FreqSR,一种用于SISR的新型基于频率的框架,通过注入频率先验来提取多频率分量,从而高效地建模长程依赖并保留更多高频细节。- 我们设计了一个LFF,用于自适应地过滤不重要分量并捕获频域中的全局交互,以及一个HFF,用于增强高频表征以保留局部细节。- 我们提出了一种名为频率感知混合器(FAM)的即插即用浅层特征提取层,用于提升传统实践中的不足表征,为卷积层提供额外的精细细节。## 部分摘要### 基于CNN的架构基于CNN的方法(Dong等人,2014)擅长利用卷积核提取边缘、纹理等局部细节,但往往会产生大量伪影。ESPCN(Shi等人,2016)提出了一种亚像素卷积算子,实现了简单而有效的上采样。一种常见设计是堆叠大量相似的CNN块以扩大感受野并逐步优化表征(Lim等人,2017,Wei等人,2020,Ma等人,2021,Esmaeilzehi等人,2021,Liu等人,### 频率感知网络尽管SwinIR(Liang等人,2021)以相对较低的开销实现了卓越的性能,但它存在一些缺陷。首先,感受野有限。其次,损失景观(见图1)是非凸的,干扰了模型的优化。第三,由于低通滤波器的特性,它没有关注高频分量。基于这些观察,我们提出的FreqSR同时结合了全局感受野和频率特性。### 数据集与实现数据集。遵循前人工作(Liang等人,2021,X. Chen等人,2023),我们使用DIV2K(Timofte等人,2017)作为训练数据集,并使用一系列经典基准作为测试数据集,如Set5(Bevilacqua等人,2012)、Set14(Zeyde等人,2012)、BSD100(Martin等人,2001)、Urban100(Huang等人,2015)和Manga109(Matsui等人,2017)。此外,性能比较通过峰值信噪比(PSNR)和结构相似性(SSIM)进行。### 结论在本文中,我们提出了一种名为FreqSR的新型SISR模型,该模型引入了频率先验来利用多频率分量以增强特征表征。具体来说,低频滤波器(LFF)层自适应地抑制无信息频率分量并允许更长的带宽,从而为低频区域恢复更令人满意的结果。高频滤波器(HFF)层通过自适应方式改进了前方法中细节不足的问题。### CRediT作者贡献声明**Jun Tang:** 撰写——审阅与编辑,撰写——原稿,可视化,验证,软件,资源,项目管理,方法论,调查,经费获取,形式化分析,数据整理,概念化。**Linlin Liu:** 撰写——审阅与编辑,软件,调查。**Yifan Wang:** 撰写——审阅与编辑,软件,形式化分析。**Yize Wang:** 撰写——审阅与编辑,调查,形式化分析。**Zhen Xu:** 撰写——审阅与编辑,软件,## 利益冲突声明作者声明他们没有已知的竞争经济利益或个人关系,这些关系可能会影响本文报告的工作。Jun Tang | Linlin Liu | Yifan Wang | Yize Wang | Zhen Xu | Qing Yu | Yong Ding
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号