WavSR：基于小波子带引导的单幅图像超分辨率重建方法

《Digital Signal Processing》：WavSR: Wavelet Subband-Guided Image Signal Reconstruction for Single Image Super-Resolution

　　摘要
单图像超分辨率重建（SISR）属于一个病态的逆向图像信号重建问题，因为多个高分辨率信号可能对应同一个低分辨率观测值。像素域回归直接优化最终图像，但会将低频结构与方向性高频细节混为一谈。我们将SISR转化为小波域子带信号重建问题，并提出了基于Haar离散小波变换的WavSR重建框架。WavSR能够预测可解释的LL、LH、HL和HH子带信号，再通过固定的逆小波变换合成最终图像。其中LL用于表示近似信号，而LH、HL和HH则用于表示方向性高频残差信号。为提升结构一致性，该框架引入了低频引导的交叉注意力模块，利用LL特征指导高频子带重建。其优化目标综合考虑了最终域像素保真度、近似信号一致性、高频加权约束、动态子带平衡以及平坦区域的高频抑制效果。在Set5、Set14、BSD100、Urban100和DRealSR数据集上进行的统一控制×2实验中，WavSR的图像计数加权平均PSNR-Y值为36.895 dB，SSIM-Y值为0.9439。与相同实验条件下的仅像素域优化方法相比，完整的小波域优化可使PSNR-Y提高0.568 dB，SSIM-Y提高0.0054。进一步的目标准备实验与交互效应实验则明确了该框架的优势与局限性。总体而言，小波域约束与高频限制有助于实现可控的SISR重建，但对于长距离重复结构而言，该框架仍存在挑战。

引言
单图像超分辨率重建可视为一种病态的逆向图像信号重建问题。低分辨率观测值是由信息丢失的退化过程产生的，因此许多高分辨率信号可能对应同一个低分辨率输入[1]、[2]。这种不确定性在高频区域尤为明显，因为边缘、细微纹理、重复线条以及小型结构在这些区域往往会受到削弱或消失。因此，一个有效的SISR模型必须能够在恢复缺失信号成分的同时，保持与观测到的低频结构的一致性。

大多数基于学习的SISR方法都是在空间域或RGB域中重建高分辨率图像。早期的CNN模型证明了端到端回归方法的有效性[3]、[4]，而后来的残差网络、通道注意力机制以及Transformer模型则通过提升模型容量、促进特征复用以及增强长距离信息交互，进一步提升了重建质量[5]、[6]、[7]、[8]、[9]、[10]、[11]。尽管这些方法十分强大，但其输出结果往往是混合型的像素信号。在这种信号中，平滑的近似内容、物体轮廓、方向性边缘以及局部纹理会被共同优化，而这些元素实际上具有不同的信号特性和不同的重建难度。

像素域回归往往还会强化自然图像中的主导低频能量。诸如均方误差、L1损失和Charbonnier损失之类的以失真为导向的损失函数会惩罚像素级的偏差，但它们无法明确区分误差是由于近似信号不匹配、缺失水平或垂直细节，还是平坦区域出现类似伪影的高频响应所致。因此，高频细节可能会因平均处理而被削弱，而过度锐化则可能产生缺乏实际结构支撑的虚假信号。

离散小波变换为这一逆向问题提供了有效的信号处理框架。在一级Haar DWT中，图像会根据多分辨率分析原理被分解为LL、LH、HL和HH四个子带[12]。其中LL表示近似信号，而LH、HL和HH则用于捕捉方向性高频残差或细节信号。该变换是固定的、线性的，并且可以通过逆小波变换实现精确逆转换。这样一来，SISR就可以被表述为小波域子带信号重建问题：网络首先预测可解释的子带信号，再通过确定的逆变换合成高分辨率图像。

这种建模方式也改变了监督机制的作用对象。与让单个RGB网络尝试一次性恢复所有缺失成分不同，小波域预测直接对近似信号的一致性以及方向性细节的恢复施加约束。同时，跨频率交互也变得更为明确——由于边缘和纹理必须与物体的整体布局及亮度结构相一致，因此高频子带需要低频引导。如果没有这种引导，高频重建可能会导致空间位置偏移，或在平滑区域产生类似纹理的伪影。

我们提出了WavSR，这是一种基于小波子带引导的图像信号重建SISR框架。WavSR采用共享的U-Net架构，从当前重建状态以及上采样的低分辨率输入中提取多尺度特征。该模型的输出是在Haar小波子带空间中定义的：LL分支负责预测近似信号，三个高频分支则分别预测LH、HL和HH方向性细节信号。随后，一个低频引导的交叉注意力模块会利用LL特征作为结构参考，辅助高频重建，在通过逆小波变换合成最终的RGB图像之前实现跨频率信号交互。

该框架的优化目标同样具有频率意识。像素损失函数用于确保最终图像的保真度，LL损失函数则用来约束近似信号，高频损失函数则强调真实的边缘和细节系数，动态子带平衡功能则用于调整不同子带的尺度，而平坦区域抑制机制则旨在减少平滑区域出现类似伪影的高频响应。实验首先对整个优化目标进行整体评估，然后再分别分析小波域监督、频率感知优化以及跨频率交互各自的作用效果。

本文的主要贡献如下：
•我们将标准的×2 SISR问题建模为小波域子带信号重建问题，并实现了WavSR框架，该框架可在固定Haar逆小波变换之前预测LL、LH、HL和HH子带信号。
•我们提出了低频引导的高频交叉注意力机制，利用LL近似特征来指导方向性高频子带的重建。
•我们设计了一种具有频率感知能力的优化目标，该目标综合了最终域保真度、近似信号一致性、高频信号强调、子带尺度平衡以及平坦区域高频控制等多方面因素。
•通过统一的×2和×4控制实验，结合目标层与交互层层面的消融实验以及Urban100数据集上的测试，我们分析了所提框架的有效性与局限性。

片段摘录
基于学习的单图像超分辨率重建
基于学习的SISR方法通过利用从图像数据中学习得到的先验知识，从低分辨率观测值中估计出高分辨率信号。SRCNN提出了从上采样后的低分辨率图像到高分辨率输出的端到端CNN映射结构[3]，而VDSR则通过使用更深层的残差网络提升了重建的稳定性[4]。此外，ESPcn中的亚像素卷积[13]、LapSRN中的渐进式拉普拉斯重建[14]、IDN中的信息蒸馏技术[15]以及多分支特征融合方法[16]等高效重建技术也为该领域的发展做出了贡献。

问题建模
给定一张低分辨率图像ILR∈RH×W×C以及一个缩放因子s，SISR的目标是重建一张与参考高分辨率图像IHR极为相似的高分辨率图像ISR∈RsH×sW×C。本文的主要研究内容集中在×2超分辨率问题上，因此除非另有说明，否则默认s=2。第5.3节将介绍控制式的固定比例×4扩展方案。在我们的实验中，低分辨率图像是通过可控的退化过程由高分辨率图像生成的。这类通用退化模型可以表示为：ILR=Q((IHR*k)↓s)+n，其中k为模糊参数。

训练数据与测试数据集
训练数据来源于LSDIR和Unsplash平台上的高质量图像。LSDIR拥有大量内容丰富且图像质量稳定的自然场景图像，而Unsplash则提供了更多类型的照片，包括室内场景、户外景观、建筑物、各种物体、人物、植物以及精细的纹理图像。将这两类数据源结合使用，能够进一步提升训练过程中所观察到的结构多样性和高频模式多样性。后续用于验证的LSDIR测试图像也是从这些数据集中选取的。

公共数据集上的定量测试结果
表4展示了WavSR在五个测试数据集上的×2超分辨率重建效果。在当前实验条件下，Set5和DRealSR属于最容易处理的案例：Set5的PSNR-Y值为42.615 dB，SSIM-Y值为0.9822；DRealSR的PSNR-Y值为47.483 dB，SSIM-Y值为0.9910。Urban100则是最具挑战性的数据集，其PSNR-Y值为30.250 dB，SSIM-Y值为0.9165，这是因为该数据集中的许多图像都包含重复结构以及对方向敏感的图案。

数据集层面的测试结果与图像内容特征是一致的。Set5中的物体轮廓十分清晰……

讨论
实验结果支持使用DWT子带建模方法来实现可控的SISR重建，不过虽然LL属于近似子带，而LH、HL和HH属于细节子带这一事实本身并不构成一项独立的创新点。本文的真正贡献在于将这种子带分解方式作为明确的预测目标与优化信号，融入到所提出的重建框架之中。这样的设计使得网络不会将所有的重建错误都视为同一类型的RGB像素错误。

结论
本文提出了WavSR，这是一种基于小波子带引导的框架，它将SISR问题转化为在Haar小波子带空间中的图像信号重建任务。与直接预测RGB图像不同，WavSR首先预测LL、LH、HL和HH四个子带信号，再通过固定的逆小波变换合成最终图像。其中LL分支负责估计近似信号，而高频分支则用于估计方向性细节信号。最后，低频引导的交叉注意力机制进一步将这些组件相互关联起来……

RediT作者贡献声明
兰新淼：概念设计、方法论构建、软件实现、验证分析、形式化推理、研究实施、数据整理、初稿撰写、审稿与编辑工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

兰新淼
中国合肥工业大学