用于图像超分辨率的渐进式特征聚合网络

《Neurocomputing》：Progressive feature aggregation network for image super-resolution

本文提出PFANet，一种渐进式特征聚合网络，通过自适应特征聚合模块融合小波卷积注意力和边缘保持估计，结合渐进跳转连接优化上下文关联，有效解决超分辨率任务中的计算成本高和特征融合不足问题，实验表明参数减少34%，性能提升0.12dB。

　　近年来，图像超分辨率（SISR）技术在低资源设备上的部署仍面临挑战，主要由于其较高的计算成本，尤其是在基于Transformer的自注意力（SA）方法中。这些方法通常具有低通滤波的特性，限制了其捕捉局部细节的能力，从而导致重建结果过于平滑。为了解决这一问题，本文提出了一种名为“渐进式特征聚合网络”（PFANet）的模型，旨在通过更高效的方式实现图像超分辨率，同时在保持细节特征的同时，降低计算负担。

PFANet的核心在于“自适应特征聚合模块”（AFAM）。该模块结合了两种不同的分支：一种是基于小波卷积注意力（WCA）的分支，另一种是基于边缘保持估计（EPE）的分支。WCA分支通过小波卷积扩展感受野，通过下采样获取低频信息，并利用全局方差计算对低频特征进行调制。这一过程使得网络能够有效捕捉图像中的非局部信息，从而提升图像的细节恢复能力。而EPE分支则通过深度可分离卷积和滤波器的重新参数化技术，增强对局部特征的提取和聚合，确保边缘等细节信息在重建过程中得以保留。

为了进一步加强WCA和EPE之间的互补性，PFANet还引入了一种“渐进式跳连”（Progressive Skip Connection，PSC）机制。PSC能够将网络中深层信息与浅层特征进行有效关联，实现特征的复用，从而提升整体的性能。这种设计不仅增强了网络对不同尺度特征的处理能力，还使得模型在保持高精度的同时，能够更高效地运行。

与现有的一些先进模型相比，PFANet在多个方面表现出显著的优势。例如，在与SwinIR-light的对比实验中，PFANet在五个公开测试集上平均提升了0.12 dB的性能，同时减少了约34%的模型参数。这表明PFANet在模型效率和性能之间找到了良好的平衡，使得其更适合在低资源设备上部署。此外，通过引入WCA和EPE的结合方式，PFANet能够同时处理图像中的非局部和局部信息，从而在超分辨率任务中取得更好的效果。

图像超分辨率技术的核心目标是通过低分辨率图像重建出高分辨率图像，从而提升图像的清晰度和细节。这一技术在多个领域具有广泛的应用，如数字摄影、卫星遥感、医学影像和监控系统等。在这些应用中，获取高分辨率图像可能面临成本高、时间长或设备限制等问题，而SISR技术则提供了一种有效的解决方案，即通过算法对低分辨率图像进行上采样，从而获得更高质量的图像。

传统方法在图像超分辨率任务中往往依赖于先验知识或插值算法，但由于这些方法难以有效处理图像中的复杂信息，导致其在实际应用中效果有限。随着深度学习的发展，许多研究引入了卷积神经网络（CNN）和注意力机制等技术，使得图像超分辨率的性能得到了显著提升。例如，SRCNN通过端到端的训练方式，将低分辨率图像直接转换为高分辨率图像，相比传统方法具有更高的效率和精度。后续的研究则进一步优化了CNN的结构，使其更深层次、更高效，并引入了注意力机制，以增强对图像中关键信息的捕捉能力。

然而，CNN的局限性在于其对非局部信息的捕捉能力较弱。由于CNN具有平移不变性和有限的感受野，使得其在处理图像中的复杂结构时表现不佳。为此，许多研究尝试通过增加网络的深度和宽度来提升性能，但这也带来了更高的计算成本。例如，RCAN模型具有超过400层和1559万个参数，虽然在图像恢复方面表现出色，但其计算负担较大，难以在低资源设备上部署。

为了解决这一问题，近年来的研究重点转向了构建轻量级模型，以减少参数和计算复杂度。例如，ShuffleMixer通过大核卷积和通道分割的方式，有效降低了模型的复杂度。而Vision Transformers（ViT）则在处理非局部信息方面表现出色，其自注意力机制能够捕捉图像中的全局依赖关系。然而，ViT的计算复杂度随着图像尺寸的增长而呈二次方增长，导致其在大规模图像处理中效率较低。为了降低ViT的计算成本，一些研究提出了窗口自注意力、转置自注意力和参数复用等技术，但这些方法仍然需要较长的训练时间，且在图像恢复效果上存在一定的局限。

基于上述研究的不足，本文提出了一种新的解决方案，即通过结合WCA和EPE的机制，构建一个能够同时处理非局部和局部信息的模型。该模型在结构设计上兼顾了计算效率和图像质量，使得其在低资源设备上的应用成为可能。此外，通过引入渐进式跳连机制，PFANet能够在不同层级之间建立有效的联系，从而提升整体的性能。

在具体实现中，PFANet的结构包括多个模块，其中AFAM模块是关键。AFAM模块由WCA和EPE两个分支组成，分别负责捕捉非局部信息和局部细节。WCA分支通过小波卷积扩展感受野，从而获取图像中的低频信息。这些低频信息在图像恢复过程中起到重要作用，因为它能够提供整体的结构和轮廓。通过计算全局方差，WCA分支对低频特征进行调制，从而增强其对图像整体结构的感知能力。

EPE分支则专注于局部细节的提取和聚合。通过深度可分离卷积和滤波器的重新参数化，EPE分支能够在不增加过多计算负担的情况下，有效捕捉图像中的边缘和纹理信息。这种设计使得PFANet能够在处理局部特征时保持较高的精度，同时避免因过度平滑而导致的细节丢失问题。

为了进一步提升模型的性能，PFANet还引入了渐进式跳连机制。该机制通过在不同层级之间建立连接，使得模型能够利用深层信息来增强浅层特征的表达能力。这种设计不仅提高了模型的效率，还增强了其对图像不同尺度信息的处理能力，从而提升了整体的超分辨率效果。

在实验方面，本文对PFANet进行了全面的评估。实验结果表明，PFANet在多个公开数据集上取得了良好的性能，同时在参数数量和计算成本方面也表现优异。与SwinIR-light相比，PFANet在五个公开测试集上平均提升了0.12 dB的性能，同时减少了约34%的模型参数。这一结果表明，PFANet在保持高精度的同时，能够有效降低计算负担，使其更适合在低资源设备上部署。

此外，本文还对PFANet的不同变体进行了比较实验，以验证其在不同场景下的适用性。实验结果表明，PFANet在不同尺度的图像处理中均表现出良好的性能，且在不同的训练配置下也能够保持较高的准确率。这表明PFANet不仅适用于标准的图像超分辨率任务，还能够适应不同的应用场景和需求。

在实际应用中，PFANet的优势在于其能够在保持高精度的同时，降低计算成本。这使得其在资源受限的设备上具有更大的应用潜力。例如，在移动设备、嵌入式系统或边缘计算设备中，PFANet能够提供高质量的图像超分辨率服务，同时不会对设备的性能造成过大的负担。此外，PFANet的模块化设计也使得其能够灵活适应不同的任务需求，例如在医学影像处理中，PFANet能够有效提升图像的清晰度和细节，从而帮助医生更准确地诊断疾病。

本文的研究不仅对图像超分辨率领域具有重要的理论价值，也对实际应用具有重要的指导意义。通过引入WCA和EPE的结合方式，PFANet能够在处理图像中的非局部和局部信息时取得更好的效果。同时，通过渐进式跳连机制，PFANet能够实现特征的复用和高效传递，从而提升整体的性能。这些创新点使得PFANet在图像超分辨率任务中具有较高的竞争力，同时也为后续的研究提供了新的思路和方法。

在未来的研究中，PFANet的结构和设计可以进一步优化，以适应更多的应用场景。例如，可以探索更高效的WCA和EPE实现方式，以进一步降低计算成本。同时，可以结合其他先进的深度学习技术，如图神经网络或生成对抗网络，以提升模型的性能和泛化能力。此外，PFANet的模块化设计也为其在多任务学习中的应用提供了可能性，例如可以将PFANet应用于图像去噪、图像修复等任务，从而实现更广泛的应用。

总之，PFANet的提出为图像超分辨率领域提供了一种新的解决方案，其在计算效率和图像质量之间找到了良好的平衡。通过结合WCA和EPE的机制，PFANet能够有效捕捉图像中的非局部和局部信息，从而提升图像的细节恢复能力。同时，通过渐进式跳连机制，PFANet能够实现特征的复用和高效传递，进一步提升整体的性能。这些创新点使得PFANet在图像超分辨率任务中具有较高的竞争力，同时也为后续的研究提供了新的思路和方法。