SoFoNO：基于Sobolev傅里叶神经算子的任意尺度图像超分辨率重建

《Neurocomputing》：SoFoNO: Arbitrary-scale image super-resolution via Sobolev Fourier neural operator

针对单图像超分辨率（SISR）任务中细节纹理重建不准确、图像过于平滑的挑战，研究人员提出了Sobolev傅里叶神经算子（SoFoNO）。该框架通过可学习的Sobolev指数在频域捕捉细节结构，并创新性地将学习到的指数作为导数阶参数融入Sobolev损失函数，实现了更精确、视觉一致性更强的重建。实验表明，SoFoNO在任意尺度超分辨率（ASSR）任务中性能优异，且无需依赖注意力机制，显著降低了计算成本。

　　

在数字图像处理领域，如何让一张低分辨率（LR）的模糊照片变得清晰锐利，一直是一个充满挑战的课题。这项被称为单图像超分辨率（SISR）的技术，不仅在日常生活中对于修复老照片、提升视频画质至关重要，更在医疗诊断（如增强CT、MRI图像的清晰度）、卫星遥感（如提高地理环境监测数据的精确度）以及安防监控等专业领域发挥着不可替代的作用。然而，传统的超分辨率模型往往只能针对特定的放大倍数（如2倍、4倍）进行训练，一旦需要不同的放大尺度，就得重新训练模型，这无疑是非常低效的。此外，尽管深度学习模型性能卓越，但重建结果常常丢失高频细节，导致图像边缘模糊、纹理不真实，难以满足实际应用中对精细度的苛刻要求。

为了突破这些瓶颈，来自韩国浦项科技大学（POSTECH）人工智能研究生院的Jong Kwon Oh、Hwijae Son、Hyung Ju Hwang和Jihyong Oh研究团队，在《Neurocomputing》上发表了一项创新性研究，提出了一种名为Sobolev傅里叶神经算子（SoFoNO）的新框架，旨在实现高效、高质量的任意尺度图像超分辨率（ASSR）。这项研究的核心在于巧妙地融合了Sobolev空间的数学理论和傅里叶频域分析，让神经网络能够自适应地学习并重建图像中从粗到细的各频段信息。

为了开展这项研究，研究人员主要运用了几项关键技术方法。首先，他们构建了SoFoNO模型架构，其核心是包含局部分支（Local Branch）和Sobolev分支（Sobolev Branch）的SoFoNO块，通过交叉混合（Cross-Mixing）机制整合空间和频域特征。其次，创新性地引入了基于Bessel势空间的Sobolev变换，利用快速傅里叶变换（FFT）及其逆变换（IFFT）在频域内通过可学习的Sobolev指数（s）自适应地调制频率成分的权重。第三，设计了一种新颖的Sobolev损失函数，将学习到的s指数作为导数阶参数，与传统的L₁损失结合，共同指导模型优化。实验部分采用了DIV2K数据集进行训练，并在Set5、Set14、B100、Urban100等多个标准基准数据集上进行了广泛评估，同时还将模型应用于来自Kaggle的脑部CT肿瘤影像医学数据集以验证其泛化能力。性能评估指标包括峰值信噪比（PSNR）、结构相似性（SSIM）和学习感知图像块相似度（LPIPS）。

1. 引言

研究指出，现有SISR方法，特别是固定尺度超分辨率（FSSR）和部分任意尺度超分辨率（ASSR）方法，存在对高频细节重建不足、模型灵活性差以及依赖计算复杂的注意力机制等问题。SoFoNO的提出，正是为了在不使用注意力机制的前提下，通过频域操作和可学习的平滑度控制来解决这些挑战。

2. 相关研究

综述了SISR和ASSR的发展，指出了从早期CNN模型（如SRCNN、EDSR）到近期隐式神经表示（如LIIF）、频率域方法（如FourierSR）以及基于注意力的模型（如SRNO）的演进趋势。同时介绍了Sobolev训练在物理信息神经网络（PINNs）等领域成功应用的理论基础，为SoFoNO提供了方法论上的借鉴。

3. 研究方法

3.1. 动机

研究团队受数值分析中导数近似方法的启发，为了突破整数阶导数的限制，采用了基于Bessel势空间的变换公式，使得Sobolev指数s可以是任意实数，从而实现对频率成分更精细、自适应的控制。当s为负时，强调低频，产生平滑效果；当s为正时，增强高频，有助于恢复锐利细节。

3.2. SoFoNO架构

SoFoNO的整体流程包括编码器（Encoder）、局部集成（Local Ensemble）、多个SoFoNO块（SoFoNO Blocks）和解码器（Decoder）。编码器将LR图像映射到高维特征空间；局部集成模块根据任意尺度因子和HR坐标对特征进行上采样；核心的SoFoNO块并行处理局部空间信息和基于Sobolev变换的频域信息，并通过交叉混合模块（结合自适应实例归一化AdaIN）有效融合；最后，解码器重建出高分辨率图像。

3.3. 损失函数

总损失函数由标准的L₁损失和新提出的Sobolev损失加权和构成。Sobolev损失直接在频域计算预测图像与真实图像经过Sobolev变换后的差异，确保了模型在频率域的重建质量。

4. 实验结果

4.2. 定量比较

在DIV2K、Set5、Set14、B100、Urban100等数据集上的实验结果表明，SoFoNO在多种尺度因子（包括尺度内和尺度外）下，其PSNR和SSIM指标均优于或可与代表性的先进方法（如LIIF、LTE、SRNO、GaussianSR）相媲美。

4.3. 定性比较

视觉结果对比显示，SoFoNO能够更好地重建复杂的纹理和边缘细节，例如Urban100数据集中的建筑立面条纹、Set14中的桌布图案等，其重建结果在视觉上更接近真实图像，伪影更少。

4.4. 复杂度比较

与同类方法相比，SoFoNO在模型参数量（2.0 M）、计算量（GFLOPs）相近的情况下，实现了更快的推理速度（5.4 ms）和更低的内存占用（9.2 GB），展现了其优异的计算效率。

4.5. 极端尺度超分辨率

即使在极具挑战性的极端放大尺度（如30倍）下，SoFoNO依然能够保持较好的重建效果，显著优于对比方法，证明了其强大的泛化能力和鲁棒性。

4.6. 在医学影像中的应用

将SoFoNO应用于脑部CT肿瘤图像的超分辨率任务，结果显示其能有效增强肿瘤边界的清晰度，在PSNR、SSIM和LPIPS指标上均取得优势，表明了该方法在临床影像辅助诊断中的潜在应用价值。

4.7. 消融实验

通过系统的消融实验验证了各个组件的必要性：Sobolev损失函数（尤其是权重λ_s=1时）对性能提升有显著贡献；将Sobolev指数s设置为可学习参数比固定值能获得更好且更稳定的性能；SoFoNO块中的局部分支、Sobolev分支和交叉混合模块均为有效设计，缺一不可；增加SoFoNO块的数量（如N=3）能进一步提升模型性能。

5. 讨论

5.1. 频谱偏差（Spectral Bias）

研究发现，在训练过程中，SoFoNO块中的可学习参数s会从初始的负值（偏向低频）逐渐增大为正值（偏向高频）。这一动态变化与神经网络的频谱偏差现象（即网络倾向于先学习低频成分，再学习高频成分）相吻合，说明SoFoNO能够自适应地调整其学习焦点，从而更有效地学习图像的复杂细节。

5.2. 频域解释

对重建图像进行频域分析发现，当s为最小值时，频谱能量集中在中心（低频区域）；当s为最大值时，频谱能量向外围扩散（高频区域）；而训练收敛后的模型则呈现出一种平衡的频谱分布。这直观地证明了SoFoNO通过调控s指数，实现了对图像不同频率成分的有效学习和重建。

6. 结论

本研究成功提出了SoFoNO框架，用于解决任意尺度图像超分辨率问题。通过将Sobolev空间的数学理论与傅里叶神经算子相结合，并引入可学习的Sobolev指数及其相应的损失函数，SoFoNO能够在无需注意力机制的情况下，高效、高质量地重建图像的高频细节和复杂纹理。大量实验证明了该方法的优越性、高效性和良好的泛化能力，特别是在极端尺度和医学影像等挑战性场景下表现突出。这项工作为图像超分辨率领域提供了一种新颖且强大的解决方案，并展示了数学理论与深度学习模型融合的巨大潜力。