基于频域特性的双分支图像去模糊方法

《Expert Systems with Applications》：Dual-branch image deblurring method based on frequency-domain awareness

本文提出基于频率感知的双分支图像去模糊方法，通过并行处理空间域与频率域特征并融合优化，有效提升复杂运动模糊图像的恢复质量，实验表明PSNR提升1.5%至32.75，SSIM提升0.42%至0.957。

　　图像去模糊技术是计算机视觉领域中的重要研究方向之一，其目标是通过算法手段从模糊图像中恢复出清晰、高质量的图像内容。随着深度学习技术的迅速发展，基于深度神经网络（DNN）的图像去模糊方法在近年来取得了显著进展。这些方法通常利用卷积神经网络（CNN）等结构，通过学习大量模糊图像与清晰图像对的数据，自动提取图像特征并进行去模糊处理。相比传统的基于物理模型的方法，深度学习方法具有更强的非线性建模能力，能够有效处理复杂、非均匀的模糊模式，从而提升去模糊效果的鲁棒性和泛化能力。

然而，现有的深度学习方法在处理单图像去模糊任务时仍然面临诸多挑战。一方面，大多数方法倾向于专注于单一领域的特征提取，例如仅使用空间域信息或频率域信息，这使得它们在同时处理图像细节恢复、噪声抑制以及多类型模糊处理方面存在局限。空间域方法通常依赖于卷积层逐层提取图像特征，并通过反卷积或上采样层恢复图像的清晰度。虽然这种方法能够增强图像的局部细节和边缘信息，但它往往忽略了频率域中的关键信息，导致高频细节的恢复能力不足。另一方面，频率域方法通常通过傅里叶变换或小波变换将图像转换到频率空间，从而提取和增强特定频率的特征。这类方法在恢复高频细节方面表现优异，但其转换过程较为复杂，同时对图像的空间上下文信息处理较为有限，容易导致图像结构的失真或信息的丢失。

为了克服上述问题，本文提出了一种基于频率域感知的双分支图像去模糊方法。该方法的核心思想是通过引入两个并行的分支，分别专注于空间域和频率域的信息处理，从而实现对图像特征的全面提取与融合。空间域分支采用了一种非线性、无需激活函数的特征提取模块（NAF），该模块能够以轻量级的方式提取图像的局部细节和纹理信息，同时避免了传统激活函数可能引入的冗余特征。频率域分支则利用了二维离散小波变换（2D-DWT）技术，通过对图像进行多尺度分解，提取不同频率层次的特征信息。这种方法不仅能够有效捕捉运动模糊中的复杂方向性变化，还能兼顾低频和高频信息的处理，从而提升去模糊的整体效果。

在双分支结构的基础上，本文还设计了一种分支驱动的融合机制，该机制在特征融合阶段为两个分支的特征分配不同的权重，并通过加权融合的方式将不同尺度的特征信息进行有效整合。这一融合策略不仅能够保留两个分支各自的特征优势，还能通过权重分配优化特征之间的交互，从而减少因频率信息融合不当而导致的伪影问题。此外，该方法在保持高去模糊性能的同时，显著降低了计算复杂度，使得其在实际应用中具有更高的可行性。

为了验证所提出方法的有效性，本文在GoPro数据集上进行了实验测试。GoPro数据集包含了大量运动模糊图像及其对应的清晰图像，是评估单图像去模糊算法性能的重要基准。实验结果显示，所提出的DFNet方法在峰值信噪比（PSNR）和结构相似性指数（SSIM）等关键指标上均优于当前主流的去模糊模型。具体而言，DFNet在PSNR指标上达到了32.75，相比基线模型提升了1.5%；在SSIM指标上达到了0.957，相比基线模型提升了0.42%。这些结果表明，DFNet在图像细节恢复和结构保持方面具有显著优势。

此外，本文还对DFNet的模型结构进行了详细阐述。该模型基于经典的U-Net架构，通过在瓶颈层和次顶层引入双分支结构，实现了对空间域和频率域信息的并行处理。在空间域分支中，采用非线性、无需激活函数的特征提取模块，使得模型在提取局部特征时更加高效且精准。而在频率域分支中，使用了二维离散小波变换技术，通过对图像进行多尺度分解，提取不同频率层次的特征信息。这种结构设计不仅提升了图像去模糊的效果，还保持了模型的计算效率。

在实验条件方面，本文的所有测试均在Linux服务器上进行，该服务器运行Ubuntu 22.04操作系统，并配备了RTX 4090 GPU和24 GB的内存。模型的训练和测试均基于PyTorch深度学习框架，以确保实验的可重复性和稳定性。GoPro数据集作为训练和测试的主要数据来源，包含了3,214对模糊图像和清晰图像，其中2,103对用于训练，1,111对用于测试。通过在该数据集上的训练，DFNet模型能够有效适应多种类型的运动模糊场景，并在实际应用中展现出良好的泛化能力。

综上所述，本文提出的DFNet方法通过双分支结构实现了对空间域和频率域信息的高效处理与融合，从而在保持计算效率的同时显著提升了图像去模糊的效果。实验结果表明，该方法在PSNR和SSIM等关键指标上均优于现有方法，显示出其在实际应用中的潜力。未来的研究可以进一步探索如何优化双分支结构的融合策略，以更好地处理不同类型的模糊模式，并拓展该方法在其他图像处理任务中的应用，如图像超分辨率和图像去噪等。此外，还可以考虑引入更先进的频率域处理技术，以进一步提升模型的性能和适应性。