F-MDM：基于特征图的泊松-高斯混合扩散模型重新审视图像去噪方法

《Journal of Visual Communication and Image Representation》：F-MDM: Rethinking image denoising with a feature map-based Poisson-Gaussian mixture diffusion model

本文提出一种基于特征映射的泊松-高斯混合扩散模型，用于解决传统去噪算法在真实场景中表现不佳的问题。该方法通过引入浅层VGG-16特征图作为训练数据，增强模型泛化能力，并创新性地将泊松噪声融入高斯噪声的扩散过程，以更复杂多变的噪声模拟真实场景，显著提升去噪效果。

　　图像去噪是计算机视觉领域中的一个重要课题，主要目标是通过去除图像中的噪声，恢复图像的原始信息，提高图像的质量和清晰度。噪声在图像处理过程中不可避免，它可能来源于图像采集设备、传输过程中的干扰，或是环境因素的影响。因此，研究有效的去噪方法对于提升图像处理技术的整体水平具有重要意义。

在图像处理中，噪声通常被分为几种类型，其中最为常见的是高斯噪声和泊松噪声。高斯噪声是一种加性噪声，其概率分布是连续的，通常由图像传感器、传输通道或电子电路等外部因素引起。这种噪声的特点是它与图像信号本身无关，每个像素点的噪声分布都相同，且噪声的幅度服从高斯分布。因此，高斯噪声对图像的影响通常是整体性的，表现为图像中出现模糊、亮度不均匀等现象，但不会对图像的局部细节产生显著干扰。

相比之下，泊松噪声则与图像的信号强度密切相关，主要来源于光子到达的随机性以及图像传感器的量子特性。在图像采集过程中，光子的到达遵循泊松分布，当光子数量较少时，这种随机性会更加明显，从而在图像中表现为明显的噪声。泊松噪声对图像的影响通常是局部性的，它会破坏图像的细节和对比度，使得图像在某些区域显得不清晰或失真。因此，泊松噪声对图像质量的影响更为复杂，需要专门的去噪策略来应对。

由于实际场景中的噪声往往是多种类型的混合，例如高斯噪声和泊松噪声同时存在，因此，单一类型的噪声模型可能无法准确反映现实情况。为了更好地模拟真实噪声，研究者提出了泊松-高斯混合噪声的概念。这种混合噪声结合了高斯噪声和泊松噪声的特性，既考虑了与信号相关的噪声成分，也包含了与信号无关的加性噪声成分，从而能够更全面地反映图像在实际应用中可能遇到的噪声情况。

在传统的图像去噪方法中，许多技术依赖于数学理论和人工经验，例如基于稀疏表示的去噪方法。这些方法通常通过分析图像的局部结构，利用图像的自相似性或稀疏性进行噪声去除。其中，BM3D是一种经典的基于3D数据和稀疏表示的去噪方法，它通过将图像块进行三维变换，提取其稀疏表示，并利用这些表示进行去噪。NCSR则进一步优化了稀疏表示的使用，通过非局部自相似性来提高去噪效果。尽管这些传统方法在合成噪声的去除上表现良好，但在处理真实场景中的复杂噪声时，往往存在一定的局限性。

近年来，随着深度学习技术的发展，基于学习的方法在图像去噪领域取得了显著进展。这些方法通常依赖于大量的数据进行训练，以学习噪声的特征并提高去噪效果。例如，DnCNN通过深度卷积神经网络，利用噪声与干净图像之间的差异进行训练，从而实现高效的去噪。FFDNet则引入了不同噪声水平的输入，使得网络能够更好地适应各种噪声条件。此外，DANet、DeamNet和SUNet等模型也在不同场景下展现出优异的去噪性能。然而，这些方法在训练过程中往往依赖于合成数据或真实数据对，而合成数据可能无法完全反映真实噪声的分布，导致模型在实际应用中的泛化能力受限。同时，使用真实数据对训练的模型可能对特定数据集产生依赖，影响其在不同场景下的适用性。

为了克服传统方法和现有学习方法在处理复杂噪声时的局限性，研究者开始探索新的去噪框架，其中扩散模型成为一种备受关注的方法。扩散模型通过一个正向扩散过程和一个逆向扩散过程来实现图像去噪。在正向扩散过程中，原始的干净图像被逐步添加高斯噪声，最终变成一个独立的高斯分布。在逆向扩散过程中，网络通过逐步去除噪声，将图像恢复为干净的状态。这种模型的优势在于其可以使用未配对的数据集进行训练，即只需要干净的图像，而无需对应的噪声图像。此外，扩散模型的理论基础也较为扎实，能够提供较为稳定的去噪效果。

然而，现有的扩散模型主要关注高斯噪声的去除，对于泊松噪声的处理仍然存在一定的不足。在实际应用中，许多图像噪声不仅包含高斯成分，还可能包含泊松成分，因此，仅依赖高斯噪声的扩散模型可能无法充分适应复杂噪声环境。为了提高模型的泛化能力和去噪效果，研究者提出了泊松-高斯混合噪声的扩散模型，即在传统的扩散模型基础上，引入泊松噪声的处理机制，以更好地应对真实场景中的噪声问题。

本文提出了一种基于特征图的泊松-高斯混合噪声扩散模型，旨在解决现有方法在处理复杂噪声时的局限性。该模型包含两个关键点：第一，为了构建一个更具代表性和泛化能力的训练数据集，本文引入了真实图像和几何图像，并利用VGG-16网络的浅层特征图作为训练数据。VGG-16是一种经典的卷积神经网络模型，其在图像分类任务中表现出色。通过提取VGG-16的浅层特征图，本文可以利用这些特征图作为训练数据，从而为模型提供更丰富的场景先验信息。第二，考虑到大多数实际噪声包含高斯和泊松成分，本文在传统的扩散模型推理过程中引入了泊松噪声，以增强模型对复杂噪声的处理能力。这种混合噪声的引入使得模型能够更好地适应真实场景中的噪声分布，提高其在不同噪声条件下的去噪效果。

为了验证所提出方法的有效性，本文在多个不同场景类型的测试数据集上进行了实验。这些数据集包括SIDD、PolyU、RNI、FMD和BSD500等。其中，SIDD数据集包含了来自五款代表性智能手机的30,000对噪声和干净图像，覆盖了多种不同的场景和光照条件。通过使用SIDD数据集的较小版本，即包含160对噪声-干净图像的数据集，本文提取了VGG-16网络的浅层特征图作为训练数据，并在这些数据集上进行了实验评估。实验结果表明，基于特征图的泊松-高斯混合噪声扩散模型在多个数据集上均取得了优异的去噪效果，显示出良好的泛化能力和适应性。

此外，本文还对不同训练数据集的效果进行了比较分析。传统的训练数据集通常包括合成噪声-干净图像对或真实噪声-干净图像对，而本文提出的方法则利用了VGG-16的浅层特征图作为训练数据。这种训练数据集的优势在于它能够提供更多的场景先验信息，使得模型在不同噪声条件下都能表现出良好的性能。同时，由于特征图是通过卷积神经网络提取的，它们能够捕捉到图像中的局部特征和全局结构，从而为模型提供更丰富的信息。

在实验中，本文发现，基于特征图的训练数据集能够显著提升模型的去噪效果。这是因为特征图不仅包含了图像的基本结构信息，还能够反映不同场景下的噪声分布特征。通过使用这些特征图作为训练数据，模型可以更好地学习噪声的模式，并在去噪过程中更准确地估计和去除噪声。此外，本文还验证了在扩散模型中引入泊松噪声的有效性，发现这种混合噪声的引入能够提高模型在处理复杂噪声时的鲁棒性，使其在不同噪声条件下都能保持较高的去噪性能。

总的来说，本文提出的基于特征图的泊松-高斯混合噪声扩散模型在多个方面进行了创新。首先，它引入了新的训练数据集，利用VGG-16的浅层特征图来增强模型的泛化能力。其次，它在传统的扩散模型中引入了泊松噪声，以提高模型对复杂噪声的适应性。最后，实验结果表明，该模型在多个测试数据集上均取得了优异的去噪效果，展示了其在实际应用中的潜力。

本研究的贡献主要体现在以下几个方面：第一，本文首次提出利用深度神经网络的特征图作为图像去噪模型的训练数据，为模型提供了更多的场景先验信息，从而提高了其泛化能力。第二，本文创新性地将泊松噪声引入传统的扩散模型推理过程中，使得模型能够更好地适应实际场景中的复杂噪声分布。第三，本文在多个不同场景类型的测试数据集上取得了新的最优结果，验证了所提出方法的有效性和泛化能力。

通过本文的研究，我们希望能够为图像去噪领域提供一种新的思路和方法，即利用深度学习模型的特征图作为训练数据，并结合泊松和高斯噪声的混合模型，以提高模型在处理复杂噪声时的性能。这种方法不仅能够增强模型的泛化能力，还能够提高其在不同噪声条件下的适应性，从而为实际应用提供更可靠和高效的图像去噪解决方案。