基于扩散与梯度正则化的保真度优化图像复原方法

《Engineering Applications of Artificial Intelligence》：Image restoration via optimizing fidelity with diffusion and gradient regularization

　　

摘要：去噪扩散模型在各种图像修复任务中取得了显著的成功。然而，大多数现有方法仅依赖于扩散先验，这在本质上限制了其表征能力和修复性能。为解决这一局限，我们提出了一种新颖的图像修复方法，通过扩散与梯度正则化来优化保真度（FDGR）。FDGR 通过整合扩散先验和梯度先验的互补优势，建立了一个零样本、参数化的修复框架。具体来说，通过引入非凸梯度正则化项，该方法有效抑制了伪影并保留了噪声干扰环境中的结构边缘，从而提高了图像的整体保真度。同时，我们将该正则化项扩展到频域，以增强全局纹理捕捉并改善感知自然度。FDGR 的核心在于通过一种多模式修复方案来解决结构保真度与感知自然度之间的权衡，分别优化这些目标。基于所提出的框架，我们提出了一种新颖的即插即用采样方法，该方法无需模型重新训练即可通过参数化调整适应多种场景的修复任务。在流行数据集上的广泛定性分析和定量实验表明，我们的方法的 G(+) 和 G(?) 模式分别在基于失真和基于感知的质量指标上取得了一般的优越结果。消融研究验证了所提出方法的有效性。我们的代码可在 https://github.com/Anonymous-CodeSub/FDGR 获取。

引言：图像修复问题在众多应用领域中普遍存在，包括计算机视觉、医学成像和遥感。由于图像获取、传输和存储过程中硬件性能的必然限制以及外部环境干扰，图像往往表现出多种质量退化形式，主要包括噪声污染（Buades 等人，2005b；Cheng 等人，2021）、图像模糊（Ma 等人，2025；Shan 等人，2008）和分辨率损失（Park 等人，2003）。这些问题本质上是高度不适定的逆问题，其核心目标是从退化观测值 y∈R^m 估计高质量图像 x∈R^n。图像的退化可以用以下数学模型表示：y = Ax + e，其中 A∈R^(m×n) 表示模拟退化过程的已知算子（如去模糊中的模糊核或图像超分辨率中的双三次下采样器），e～N(0,σ_e^2 I) 表示加性高斯噪声，用于建模真实图像中的不确定性或干扰。由于问题的不适定性，仅根据观测模型寻找一个拟合 y 的 x 不足以成功修复；因此，必须利用图像先验知识来约束解空间。传统的图像逆问题求解方法通常采用基于模型的优化框架，将物理驱动的退化建模与手工设计的先验约束相结合，构建变分正则化方案。例如，Tikhonov 正则化（Tikhonov 和 Arsenin，1977）通过二次正则化项稳定解。全变分（TV）最小化方法（Rudin 等人，1992；Cascarano 等人，2021；Ding 等人，2022）通过惩罚过度平滑来有效保留边缘特征。稀疏表示模型（Olshausen 和 Field，1996；Lee 等人，2006；Elad 和 Aharon，2006）通过稀疏假设实现重建。非局部方法（Dabov 等人，2007；Buades 等人，2005a）利用图像的自相似性来增强噪声抑制和修复性能。这类方法的数学表述通常归结为求解以下优化问题：x? = argmin_x (F(x,y) + λL(x))，其中 F(x,y) 表示数据保真项，L(x) 是体现图像先验知识的正则化项。尽管这些经典算法在理论基础方面可靠，但它们面临显著的性能限制：一方面，传统方法依赖于预定义的先验，对图像中的微观纹理特征和复杂几何结构表现出有限的重建能力；另一方面，在处理复杂图像退化时，它们往往产生次优结果。为了提高重建性能，提出了引导式（Wu 等人，2024）或联合式（Yang 等人，2024）修复方法，这些方法利用额外的引导图像来辅助修复。然而，引导图像并不总是可获取的。

随着深度学习的快速发展，基于神经网络的图像修复方法表现出了优越的性能。例如，基于卷积神经网络（CNN）的方法（Dong 等人，2016；Zhang 等人，2017；Ayyoubzadeh 和 Wu，2021）、Transformer（Liang 等人，2021；Huang 等人，2024；Zamir 等人，2022）和生成对抗网络（GAN）（Ouyang 等人，2024；Pan 等人，2021）。这些深度学习方法是监督学习方式，依赖于包含退化和真值图像对的大型数据集，使网络能够学习从低质量输入到高质量输出的非线性映射。近年来，去噪扩散模型（DDM）（Ho 等人，2020；J. Song 等人，2021；Y. Song 等人，2021）凭借其卓越的噪声建模和样本生成能力，成为生成建模中的主流技术。同样，基于此发展的条件扩散模型（Jian 等人，2024；Y. Zhang 等人，2025）在图像修复任务中也遵循监督学习策略。然而，这些方法存在明显的适应性不足，在遇到训练期间未见的退化类型或任务变体时，修复性能会显著下降。

为了更好地约束解空间并识别更内在、更鲁棒的图像约束机制，最近的一些尝试（Wang 等人，2023；Zhu 等人，2023；Garber 和 Tirer，2024）利用去噪先验，因为扩散模型具有强大的噪声建模能力。扩散模型的核心优势在于，它们可以以数据驱动的方式建模自然图像的分布，从而为图像修复提供强大的生成能力。然而，基于扩散先验的现有方法仍面临显著的理论挑战：扩散先验能够捕捉图像分布，但它们无法建模由图像梯度定义的结构和纹理。此外，现有方法无法进行有效的参数调整以应对实际应用中的复杂需求场景。

从内在图像特征的角度来看，现有研究（Gong 和 Sbalzarini，2016）表明空间梯度反映了图像的变化特征。具体而言，梯度表示图像像素之间的强度变化，能够有效捕捉边缘、纹理和轮廓等低级特征，从而在修复过程中提供额外的约束（Elibol 等人，2020）。此外，自然图像中梯度分布的稀疏性（von Oswald 等人，2021）和梯度信息的几何不变性（Ollivier 等人，2017）使其在处理多种退化方面具有更强的鲁棒性。基于这些观察，本文提出了 FDGR，一种新颖的参数化图像修复方法，该方法结合了扩散模型的强大去噪先验与梯度先验。我们的方法在保持扩散模型数据驱动生成能力的同时，通过梯度先验精确控制图像结构特征，从而实现高保真度修复。此外，为了协调基于失真和基于感知的质量指标，我们将所提出的梯度正则化方法扩展到频域，事实证明这能有效去除不真实的伪影并产生更高的感知质量。我们的方法实现的这种权衡如图 1 所示。这种参数化修复方法满足特定用户需求，并展示了更大的实际应用价值。我们在 CelebA-HQ 1K 和 ImageNet 1K 数据集上评估了我们的方法在流行逆问题上的表现。我们的主要贡献总结如下：

• 我们提出了一种新颖的图像修复方法，通过扩散与梯度正则化来优化保真度（FDGR）。除了扩散先验之外，FDGR 进一步在空间域和频域中整合了梯度先验，以实现更好的保真度和感知效果。

• 基于该模型，我们提出了一种高效的即插即用采样方法，该方法无需重新训练模型即可灵活适应各种修复任务，从而实现了在多种退化场景中的应用。

• 我们提出了一种参数化图像修复框架，整合了扩散先验和梯度先验的优势，实现了结构保真度和感知自然度的独立优化。通过双模式修复机制，它能够实现自适应调整以满足实践中特定任务的需求。

• 在流行数据集上的定量结果表明，我们的方法的 G(+) 和 G(?) 模式分别在基于失真和基于感知的指标上超越了现有方法。定性分析显示，修复图像在伪影减少和感知质量方面表现优异，从而验证了 FDGR 框架的优越性。

章节摘录

去噪扩散概率模型：去噪扩散概率模型（DDPM）（Ho 等人，2020）作为新兴的一类深度生成模型，通过学习数据分布的反向去噪过程，在高质量图像生成任务中实现了前所未有的性能。与传统的生成对抗网络和变分自编码器不同，扩散模型通过一系列马尔可夫链步骤渐进地建模复杂的数据分布，从而避免了训练不稳定和模式坍塌等问题。

方法：在本节中，我们对所提出的方法论进行详细阐述。与依赖配对训练数据的有监督基于扩散的修复方法（Saharia 等人，2023；Saharia 等人，2022；Li 等人，2022；Xia 等人，2023；Luo 等人，2025）不同，所提出的方法以零样本方式运行，不需要任何有监督训练。我们首先介绍所提出的包含扩散先验和梯度先验的图像修复模型。我们展示了……

实验：指标与数据集：为了评估所提出方法在图像修复中的性能，我们采用了四种指标，包括峰值信噪比（PSNR）和结构相似性指数（SSIM），用于评估重建图像与真值图像之间的像素级保真度和结构信息保持；以及学习的感知图像块相似性（LPIPS）（Zhang 等人，2018）和 Fréchet inception 距离（FID），用于衡量修复图像的感知和视觉质量……

结论：在本文中，我们提出了一种新颖的零样本图像修复方法 FDGR，它有效地结合了扩散先验和梯度先验的优势。与仅依赖扩散模型提供的扩散先验的现有方法不同，我们提出的模型进一步整合了非凸梯度先验。通过利用图像梯度的先验知识进行引导，它有效提高了图像修复质量。此外，我们将其扩展到频域，从而增强了……

CRediT 作者贡献声明：Jiaqi Zhang：撰写——初稿，软件，方法论，调查研究，概念化。Guo Yang：撰写——审阅与编辑，验证，数据管理。Zheng Pang：可视化，资源。Yao Zhu：调查研究，形式分析。Bingbing Gu：调查研究，形式分析。Yang Yang：撰写——审阅与编辑，验证，监督，方法论，资助获取，概念化。

利益冲突声明：作者声明他们不存在可能影响本文所报告工作的已知竞争财务利益或个人关系。

致谢：本工作得到了中国国家自然科学基金（批准号 61402205）和江苏大学（批准号 13JDG085）的支持。

Jiaqi Zhang | Guo Yang | Zheng Pang | Yao Zhu | Bingbing Gu | Yang Yang