综述：图像修复中的深度学习：分类、综述与未来发展方向

《Neural Networks》：Deep learning for image inpainting: A taxonomy, review, and future directions

　　

Jixiang Cheng|Yuan Wu|Liang Ge|Zhidan Li|Xiaoting Xiao

• •
  回顾了过去五年中图像修复技术的发展进展。
• •
  按照任务类型、策略和生成模型对图像修复方法进行了分类。
• •
  提供了53种开源图像修复方法的索引及代码链接。
• •
  整理了常用的数据集、损失函数和评估指标。
• •
  在Places2数据集上对代表性方法进行了定性及定量评估。

引言

图像修复是计算机视觉领域中的重要任务，它涉及重建图像或视频中缺失或损坏的区域，以及去除特定物体。这项技术起源于中世纪的艺术家们，他们致力于修复有裂缝或污染的绘画等艺术品，使其恢复到原来的状态。这一过程在很大程度上依赖于艺术家的经验和视觉感知，往往受到主观因素的影响。如图1所示，图像修复被广泛应用于人脸图像（Zhan等人，2024年；Zhao等人，2024年）、自然图像、卫星遥感、医学成像（Basaran等人，2023年；Magonov等人，2024年）、高光谱图像（Ding等人）、文化遗产（Sun等人，2024a年）以及文本图像（Mao等人，2025年）等领域。此外，它还广泛用于公共安全（Baek等人，2024年）、电力系统、法医分析以及环境保护等方面。同时，它也推动了相关领域的研究，如图像超分辨率处理（El Hakimi和Wesarg，2013年）以及图像压缩技术（Xiong等人，2010年），使得图像修复成为计算机视觉领域的重要研究方向。

然而，在实际应用中，图像修复面临着诸多挑战。首先，图像之间颜色和亮度的差异可能导致边缘模糊或纹理失真，因此需要仔细保留边缘和纹理信息。其次，图像常常会受到采集噪声（如高斯噪声）或失真现象（如运动模糊）的影响，从而导致结构细节的丧失。因此，图像修复算法必须能够有效处理这类退化问题。对于大规模图像修复而言，保持全局结构与上下文一致性至关重要。图像本身的复杂性，如结构多样性以及噪声的不确定性，再加上人类视觉感知的主观性，使得图像修复成为一项没有绝对最优解决方案的挑战性任务。此外，现有的方法会根据数据类型和应用场景的不同而存在很大差异。因此，对这些方法进行系统性梳理对于指导未来的研究具有重要意义。

有一些研究人员从不同角度对图像修复的技术进展进行了总结（Elharrouss等人，2020年；Fan等人，2020年；Li等人，2021年；Qiang等人，2019年；Qin等人，2021b年；Zhang等人，2023年）。不过，这些综述存在一些局限性，比如文献覆盖范围有限、分析不够深入，以及对各种方法的分类逻辑不够清晰。大多数关于基于深度学习的图像修复方法的综述（Elharrouss等人，2020年；Guillemot和Le Meur，2013年；Jam等人，2021年；Zhang等人，2023年）都将方法分为三类：卷积自编码器、生成对抗网络以及循环神经网络。2023年，Xiang等人从修复策略、网络结构以及损失函数三个角度对图像修复技术进行了分类。Qin等人（2021b年）则从生成网络模型出发，将基于深度学习的图像修复方法分为单一型图像修复方法、渐进式图像修复方法以及基于先验知识的图像修复方法。这些主要基于模型架构的分类方式，未能对各种方法在技术思路上的创新之处进行系统分析。此外，随着深度学习的不断发展，出现了基于Transformer架构和扩散模型的图像修复方法，但现有的综述很少涉及这些新进展。

为了解决现有综述的不足，本文为未来的研究者提供了更为全面的图像修复综述。图2展示了2014年至2025年7月间关于基于深度学习的图像修复方法的文章统计分析结果。这些数据来自Web of Science数据库，涵盖了包含“图像修复”和“深度学习”关键词的会议论文和期刊文章。在此期间共发表了1,124篇相关文章。基于这些研究结果，本文对过去5年中基于深度学习的图像修复方法进行了系统而全面的分析，重点研究了它们的核心流程与技术方法。本研究不仅涵盖了图像修复领域中具有开创性且被大量引用的研究成果，还包括了顶级会议和权威期刊中报道的最新进展。

本文的其余部分结构如下：第2节介绍了基于深度学习的图像修复方法的分类体系。第3节和第4节从多个角度分析了单一型与多元型图像修复方法，第5节介绍了常用的图像数据集和掩码数据集。第6节总结了常见的损失函数。第7节概述了图像修复方法的评估方式。第8节展示了单一型与多元型图像修复中典型方法的实验结果。第9节对全文进行了总结，并指出了基于深度学习的图像修复领域面临的挑战以及未来的研究方向。

章节要点

分类体系

如图3所示，基于深度学习的图像修复方法可以根据三个标准进行分类：修复类型、策略以及生成模型。根据修复类型，这些方法可分为单一型图像修复和多元型图像修复。按照修复策略，图像修复又可划分为端到端图像修复、两阶段图像修复以及渐进式图像修复。在深度生成模型方面

单一型图像修复

单一型图像修复能够在不同条件下为相同的受损图像生成一致的修复结果，因此非常适合那些需要高度一致性和可预测性的应用场景。随着深度学习的不断发展，单一型图像修复的质量也有了显著提升。图4展示了2020年至2025年7月间典型的单一型图像修复方法，包括它们的分类体系以及发展历程。表1则总结了其中一些方法的特征及对应的代码链接。

多元型图像修复

单一型图像修复侧重于利用周围图像信息来重建缺失的内容，从而产生一个确定的修复结果。然而，在现实世界的图像修复任务中往往存在不确定性，单一的修复结果可能无法满足实际需求。这就促使人们开发出了多元型图像修复技术，该技术能够生成多种合理的修复结果，以应对图像中的不确定性和模糊性，从而满足不同的应用需求。图8展示了多元型图像修复的原理

数据集

大规模数据集对于训练、优化以及评估基于深度学习的图像修复模型来说至关重要。在基于深度学习的图像修复研究中，研究人员会使用自行构建的或公开可用的图像数据集，再结合掩码数据集或掩码生成算法，来生成用于研究的受损图像。常用的图像修复数据集包括图像数据集和掩码数据集。图像数据集通常涵盖自然场景、街道景观、建筑物、人脸、纹理等内容

损失函数

损失函数在深度学习模型的训练过程中起着至关重要的作用，它有助于引导模型的优化过程。在图像修复任务中，损失函数用于量化修复后的图像与真实图像之间的差异。由于图像修复需要根据提取的特征来重建缺失的像素，同时还要满足特定的修复要求，因此需要设计合适的损失函数。基于深度学习的图像修复方法通常会结合多种损失函数使用。根据不同维度，损失函数可以分为

评估指标

评估指标通过衡量修复后图像的质量，来评价图像修复模型在实际应用中的性能。与损失函数不同，损失函数是在模型训练过程中通过量化预测结果与真实值之间的误差来优化模型的，而评估指标并不参与参数的更新。图像修复的评估指标可分为主观感知类和客观定量类，如图15所示。

代表性方法的性能比较

随着深度学习技术的不断进步，图像修复技术在学术界和工业界都得到了广泛的认可。通过对这些方法进行评估和比较，可以深入了解该领域的最新发展动态。基于前述的数据集和评估指标，我们在Places2数据集上对一些最具代表性的最新图像修复方法进行了测试。单一型图像修复的定性分析结果如图16所示，定量分析结果则列在表5中。在这些方法中，DIFAI Yoon

结论与未来工作

深度学习极大地推动了图像修复技术的发展，使其在各种应用场景中都能展现出更出色的性能。前面的章节分别介绍了基于深度学习的图像修复技术的发展进展，包括各种修复策略（如第3节和第4节中的单一型与多元型方法）、数据集（第5节）、损失函数（第6节）、评估指标（第7节）以及部分方法的对比分析（第8节）。不过需要指出的是，由于某些依赖项存在版本冲突

CRediT作者贡献说明

Jixiang Cheng：撰写——综述与编辑，概念构思。 Yuan Wu：撰写——初稿。 Liang Ge：监督指导。 Zhidan Li：研究工作。 Xiaoting Xiao：结果可视化。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。