基于感知感知的对比学习渐进式图像修复

《IEEE MultiMedia》：Perception-Aware Contrastive Learning-Based Progressive Image Inpainting

基于感知对比学习的渐进式图像修复方法提出，通过迭代优化和对比学习策略解决大破损区域内容生成不自然问题，实验显示较现有方法提升5.48% Frechet inception距离和1.87%感知相似度。

　　

摘要：

基于深度学习的图像修复技术在提升修复内容的视觉质量方面展现了出色的性能。然而，现有方法仍然会生成不令人满意的结果，尤其是在图像中存在大面积缺失区域的情况下。为了解决这个问题，我们提出了一种基于感知的对比学习方法的渐进式图像修复技术，该技术通过迭代方式逐步细化修复图像的细节。为了获得更好的视觉效果，在细化过程中采用了结合感知损失的对比学习策略来进行模型优化。实验结果表明，与最先进的方法相比，所提出的方法在Frechet inception距离上提高了5.48%，在感知图像块相似性上提高了1.87%。

图像修复的目标是恢复受损图像中缺失的部分。通过修复，希望恢复后的图像视觉质量能够达到令人满意的水平。这项技术已被应用于多种图像处理任务，如图像编辑、图像恢复和对象去除等。尽管基于深度学习的图像修复方法在过去几年中取得了显著的进展，但仍存在一些挑战，主要包括：1) 在处理图像中的大面积缺失区域时，由于缺乏足够的参考信息，这些方法往往生成模糊或不合理的图像；2) 捕捉用于填充缺失区域的短距离和长距离线索仍然是一项困难的任务。此外，许多方法侧重于训练模型以最小化基于失真的损失，而非重建具有高感知质量的内容。