面向多种下游应用的可扩展图像恢复与增强技术

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Scalable Image Restoration and Enhancement towards Diverse Downstream Applications

　　

摘要

在过去的十年中，图像恢复技术取得了显著的进步。然而，现有方法仍存在两个关键缺陷：其一，许多方法会针对特定类型的失真训练模型，难以处理混合失真情况；其二，大多数方法在训练过程中仅使用重建损失函数，而没有充分考虑恢复后图像的预期用途（如人类观看、检测或分割），从而导致训练目标与应用需求之间存在偏差。在本文中，我们提出了一种基于强化学习范式的可扩展图像恢复与增强框架。该框架的核心在于，强化学习智能体能够准确感知失真情境，并动态调整多种恢复操作，从而确保框架能够有效处理混合失真问题，同时以较低的额外成本适应新任务。此外，强化学习还消除了优化目标对可微性的要求，使得框架可以直接朝着应用目标优化恢复过程，进而缩小训练目标与实际应用需求之间的差距。通过大量的客观和主观评估，结果表明我们的方法不仅能够生成符合人类视觉审美标准的图像，还能显著提升检测和分割等机器视觉任务的性能。我们还通过对未见过的失真场景进行泛化测试以及多目标优化实验，进一步验证了该框架的可扩展性。实验结果证实，与现有方法相比，该模型在少样本和零样本场景下具有更出色的性能，同时也能灵活应对多个相互冲突的目标。最后，通过全面的消融研究及超参数分析，为我们理解该框架的设计思路及其运行机制提供了有力依据。