基于提示词内的提示学习实现一体化图像修复

《Pattern Recognition》：Prompt-in-prompt learning for all-in-one image restoration

　　•提出一种用于一体化图像恢复的提示内提示学习方法，该方法具有可解释性、灵活性和高效性。•共同学习高层级的退化感知提示与低层级的恢复提示，并通过提示到提示的交互模块将二者融合。•设计一个选择性的提示到特征交互模块，以有效调节与退化相关的特征。•开发PIP这一即插即用模块，用于提升各类恢复模型在现实场景中的性能。

引言
图像恢复旨在从在图像采集过程中常见的退化现象（如噪声、雨滴、雾气等）[1]、[2]、[3]中恢复出高质量的清晰图像。由于该问题本身具有不确定性，一张退化的图像可能对应多个合理的“清晰图像解决方案”[4]、[5]，这使得这项任务尤为具有挑战性。近期的深度学习方法在处理特定恢复任务方面取得了显著成果[3]、[6]。然而，在现实场景中，图像退化往往以复杂且混合的形式出现（如噪声与雨水的共同作用），此时针对特定任务的模型就显得不够用了。这类方法不仅会导致较高的存储成本，还缺乏灵活性，且在不同类型的退化情况下泛化能力较差，这就凸显出对一体化图像恢复模型的迫切需求。

近期，研究方向逐渐转向开发能够处理多种类型退化的单一模型。现有方法通常通过为每种退化类型调整参数空间来提高跨任务的适应性，比如设计额外的恢复模块[7]、[8]，利用对比学习整合针对特定退化的路径或模块[9]，以及通过解释方法确定特定退化参数后再进行微调[10]。尽管这些方法有效，但仍然依赖于针对特定任务的训练，无法提供完全通用的解决方案。

相比之下，提示学习通过为输入添加与任务相关的提示，从而提升了方法的灵活性和效率。然而，退化现象的高层语义与对应的低层图像细节之间存在固有差距，这限制了当前提示学习方法在图像恢复任务中的性能[11]、[12]、[13]。从提示学习的视角来看[14]、[15]，提示应作为特定任务的条件，使模型能够在不同任务之间有选择地重用其知识。对于图像恢复而言，这就要求提示能够识别并描述退化的整体状况，捕捉每种退化类型特有的低层细节，并能有效地调节特征，从而得到最佳的特定任务结果。

基于这些原则，我们提出了提示内提示学习（PIP）方法。如图1所示，PIP会学习两种互补类型的提示，然后将它们融合为一个通用的恢复提示。具体而言，它首先学习能够表示高层级退化类型和概念的退化感知提示，这些提示可作为全局条件来指导图像恢复过程。然而，仅有这样的提示是不够的[11]，因为退化现象很难用简单的条件来描述，需要更为详细、具备纹理特征的表示方式。为了解决这个问题，我们引入了一个基本的恢复提示，该提示能够捕捉纹理和细微结构等重要的低层特征，从而使它更易于与各种恢复模型结合使用。接着，我们设计了提示到提示（P2P）交互模块，将这两种提示融合为一个通用的恢复提示，其中既包含了丰富的退化语义信息，也包含了详细的恢复指导信息。与含义明确的自然语言提示不同，由于退化现象的复杂性，恢复提示往往包含一些无关信息——例如，雨痕的方向可能会随风速而变化。为了解决这一问题，我们提出了一个选择性的提示到特征（P2F）交互模块，该模块利用注意力机制，只关注对恢复最有用的特征。

凭借这些核心设计，PIP是一种轻量级且即插即用的模块，它能够让现有的单任务模型实现一体化图像恢复功能。它可以被集成到从残差网络到U形网络等各种不同的网络架构中。尤其是，我们将其应用于U形网络的跳过连接部分，因为这些路径主要传递在不同任务中会有所变化的高频细节——这使得PIP能够在几乎不增加计算负担的情况下发挥出最大的效果。

本文的主要贡献如下：
•我们提出了一种用于一体化图像恢复的提示内提示学习方法，该方法能够同时学习高层级的退化感知提示与低层级的恢复提示。PIP具有可解释性、灵活性、高效性，且易于使用。
•我们设计了一个提示到提示交互模块，用于将这两种提示融合为一个通用的恢复提示。
•我们引入了一个选择性的提示到特征交互模块，用于针对每项恢复任务筛选出与退化最相关的特征。
•在包括现实场景在内的多种不同恢复任务上的大量实验表明，PIP具有出色的性能和良好的实际应用价值。

章节摘录
图像恢复
图像恢复的目标是从退化的图像中恢复出清晰的图像，这一过程与背后的退化机制密切相关。例如，高斯噪声通常被视为加性噪声，它会主要破坏图像中的高频细节。而雨、雪、雾等退化现象则通常通过大气光模型或传输矩阵来建模[16]、[17]、[18]，这些模型会与清晰图像信号发生乘法作用。而模糊和弱光退化则可能会……

问题定义
图像恢复的目标是从其退化后的版本X=D(Y)中恢复出清晰的图像Y，其中D代表退化过程（如噪声、雨、雾等）。传统方法通常依赖为每种退化类型量身定制的特定任务模型FD：Y?=FD(X)，其中Y?表示恢复后的图像。在现实场景中，退化图像可能来源于多种情况，如Xnoise、Xrain和Xhaze。为每种情况都维护独立的模型十分繁琐，会导致较高的存储成本。

结果
我们在五种具有代表性的图像恢复任务上对PIP进行了测试，这些任务包括去噪、去雨、去雾、去模糊以及弱光增强处理。

分析与讨论
在本节中，我们将探讨PIP的主要优点和局限性，包括它的可解释性、灵活性、效率，以及未来研究的可能方向。

结论
本文提出了一种用于一体化图像恢复的新型提示内提示学习方法。PIP通过同时学习高层级的退化感知提示和低层级的基本恢复提示，从而生成高效的通用恢复提示。通过选择性提示到特征交互模块来调节与退化最相关的特征，PIP在七个模拟数据集和四个真实数据集上均展现了卓越且稳定的性能。此外，PIP还具有高效且易于使用的特点。

CRediT作者贡献说明
李子龙：撰写——初稿、方法论、数据整理、概念构建。雷一鸣：撰写——审稿与编辑、可视化处理。马成龙：撰写——审稿与编辑、可视化处理。张俊平：撰写——审稿与编辑、监督指导。单鸿明：撰写——审稿与编辑、监督指导。

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：单鸿明表示自己获得了中国国家自然科学基金的资金支持。其他作者则声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金项目62471148和62176059的支持，同时也得到了上海脑科学与类脑技术中心的资助。
李子龙|雷一鸣|马成龙|张俊平|单鸿明